关于kettle:TASKCTL调度服务平台节点管理

TASKCTL调度治理平台零碎Admin给具备管理员权限的用户,提供了平台级的调度节点治理,系统工程治理,作业类型治理,用户(组)权限治理,常量治理等性能;另外还提供了短信、邮件等平台音讯接口配置保护,强制签入(流程)保护,以及平台调度元信息的导出导入等保护性能。 节点治理平台节点用于治理整个平台的调度管制节点。通过调度服务节点和主代理服务节点,可能部署散布式调度架构;通过主代理以及其上司的从代理,可能部署集群调度架构。在节点治理的拓扑图页面中,展现了整个平台的网络拓扑构造。如下图所示: 最上层惟一的调度服务节点:svrnode,用于治理和管制作业的调度策略和指令。 调度服务的上级节点是主代理节点,用于接管调度指令,和执行具体的作业程序。 主代理的上级节点是从代理节点,主代理和从代理一起造成集群节点。 新增平台节点通过装置节点服务后,还须要通过 “新增平台节点” 性能对后端节点进行实例化。步骤如下: 点击工具栏中的 “+” 图标,弹出创立对话框。抉择须要创立的节点类型(主代理/从代理)和下级节点。输出节点名称,倡议采纳英文字符来命名,能够在形容中通过中文备注输出节点的ip和端口(与后端装置的节点服务统一)点击确定实现节点的创立。编辑平台节点单击节点后,弹出的工具小面板提供了 “编辑” 按钮,不便用户疾速关上节点的编辑侧边窗口。除了新增时的根本属性外,还能够对节点的启用禁用状态,以及该节点的作业最大并发数、虚构资源总量进行保护。另外还提供一键利用工程权限,快捷设置以后节点权限到平台所有工程。如下图所示: 删除平台节点单击节点后,弹出的工具小面板提供了“删除”按钮,不便用户疾速删除该节点。调度服务节点不能删除。如下图: 启动或进行节点单击节点后,弹出的工具小面板提供了 “启动和进行” 按钮,不便用户疾速对该节点进行启动和进行操作。调度服务节点进行后,Web客户端将不必获取利用数据。若长时间进行,倡议设置节点为禁用状态。 节点启动胜利后,状态图标展现为“绿色”。进行后的状态图标展现为“灰色”。另外还会展现“未初始化”,“网络异样”,“节点异样”等多种状态。

April 1, 2022 · 1 min · jiezi

关于kettle:TASKCTL的流程无触发设计

如何了解流程的触发设计?如果您设计了这样主流程,表白您的业务解决逻辑。。。从逻辑上看,您心愿解决1,再同时解决2、解决3,而后解决4,这是没问题的。但您是否想过,这个流程,谁来调,什么时候开始调,什么条件下调。对于这些,TASKCTL都无从晓得。因而,对于这样的主流程,是无奈实现失常调度的,如果您以失常模式启动它,TASKCTL只能从一开始运行到完结,而后立刻又从开始,再到完结,没完没了… … 这,显然不是您想要的。 对于这种决定一个流程什么时候开始运行,什么条件下运行的设计,咱们就称为流程的触发设计。 不论是子流程,还是主流程是否都须要触发设计,怎么设计业务流程触发?不是的。TASKCTL倡议,您的业务解决逻辑,尽量采纳子流程来表白,无需设计流程触发条件。同时咱们设计一个主流程,在主流程中设计触发条件,并触发调用相应的业务子流程。如果您的业务流须要定时触发,罗唆间接设计一个定时器来调用即可。 以下时两种常见的流程触发设计: 1.文件达到触发设计。示意只有当某个标记文件呈现时,再调用相应业务流程 2.定时调度。设计一个定时器来调,指定每天23:01开始调 提醒:不论是文件触发,还是定时触发设计,在monitor启动激活时,只需启动激活相应主流程或定时器即可。

March 29, 2022 · 1 min · jiezi

关于kettle:TASKCTL系统作业异常时如何发送短信与邮件

当TASKCTL作业或零碎产生异样时,零碎会主动生成音讯。如果你设置了短信邮件相干信息,零碎会主动将异样信息以短信或邮件的形式发送到指定的手机或邮箱。短信与邮件发送的应用办法与步骤为: 定义用户短信或邮件发送接口程序的开发测试接口程序接口程序部署以及配置定义用户从6.0版本开始,调度异样短信邮件接管,须要通过客户端组件admin创立独立的用户。每个用户蕴含用户ID,姓名、电话号码、邮件地址、以及用户权限组信息等。当然,用户的定义,不是因需接管短信才定义,而是应用TASKCTL的良好习惯。短信或邮件发送接口程序的开发 接口程序的作用每个用户企业内,邮件短信的发送形式以及接口均不同,因而,TASKCTL须要你开发自定的发送接口程序。通过接口程序,你能够将指定的内容发送到指定的手机或邮箱。反对的接口程序类型 TASKCTL6.0及以上版本 能够反对的接口程序类型包含:shell程序、可执行命令程序、java程序、python程序四种。 接口程序的入口参数短信发送接口程序的入口参数为: 电话号码,音讯内容的文件名称邮件发送接口程序的入口参数为: 邮件地址,音讯内容的文件名称接口程序的正确返回值,肯定要设置为4比方:如果你的接口程序为shell脚本,最初应该增加exit 4; 测试你的接口程序构建一个行将发送内容的文件短信接口测试(shell形式)sh [接口程序] [电话号码] [信息文件名] 如果通过运行以上命令,能发送短信,就示意接口程序测试通过。邮件接口测试(shell形式)sh [接口程序] [邮件地址] [信息文件名] 如果通过运行以上命令,能发送邮件,就示意接口程序测试通过。接口程序部署以及设置1.程序部署 将相应接口程序上传到调度服务器装置用户环境。目录你可本人指定。如果是可执行程序,记住赋予执行权限。2.信息设置 程序部署完后,用admin超级用户登录Admin客户端组件,进入短信邮件设置界面。设置界面如下: 发送程序名称:你部署接口程序的全门路程序类型:接口程序的类型编码:你邮件服务器或短信服务的具体编码对于编码容易犯的谬误:你的接口程序中增加中文内容(比方短信头信息),编码肯定与该配置编码雷同。 通过以上步骤,你的短信邮件配置就算实现了。

March 25, 2022 · 1 min · jiezi

关于kettle:Kettle知识库问答系列之八零年代

摘要:本文由以数据之名分享,正所谓“问君能有几多愁,恰似一江春水向东流”。人不知;鬼不觉中,“以数据之名”Kettle解忧消愁系列专题已更新了五篇知识库文章“三十而立、四十不惑、五十而耳知天命、六十而耳顺、七十古稀”,叙述了应用Kettle作为ETL开发的常见组件应用阐明、业务场景实现逻辑、异样剖析及组件性能优化相干内容。明天,咱们跟着小编的节奏,持续探讨第六篇Kettle知识库问答系列之八零年代,做到理念和实际的活泼对立。 一.异样剖析篇第073问:Host '127.0.0.1' is blocked because of many connection errors; unblock with 'mysqladmin flush-hosts'Connectionclosed by foreign host?第073答:由异样提醒能够看出起因:同一个ip在短时间内产生太多(超过mysql数据库max_connect_errors的最大值)中断的数据库连贯而导致的阻塞。 首先,咱们先查询数据库服务端的参数max_connect_errors配置 show variables like 'max_connect_errors';+--------------------+-------+| Variable_name | Value |+--------------------+-------+| max_connect_errors | 10 |+--------------------+-------+max_connect_errors是一个MySQL中与平安无关的计数器值,它负责阻止过多尝试失败的客户端以避免暴力破解明码的状况。 max_connect_errors的值与性能并无太大关系,默认是10。意味着如果某一客户端尝试连贯此MySQL服务器,然而失败(如明码谬误等等)10次 ,则MySQL会无条件强制阻止此客户端连贯。如果心愿重置此计数器的值,则必须重启MySQL服务器或者执行mysql> flush hosts; 命令。当这一客户端胜利连贯一次MySQL服务器后,针对此客户端的max_connect_errors会清零。如果max_connect_errors设置过小,则网页可能提醒无奈连贯数据库服务器。解决办法1:批改max_connect_errors的值 (1)进入Mysql数据库查看max_connect_errors:show variables like '%max_connect_errors%';(2)批改<span style="color:red;">max_connect_errors</span>的值:set global max_connect_errors = 80; (3)查看是否批改胜利show variables like '%max_connect_errors%';解决办法2:应用mysqladmin flush-hosts 命令清理一下hosts文件。(1)在查找到的目录下应用命令批改: > mysqladmin -u xxx -p flush-hosts或者 > flush hosts;解决办法3:重启mysqld。也能够在重启之前,在配置文件中将该参数调大。 > vi /etc/my.cnfmax_connect_errors = 80第074问:Kettle发送邮件附件中文乱码,如何解决呢? 第074答:批改spoon启动脚本配置,在set OPT=%OPT% %PENTAHO_DI_JAVA_OPTIONS% 这一行开端,增加如下配置: "-Dmail.mime.encodefilename=true" "-Dmail.mime.charset=utf-8" "-Dfile.encoding=utf-8" 第075问:Kettle ES Bulk Insert批量数据写入,Kibana查问有提早? ...

October 29, 2021 · 2 min · jiezi

关于kettle:JDBC-Kettle-on-MaxCompute-使用指南

简介:Kettle是一款开源的ETL工具,纯Java实现,能够在Windows、Unix和Linux上运行,提供图形化的操作界面,能够通过拖拽控件的形式,不便地定义数据传输的拓扑 。根本讲介绍基于Kettle的MaxCompute插件实现数据上云。 Kettle版本:8.2.0.0-342 MaxCompute JDBC driver版本:3.2.8 Setup下载并装置Kettle下载MaxCompute JDBC driver将MaxCompute JDBC driver置于Kettle装置目录下的lib子目录(data-integration/lib)下载并编译MaxCompute Kettle plugin:https://github.com/aliyun/ali...将编译后的MaxCompute Kettle plugin置于Kettle装置目录下的lib子目录(data-integration/lib)启动spoonJob咱们能够通过Kettle + MaxCompute JDBC driver来实现对MaxCompute中工作的组织和执行。 首先须要执行以下操作: 新建Job新建Database ConnectionJDBC连贯串格局为:jdbc:odps:?project= JDBC driver class为:com.aliyun.odps.jdbc.OdpsDriver Username为阿里云AccessKey Id Password为阿里云AccessKey Secret JDBC更多配置见:https://help.aliyun.com/docum... 之后,能够依据业务须要,通过SQL节点拜访MaxCompute。上面咱们以一个简略的ETL过程为例: Create table节点的配置如下: 须要留神: 这里Connection须要抉择咱们配置好的不要勾选Send SQL as single statementLoad from OSS节点配置如下: 须要留神的点同Create table节点。无关更多Load的用法,见:https://help.aliyun.com/docum... Processing节点配置如下: 须要留神的点同Create table节点。 Transformation咱们能够通过MaxCompute Kettle plugin实现数据流出或流入MaxCompute。 首先新建Transformation,之后新建Aliyun MaxCompute Input节点,配置如下: 在MaxCompute中新建一张空表,schema与test_partition_table统一。 新建Aliyun MaxCompute Output节点,配置如下: 执行Transformation,数据便从test_partition_table被下载,后被上传至test_partition_table_2。 其余设置MaxCompute flags如图,在执行DDL/DML/SQL之前,能够通过set key=value;的形式配置flags。 Script模式临时无奈反对 原文链接 ...

July 16, 2021 · 1 min · jiezi

Kettle软件介绍与下载分享

看完这章你会学习到以下内容: Kettle常用功能和属性介绍下载链接Kettle的常用属性有以下四个 勺子(Spoon) : 里面就包括工作JOB和转换Trans --最常用 -- 锅子(Pan) : 使用命令针对转换Trans进行调度 厨房(Kitcten):使用命令针对工作JOB进行调度 厨师(Chef): 允许每个转换,任务,脚本等等,利于自动化更新数据仓库。 他的一些特点(补充说明): 1. 免费开源:不用给钱,还可以修改配置,例如内存参数JVM。 2. 易配置: 可以在.bat Windos 或者.sh Linux 中运行。 3. 不同数据库: Oracle,MySQL,MongoDB,PostgreSQL等等。 4.5 略 6. 转换 - 通用模块 - Start 可以设置定时调度任务,每天每月或者每周 Kettle 下载链接: 1、官网各个版本下载地址:https://sourceforge.net/projects/pentaho/files/Data%20Integration/ 2、Kettle是纯JAVA编程的开源软件,本地环境配置JDK1.7以上即可运行,解压后直接使用无需安装。Simon Gan:【安装 JDK】 配置环境变量 注意事项: 1.第一次启动软件速度比较慢,之后会稍微快。 这里与硬盘配置和处理器有关。 2.退出软件,则不会自动保存JOB工作或者转换Trans。 每次都先保存在退出。

June 23, 2020 · 1 min · jiezi

Kettle表输入表输出-一个简单入门连接

Kettle作为连接数据库的ETL工具之一,这里简单介绍两个相互连接。 1) 从Kettle连接到Excel 2) 从Excel连接到Kettle(√)PS: 前提是在数据库里有这张表,而且里面包含相应字段 一般在win系统,用Spoon.bat文件打开。 如果你装了虚拟,用Linux系统,只需用后缀为.sh 的Spoon文件即可。 点击 - 文件 - 新建 - 转换, 即打开转换新窗口。 除了可以新建转换,也可以新建作业,如下图二。 Kettle的控件分为2种:作业(Job)和转换(Transform) 对于作业和转换,重点记住以下两点: 1、作业是步骤流,转换是数据流。这是作业和转换最大的区别。 2、作业的每一个步骤,必须等到前面的步骤都跑完了,后面的步骤才会执行;而转换会一次性把所有控件全部先启动(一个控件对应启动一个线程),然后数据流会从第一个控件开始,一条记录、一条记录地流向最后的控件; 选中核心对象:有两个入门级的控件 —— 输入和输出。 如果要输出到PL/SQL Oracle数据库的话,则输出要选择“表输出”! 把两个控件从表中拉出来,然后按住Shift键,建立两个控件间的联系。 如下图所示,则表示从Excel 输入到指定Oracle数据库中的表。 选中Excel输入控件,单击进入编辑界面,首先点击预览,然后确认添加。 点击添加,然后在选中的文件中会出现文件的路径。 点击显示文件名称和地址信息,确保文件没有任何错误。 选中第二个选项卡工作表,选中你需要添加的哪一张工作表(Sheet) 选中指定要添加的Sheet1,然后全部选中,点击确定。 (通常如果没什么特别需要的话)接着选择字段选项卡,点击获取头部数据字段。 相当于SQL语句里面的Create Table语句。 点击获取后,结果如下图。 Excel输入控件的设置到此结束。 选中表输出控件,第一连接的话,请新建一个数据库链接。 进入数据库连接界面: 一般 - 命名连接名称 - 连接方式 - 选择电脑IP地址 - 数据库名称 - 用户名 - 密码 - 确定。 ...

June 23, 2020 · 1 min · jiezi