乐趣区

关于etl:自动化运维ETL调度批量管理工具-TASKCTL-80-最简安装

意识 TASKCTL

TASKCTL 是成都塔斯克信息技术有限公司,专为批量作业调度自动化打造的,一款轻量企业级收费麻利调度工具。产品以 “业余、专一”为设计理念,联合 ETL 调度技术畛域的特点,构建了一套直观易用的 ETL 调度设计、监控 保护、治理平台。可为从业人员提供简便、对立的办法来治理各类简单作业的调度和监控治理。

TASKCTL 通过将企业外部简单的作业调度依赖关系,进行灵便的对立编排和治理,带来前所未有的简便性。TASKCTL 采纳全内存计算,基于全事件技术驱动,可简略、疾速地对作业进行定义、编排和执行,并生成优化调度执行倡议,高效地执行作业调度。TASKCTL 次要实现对 ETL 作业、存储过程、SQL 语句、shell 脚本、DS 作业等多类型作业的自动化编排和调度,既可用于帮忙用户轻松构建自动化、规范化批量调度治理平台,也可用于撑持大数据时代下数据流向的调度治理自动化等,造成专门的解决方案。

8.0 总体架构

通过上图理解到,TASKCTL-WEB 是 TASKCTL 客户端 利用产品系列中重要一员。有三大功能模块:

  • 平台治理 (Admin): 平台级配置信息管理。如网络节点治理,作业类型扩大,工程治理,全局变量治理,调度元信息导入导出,用户及权限治理,音讯接口治理等。
  • 作业设计 (Designer): 作业调度元信息设计。如作业控制容器 (定时器 / 作业流) 的治理,作业关系、属性编辑,变量治理,作业组织模块治理等。
  • 运行监控 (Monitor): 作业运行监控保护平台。对设计好的调度元信息进行运行监控以及人工操作干涉。对运行信息进行查问、统计、剖析等。

登陆界面

平台部署的时候,曾经确定了调度服务端信息。因而不用再像桌面客户端一样须要输出调度服务端地址。

如上图所示:输出正确的用户名、明码点击 “登录” 按钮,登录胜利后,TASKCTL 将依据登录用户进行一系列的初始化操作,加载根本的运行信息。

欢送界面

胜利登陆后,便可进入软件的首页,别离为产品的三大功能模块 “治理平台(Admin)、设计平台(Designer)、监控平台(Monitor)”,如上图所示。

装置部署

服务端环境装置

装置步骤

第一步:解压安装包:把安装包拷贝到须要装置服务的用户下,解压安装包文件如下:

tar -xvf taskctlforxxxx_x.x.x.tar.gz ----lix 零碎安装包,不同零碎不同安装包

第二步:配置环境变量:在装置用户下进入到.bash_profile 或.profile 文件中配置环境变量如下:

export TASKCTLDIR=$HOME/task -- 装置目录
export PATH=$PATH:$TASKCTLDIR/bin:. -- 执行 bin 目录

(配置实现后使环境变量失效,< 从新登录用户或者用 source 命令 >,以 echo $TASKCTLDIR 能打印出环境变量值为准)

第三步:执行安装程序:进入到 cirinst 目录下,执行 inst 程序。而后进入字符界面如下图所示:

点击回车键后,安装程序会主动检查用户环境变量,如果 TASKCTLDIR 环境变量目录存在则持续,否则请依照第二步配置好环境变量再重新安装。查看通过后会呈现以下界面:

这里咱们抉择 1 典型装置。安装程序会顺次装置字符界面客户端、外围调度服务管制节点,并要求输出调度服务节点 IP 地址和服务节点监听端口号。

  • IP 地 址:应用管理员调配给服务节点的 IP 地址(必须是本机 IP 地址)
  • 端口:应用管理员调配给服务节点的端口号(必须是未被占用端口)

接下来就是是否装置范例,依据本身须要抉择后,服务就装置实现并启动了。

利用端装置

装置环境:

装置步骤

1. 环境筹备

因为在线利用端基于 java 开发,须要装置 java1.8 版本。能够通过 java – version 命令查看具体,如下图所示

2. 步骤

a) 上传并解压装置安装包 TASKCTL-web-7.1.zip

b) 进入解压后的目录 TASKCTL-web-7.1,执行 sh install.sh 命令。确定 web 利用的 IP/ 端口及调度服务端的 IP/ 端口信息。


c) 执行 startup.sh 启动 web 利用。通过 Webkit 内核的浏览器(如:360,chrome 等)拜访如下地址:http://10.40.0.44:8088

d) 装置过程结束

退出移动版