关于etl:ETL批量调度工具TASKCTL核心调度节点安装

4次阅读

共计 3120 个字符,预计需要花费 8 分钟才能阅读完成。

外围构造


TASKCTL 自动化技术标准产品采纳典型的 B / S 模式,应用层为客户端,管制层为服务端。同时,服务端实现对指标层的调度管制。整个平台采纳无数据库设计,每层之间以 TCP 作为通信协议。

  • 应用层从性能的角度,次要分 admin,designer,monitor。从利用渠道的角度,又分 Web 端及 Windows 利用客户端渠道与后盾字符界面客户端渠道。同时,为了进一步不便用户,零碎服务端还提供了丰盛的管制操作行命令
  • 管制层是多级金字塔架构,顶层为服务管制节点,实现各种调度服务管制以及为客户端提供各种操作应用服务。而代理层实现与指标服务器(ETL 等)的管制交互。代理层通过主从代理级联形式,可实现对集群部署的服务器进行调度管制,实现负载平衡等。
  • 指标层,是整个产品所管制的指标,比方咱们的 ETL 服务器,作业工作站等。

装置下载

能够间接跳转到 TASKCTL 管网下载获取

后盾服务外围 + 字符界面客户端集成安装包

依据操作系统类型 32 位 /64 位,抉择对应的软件下载。

在线利用客户端

装置 jdk 1.8 版本

留神:由产品的外围架构图以及获取的产品安装包,咱们分明该产品分为两局部装置,即后盾外围零碎装置和利用客户端零碎装置。而后盾外围零碎装置又分为外围调度服务装置和外围调度代理装置。而客户端利用零碎装置也分为两局部装置,即后盾字符界面利用零碎装置和在线利用零碎装置。

因为后盾字符界面利用零碎和产品外围零碎环境差不多,所以把外围产品零碎和后盾字符界面零碎放到一个安装包里,即后盾软件安装包,这样也是不便前面提到的典型装置部署。

产品外围装置

产品外围由外围调度服务节点和外围调度代理节点形成,它们协同工作,共同完成后盾外围的各种性能。所以产品外围装置分为外围调度服务节点装置、外围调度代理节点装置。一个平台必须装置且只能装置一个外围调度服务节点,而外围调度代理节点则依据理论状况装置部署,外围调度服务节点中曾经集成了一个外围调度代理,当单机部署时,只用装置外围调度服务节点即可。

因为外围采纳多层次网络体系,所以对 IP 地址和端口的治理尤其重要,管理员必须正当调配好。

外围调度服务节点装置

环境筹备

装置步骤

第一步:解压安装包:把安装包拷贝到须要装置外围调度服务的用户下,解压安装包文件如下:

tar -xvf taskctlforxxxx_x.x.x.tar.gz —-lix 零碎安装包,不同零碎不同安装包

第二步:配置环境变量:在装置用户下进入到.bash_profile 或.profile 文件中配置环境变量如下:

export TASKCTLDIR=$HOME/task  -- 装置目录

export PATH=$PATH:$TASKCTLDIR/bin:.  -- 执行 bin 目录

(配置实现后使环境变量失效,< 从新登录用户或者用 source 命令 >,以 echo $TASKCTLDIR 能打印出环境变量值为准)

第三步:执行安装程序:进入到 cirinst 目录下,执行 inst 程序。而后进入字符界面如下图所示:

点击回车键后,安装程序会主动检查用户环境变量,如果 TASKCTLDIR 环境变量目录存在则持续,否则请依照第二步配置好环境变量再重新安装。查看通过后会呈现以下界面:

对于典型装置咱们会在之后的章节进行阐明。这里先抉择 2 自定义装置。抉择好了后会呈现以下界面:

接下来抉择 1 外围调度服务装置。安装程序主动开始装置到之前指定的产品目录。并要求输出调度服务节点 IP 地址和监听端口号等信息。如下图所示:

  • IP 地 址:应用管理员调配给服务节点的 IP 地址(必须是本机 IP 地址)
  • 端 口:应用管理员调配给服务节点的端口号(必须是未被占用端口)

确认输出信息之后,安装程序提醒是否装置范例。如下图所示:

这里依据本身需要抉择是否装置范例,首次应用的用户倡议装置范例,外面有很多范例能够参考学习。

抉择完是否装置范例后,默认会启动服务。至此,调度服务节点装置结束。此时用户能够通过 ctlninfo 命令或者查看 $(TASKCTLDIR)目录下是否产生如下目录:

如果存在,也可间接证实装置调度服务节点胜利。

外围调度代理节点装置

产品外围由外围调度服务节点和外围调度代理节点形成,默认的单机部署只用装置服务节点即可;当有跨服务器的调度需要时,咱们就须要通过装置代理来满足需要。服务节点和代理节点的安装包都是同一个,通过装置时抉择不同的选项实现。

代理节点装置环境

装置步骤

第一步:解压安装包:把安装包拷贝到须要装置外围调度代理节点的用户下,解压安装包文件如下:

  tar -xvf taskctlforxxxx_x.x.x.tar.gz  ----lix 零碎安装包,不同零碎不同安装包

第二步:配置环境变量:在装置用户下进入到.bash_profile 或.profile 文件中配置环境变量如下:

  export TASKCTLDIR=$HOME/task  -- 装置目录

  export PATH=$PATH:$TASKCTLDIR/bin:.  -- 执行 bin 目录

(配置实现后使环境变量失效,< 从新登录用户或者用 source 命令 >,以 echo $TASKCTLDIR 能打印出环境变量值为准)

第三步:执行安装程序:进入到 cirinst 目录下,执行 inst 程序。而后进入字符界面如下图所示:

点击回车键后,安装程序会主动检查用户环境变量,如果 TASKCTLDIR 环境变量目录存在则持续,否则请依照第二步配置好环境变量再重新安装。查看通过后会呈现以下界面:

对于典型疾速装置咱们会在之后的章节进行阐明。这里先抉择 2 产品自定义装置。抉择好了后会呈现以下界面:

接下来抉择 2 外围调度代理装置。安装程序主动开始装置到之前指定的产品目录。并要求输出代理节点 IP 地址和监听端口号等信息。如下图所示:

  • IP 地 址:应用管理员调配给代理节点的 IP 地址(必须是本机 IP 地址)
  • 端 口:应用管理员调配给代理节点的端口号(必须是未被占用端口)

确认输出信息之后。如下图所示:

至此,代理节点装置结束。此时用户能够通过 ctlninfo 命令或者查看 $(TASKCTLDIR))目录下是否产生如下目录:

利用客户端零碎装置

客户端利用零碎分为 web 在线利用零碎、Linux/unix 字符界面利用零碎和 Windows 客户端利用零碎三局部。不同的零碎代表用户应用的不同渠道,web 在线利用零碎和 Windows 客户端利用零碎的界面和操作更直观。而字符界面零碎性能更全面。另外,字符界面也是装置在 Linux/unix 下,所以集成在了外围服务的安装包中。

从 8.0 版本开始,将采纳 web 在线利用零碎的图例来阐明操作步骤。若须要查看 Windows 客户端的图例,可去产品官网查看晚期版本文档。

在线利用零碎装置

在线利用零碎要装置 java1.8 及以上版本。通过大量实际测试表明:在监控环境下,Monitor 利用模块是反对实时(提早不应超过 5 秒)图形监控零碎。特地是在启动大量并发监控界面的时候,对系统的性能的要求较高。但在开发环境下,Admin 和 Designer 利用模块对系统性能的要求绝对较低。因而目前支流的客户机都能满足生产环境的硬件要求。

装置环境

装置步骤

  1. 环境筹备

因为在线利用零碎须要装置 java1.8 版本。能够通过 java – version 命令查看具体,如下图所示:

  1. 步骤

a) 上传并解压装置安装包 taskctl-web-8.0.zip


b) 进入解压后的目录 taskctl-web-8.0,执行 sh install.sh 命令。确定 web 利用的 IP/ 端口及调度服务端的 IP/ 端口信息。

c) 执行 startup.sh 启动 web 利用。通过 Webkit 内核的浏览器(如:360,chrome 等)拜访如下示例地址:http://10.40.0.44:8088

d) 装置过程结束

正文完
 0