关于etl:TASKCTL的单机分布式部署启动服务代理节点监听事件

41次阅读

共计 2701 个字符,预计需要花费 7 分钟才能阅读完成。

单机部署

单机部署指的是指咱们整个平台只部署一个外围服务节点且没有代理节点。对于后盾 TASKCTL 字符界面利用零碎,咱们能够与服务部署在一起,也能够部署于其它环境。该部署模式也是调度最简略的部署。

部署步骤:“可参考之前文章《外围调度服务节点装置》”或者“《服务字节界面利用零碎装置》都可实现单机部署”。

分布式部署

分布式部署指有部署外围代理节点。对于后盾字符界面利用零碎,咱们能够与外围服务节点或代理节点部署在一起,也能够部署于其它环境。该部署形式相比单机部署适应于个性化的网络应用环境。

目前国内 ETL 我的项目中,分布式部署是支流部署模式。

部署步骤:

  1. 装置外围服务节点:具体参照外围服务节点装置相干章节。
  2. 装置外围代理节点:在另一个环境持续装置外围代理节点,具体参照外围代理节点装置相干章节
  3. 装置字符界面利用零碎:在服务或者代理或者其它环境下装置客户端零碎
  4. 通过在线利用客户端设置代理节点的主从关系。如下图所示:

(TASKCTL 的负载平衡计划是通过主代理节点联合从代理节点来实现的。当配置了主从代理时,在设计时,能够应用负载平衡,)

初始化平台

产品外围装置分为外围调度服务节点装置、外围调度代理节点装置。但在后面的装置中,并没有把服务节点和代理节点关联起来,也没有为节点配置相应的属性,要想让整个平台里的组件可能很好的互相运行起来,必须要初始化整个平台。初始化后,咱们就可能在调度服务器上进行流程开发和运行监控等相干信息。咱们能够启动相干节点,看是否启动胜利,这也间接的验证了零碎是否胜利装置的办法之一。

前提条件

在平台初始化前,须要启动服务节点监听,代理节点监听,以及查看服务节点和代理节点的服务是否进行。其中服务节点和代理节点监听的操作雷同,具体操作如下:

启动服务 / 代理节点监听

在服务 / 代理节点平台,外围产品提供了 ctlinit 命令来启动节点的监听,用户只须要执行即可。

ctlinit 命令性能:

  1. 启动端口监听,用于各个平台的通信。
  2. 向零碎申请 25M 的共享内存空间,用于寄存整个平台的配置信息,如果平台配置信息存在则加载到共享内存,如果不存在,则不加载。
  3. 创立音讯队列用于过程间的通信。

如果监听启动胜利,用户能够应用 ipcs - m 命令来查看共享内存,如下图所示:

应用 ipcs –q 命令查看音讯队列,如下图所示:

同样该产品也提供了 ctlshut 命令用于进行节点监听。

初始化平台渠道

初始化次要内容

初始化平台次要是调配各个节点的类型以及上下级关系,同时为流程利用开发筹备工作类型定义以及利用工程定义。它次要实现的是把平台配置信息加载到外围服务节点共享内存和外围代理节点共享内存中。初始化的次要内容如下:

平台节点定义

在 Admin 治理平台下通过下图即可实现对平台节点的定义:

1. 定义调度服务器节点

因为第一次进入零碎,零碎曾经默认节点的类型 cntServer(调度服务节点)、节点名称、IP 地址、端口号和备注,用户此时只能批改节点名称和备注。

2. 定义主代理节点

点击 < 新增 > 按钮,抉择节点类型 cntMAgent(主代理节点),录入节点名称、IP 地址、端口号、下级节点(必须是定义过的调度服务器节点)和备注,点击 < 保留 > 即可。此时该主代理节点就挂载在指定的调度服务器节点上面。

3. 定义从代理节点

点击 < 新增 > 按钮,抉择节点类型 cntSAgent(从代理节点),录入节点名称、IP 地址、端口号、下级节点(必须是定义过的主代理节点)和备注,点击 < 保留 > 即可。此时该从代理节点就挂载在指定的主代理节点上面。

减少实现后,咱们能够进入到平台节点的节点关系图外面很直观的看出所定义的节点之间的关系,如下图所示:

工作类型定义

在 Admin 治理平台下通过下图即可实现对工作类型的定义:

上图能够对工作类型里的插件、参数、图标、返回值等信息进行设定。用户只须要点击 < 新增 > 按钮即可进行定义。

阐明: 插件定义,在任务调度的时候须要执行插件能力让工作真正的运行起来,图标定义在流程图形开发和展现的时候十分有用。

利用工程定义

因为流程开发是挂载在工程上面的,所以在流程开发前必须定义相应的利用工程,在 Admin 治理平台下通过下图即可实现对利用工程的定义:

上图能够对利用工程里的工程名称、工程形容进行设定。用户只须要点击 < 新增 > 按钮即可进行定义。

阐明: 工程名称整个平台惟一。

启动服务节点

要测验产品是否装置胜利,调度服务器是否失常启动。启动调度服务器的形式有以下几种:

Admin 治理平台启动

登录 Admin 治理平台,在平台节点的节点关系图中,如下图所示:


在上图外面抉择须要启动的节点,而后点击 < 启动 > 按钮即可启动。如果须要进行点击 < 进行 > 按钮即可。< 启动进行的前提是节点都曾经初始化 >

后盾 ctladmin 客户端软件启动

登录后盾 ctladmin 客户端零碎,应用 ctlstart+[CTL 节点编号] 来启动该节点。具体应用如下所示:

首先,应用 listcirn 命令查看整个平台的 CIR 节点信息列表,获取须要启动的 CTL 节点编号,如下图所示:

其次,应用 ctlstart+[CTL 节点编号] 来启动该 CTL 节点,如下图所示:


因为并没有在 192.168.0.191:18589 主机上安装节点,所以启动失败。如果须要进行,零碎提供了 ctlstop 命令,应用办法跟 ctlstart 一样。

CTL 平台启动

为了不便管理者应用更简略更快捷的形式来启动或者进行一个 CTL 服务,外围产品也提供了命令 ctlstart 命令来启动以后 CTL 节点。具体应用请应用 ctlhelp+ 该命令查看帮忙文档。具体应用如下图所示:

如果须要进行,平台也提供了 ctlstop 命令,应用办法跟 ctlstart 一样

软件验证

1. 桌面平台客户端验证

在 Admin 治理平台的节点关系图中,对应的服务器图标是否是启动状态,如下图所示:

由以上能够看出,如果该节点启动,那么该节点标记变成绿色圆点,示意该节点启动胜利,阐明该节点装置胜利。

2. 后盾字符界面客户端验证

在 ctladmin 治理平台利用零碎下,应用 listcirn 查看整个平台的 CIR 节点信息列表对应的 CTL 节点是否为“5- 启动状态”标记,如下图所示:

同样也能够应用 listjt 命令查看工作类型信息是否正确;listapp 命令查看工程信息是否正确;listpara 命令查看全局变量信息是否正确。

过程验证

1. 调度服务器

次要查看 ctlcpg、ctlsps、ctldrr、ctldar、ctlstr、ctldsy、ctlemr、ctlucd、ctljmm 等相干过程是否启动。

2. 代理服务器

次要查看 ctlcpg、ctlsps、ctldrr、ctldar、ctlstr 等相干过程是否启动。

3. 相干过程的含意:

正文完
 0