关于etl:免费etl调度工具TaskctlWeb应用版作业设计

3次阅读

共计 3750 个字符,预计需要花费 10 分钟才能阅读完成。

软件下载地址:去 公众号 “Taskctl” 关键字回复 “ 支付 ” 即可取得永恒受权并应用

意识 Taskctl-web

TASKCTL 遵循软件产品标准化的准则,以“业余、专一”为设计理念,联合 ETL 调度畛域本身的特点,构建了一套直观易 用的 ETL 管制容器调度设计、监控 保护、治理平台 taskctl-web-application。

性能架构

=========

通过上图理解到,taskctl-web-application 是 TASKCTL 中客户端应用软件家族 的重要一员。有三大功能模块:

  • 平台治理(Admin):平台级配置信息管理。如网络节点治理,作业类型扩 展,工程治理,全局变量治理,调度元信息导入导出,用户及权限治理,音讯接 口治理等。
  • 作业设计(Designer:作业调度元信息设计。如作业控制容器(定时器 / 作 业流)的治理,作业关系、属性编辑,变量治理,作业组织模块治理等。
  • 运行监控(Monitor:作业运行监控保护平台。对设计好的调度元信息进行 运行监控以及人工操作干涉。对运行信息进行查问、统计、剖析等。

零碎个性

=========

在 Windows 桌面客户端的根底上,TASKCTL 从新构建了一套基于 web 浏览 器的利用 taskctl-web-application。它具备如下个性:

  1. 性能残缺:实现了桌面客户端 Admin,Designer,Monitor 所有的性能(包含高级剖析性能)
  2. 部署简略:采纳安装程序一键部署利用,不须要部署额定的 web 容器
  3. 体验简洁:从新优化图形操作体验,简化操作步骤
  4. 正当导向:从新组织了页面 UE,让每个操作天然晦涩
  5. 性能卓越:200k 带宽、单核处理器即可实现 10 个用户同时利用
  6. 稳固牢靠:间接与调度服务外围通信,信息更间接牢靠。

登录界面

=========

平台部署的时候,曾经确定了调度服务端信息。因而不用再像桌面客户端一样须要输出调度服务端地址。

如上图所示:输出正确的用户名、明码点击 “登录” 按钮,登录胜利后,taskctl-web-application 将依据登录用户进行一系列的初始化操作,加载根本的运行信息。

主界面

========

胜利登录后,即进入 taskctl-web-application 平台主界面。系统对各个组件进行了正当的初始化布局,如下图所示:

通过上图,咱们能够直观的看到 Taskctl-web-application 具备了传统 web 应用软件的 “页头 banner“顶部导航”,以及主框架区域。

页面框架介绍

页头 Banner 与导航

提供了资源疾速定位搜寻框,音讯揭示小红点以及以后登录用户信息。如下图所示:

音讯揭示框

当 taskctl-web-application 检测到有最新未读的音讯数目变动时,将在以后页面自动弹出零碎音讯揭示窗口。倡议第一工夫查看最新的音讯详情

  • 单击音讯框,主动跳转到 “我的音讯” 页面
  • 若点击 “叉” 敞开音讯揭示框后,零碎将稍后再次揭示

作业设计 Designer

作业设计


在作业设计功能模块的首页,您能够看到资源视图,工程视图以及管制容器,切换到资源视图查看全副管制容器,切换到工程视图能够抉择我的项目筛选其对应的管制容器。如下图所示:

资源视图

通过资源视图,能够疾速的关上模块代码、树节点属性、流程变量等设计窗口。并直观的展现了工程到流程,流程到模块的树形构造。如下图所示:

资源视图领有本身特有的工具栏,通过其工具栏按钮,能够不便地对资源树及其选中节点进行相干操作。

工程视图

工程视图与资源视图,惟一不同的是聚焦到某个选中的工程。

管制容器设计

TASKCTL 通过作业控制器来组织治理作业。作业控制器分为作业流和定时器。如果作业之间存在简单的关系,如依赖、并行关系。请应用作业流来组织作业集。否则通过定时器来组织治理作业更不便。

小提示:通过定时器来调用子作业流实现作业调度自动化。

上面通过设计一个简略的作业流控制容器(以下简称 “作业流”)来理解下 Designer 的操作和 TASKCTL 的一些性能个性。

设计案例形容


(一)作业程序清单

(二)依赖关系

(三)驱动形式

文件达到驱动。

新建作业流


通过在管制容器中点击 “创立作业流”,跳转 “创立作业流”,如下图所示(也可通过单击工程视图 / 资源视图下的“作业流”工具栏按钮,创立作业流)

  • 关注微信公众号 TASKCTL 回复:3200,理解更多 “主控流程” 的信息
  • 更改作业流名称为 myflow1” , 单击保留
  • 单击 “跳转到公有变量”

公有变量设计


公有变量可通过已创立 “作业流 / 定时器治理” 中的跳转公有变量,也可通过工程 / 资源视图中的作业流 / 定时器等工具栏按钮单击 跳转。

  • 创立如上图所示的公有变量
  • 单击工程变量,能够跳转工程变量设计
  • 关注微信公众号 TASKCTL 回复:3341,理解更多变量信息

工程下所有管制容器都能够援用工程变量。通过正当的变量设计,可能让调度更灵便,更易迁徙。

图形形式设计


作业流由一个启动模块或者再嵌套多个子模块组成,作业的开发设计次要通过模块设计器进行,而模块设计器提供了图形形式设计与模块代码形式设计。图形形式对老手用户更加敌对,模块代码设计形式能进步进阶用户的设计效率。

图形形式设计布局


提供了切换图形形式设计与模块代码设计、作业节点搜寻框、容器设计工具栏,组件工具箱、作业节点资源树,以及作业属性面板。

  • 容器设计工具栏 -> 容器设计过程中罕用的性能,如从新转载、编译、公有变量、容器签入 / 签出
  • 作业节点树 -> 提供疾速拖拽变更作业节点之间的 “串并” 关系,关注微信公众号 TASKCTL 回复:3390,理解更多作业 (组) 节点类型信息

拖拽增加作业节点


给作业流增加作业节点时,从工具箱间接向左边的流程图中拖拽相应类型的作业。(注:拖拽到节点上时,绿色箭头提醒可搁置的方向),如下图所示

编辑作业节点属性

因为作业的属性绝对较多,为了不便咱们相熟作业属性的操作,TASKCTL 依据作业属性特色,按用处分为 “What —根本属性”How — 管制属性”Where — 指标主机属性”Misc — 杂项属性” 等。另外某些属性还具备复合 (继承 -inherit、缺省-default、自定义 -self 特色。

  • 在定义作业节点属性时,须要了解一般属性与复合属性的区别,关注微信公众号 TASKCTL 回复:3504,理解更多 “复合属性” 信息
  • 别离定义 ’myflow’ 流程的各个作业节点。定义如下:

通过以上定义后,模块作业关系图与节点树 如下图所示:

阐明

  1. 作业串并关系图中关系通过线条表白,且图中不呈现串并节点
  2. 节点树中蕴含串并节点,且作业的串并关系通过下级串并组节点决定

关系定义


设计案列形容中的关系定义

调整串行组(dsjob1 > oraproc1)与 dsjob2 造成并行关系,操作如下步骤:

  1. 拖拽 dsjob2 到 dsjob1 下方,弹出并行关系确认对话框
  2. 抉择 oraproc1 为并行关系完结点

3. 单击确定,实现关系定义如下图:

上述步骤也可通过作业资源树实现,作业节点资源树能辅助流程图,选中串并组作业节点,拖拽整组调整串并关系,如下图所示

模块代码形式设计

设计布局

在上述图形形式设计时,能够通过单击模块代码按钮进入代码编辑模式。

  • 控制台输入,能够通过拖拽扭转高度,也可单击右方的箭头按钮扭转内置高度
  • 代码编辑区,右键关上代码编辑区上下文菜单

留神

  1. 快捷命令有时有效时:
  2. 请先单击代码编辑区,让其获取焦点,再重试快捷命令

作业节点定义

串并关系定义

定时器设计

定时器的设计步骤与作业流相似。在创立好定时器后,进入其主模块视图设计窗口。

在定时器中通过 parallel 并行组,来实现不同运行频率作业的分组。点击分组框中的 + 号创立分组。

创立好分组后,须要当时对分组的运行频率进行设置。而后参考之前章节设计作业流的形式,设置各个作业的属性即可。

编译


在管制容器设计后,需先提交本地更改,能力执行近程编译。(留神: 在资源视图 / 工程视图中工具栏中单击编译, 都是编译最近一次提交,本地如有更改,请先提交。)

提交


查看本地是否有变动(本地可提交状态),如下图所示:​​​​​​​

编译

单击提交后,编译按钮变为可点击状态。单击编译按钮,进行服务近程编译并后果输入,如下图所示:

调试

当管制容器编译胜利后,能够选中作业节点进行运行调试。

请留神:在 Designer 只能对单个作业进行调试,如果要实现对整个作业流进行从头到尾运行测试,请公布作业流到运行监控环境再执行启动操作。

公布


把编译胜利的作业流公布到运行监控区,能力对作业流进行调度监控,如下图所示:

公布胜利后,将造成历史归档,如下图所示:

小提示:通过历史归档,能够回退到之前公布的版本。

签入与签出


为了实现团队协同,Designer 采纳签入签出机制来保障调度元数据的原子性。在须要操作的时候,软件会主动提醒用户是否须要签出以获取编辑权限。

签出胜利后,资源信息以绿色字体示意能够进行编辑操作。

当被其它用户签出后,资源信息以黄色字体示意不能进行编辑操作。

须要待其它用户签入后,以后用户能力获取编辑权限。请留神:如果在线平台被非法敞开(如浏览器解体),以后签出的资源将失落编辑权限,零碎将在 30 分钟后主动签入,届时能力再次签出。

软件下载地址:去公众号 “Taskctl” 关键字回复 “ 支付 ” 即可取得永恒受权并应用

正文完
 0