关于etl:国产大数据ETL批量调度自动化运维专家-TASKCTL

5次阅读

共计 3694 个字符，预计需要花费 10 分钟才能阅读完成。

批量调度自动化技术是大数据时代数据整合后盾不可短少的重要技术。TASKCTL 是一款企业级收费作业批量调度零碎，反对各类脚本、程序的调度。具备可视化图形拖拽式设计界面，可视化作业管控、打算调度、实时监控、音讯揭示和日志剖析性能；无效补救了传统 ETL 工具在调度治理和监控剖析方面有余；同时平台还提供元数据管理、数据关系剖析、版本控制、日志剖析等欠缺的辅助治理性能，为企业提供数据迁徙、数据仓库、数据标准化、数据同步、数据备份、数据交换以及企业定制化二次开发在内的一体化整合服务。

是的，批量调度自动化技术对数据整合、对各种各样的 ETL，就像领导对公司的意义。同时，批量调度自动化技术又向优良的职业经理人，没有行业的限度，它是一种与业务无关的纯技术体系。因而，将该技术独立化、系统化、专业化、工具化、产品化，必将给整个 ETL 技术畛域、数据整合畛域带来很大的帮忙，让整个数据整合技术世界变得更美妙。

TASKCTL 通过将企业外部简单的作业调度依赖关系，进行灵便的对立编排和治理，带来前所未有的简便性。通过采纳全内存计算，基于全事件技术驱动，可简略、疾速地对作业进行定义、编排和执行，并生成优化调度执行倡议，高效地执行作业调度。TASKCTL 次要实现对 ETL 作业、存储过程、SQL 语句、shell 脚本、DS 作业等多类型作业的自动化编排和调度，既可用于帮忙用户轻松构建自动化、规范化批量调度治理平台，也可用于撑持大数据时代下数据流向的调度治理自动化等，造成专门的解决方案。

提醒：去公众号【TASKCTL】回复 “软件”可间接收费获取官网永恒应用受权
产品官网：www.taskctl.com

TASKCTL 自动化技术标准产品采纳典型的 C/S 模式，应用层为客户端，管制层为服务端。同时，服务端实现对指标层的调度管制。

应用层
应用层从性能的角度，次要分 admin、designer 和 monitor。从利用渠道的角度，又分桌面客户端渠道与后盾字符界面客户端渠道。同时，为了进一步不便用户，零碎服务端还提供了丰盛的管制操作行命令。

管制层
管制层是多级金字塔架构，顶层为服务管制节点，实现各种调度服务管制以及为客户端提供各种操作应用服务。而代理层实现与指标服务器（ETL 等）的管制交互。另，代理层通过主从代理级联形式，可实现对集群部署的服务器进行调度管制，实现负载平衡等。

指标层
指标层，是整个产品所管制的指标，比方咱们的 ETL 服务器，作业工作站等。

简略：反对通过 Web 页面作业行 CRUD 操作，操作简略，几分钟上手；
简洁：从新优化界面排版布局、图形拖拽动作，简化操作步骤；
邮件预警：作业失败时反对邮件报警，反对配置多邮件地址群发报警邮件；
作业进度监控：反对实时监控作业进度；
作业超时管制：反对自定义作业超时工夫，作业运行超时将会被动中断作业；
作业失败重试：反对自定义作业失败重试次数，当作业失败时将会依照预设的失败重试次数被动进行重试；
作业失败告警：提供作业运行实时邮件，短信，日志预警；
脚本作业反对：采纳插件驱动机制运行脚本作业；（零碎预置：shell、python、Datastage、Informatic、Kettle、Java、大数据、一体机等各种脚本），还能够扩大更多类型。
运行报表：反对实时查看运行数据，如：作业作业数量，调度次数，执行器数量；以及调度报表；（如：调度日期分布图，调度胜利 / 失败分布图）
用户治理：反对在线管理系统用户，分为管理员、普通用户等多种角色；
权限管制：反对平台利用通道，元数据读写，作业或作业流等操作和拜访权限管制；
作业依赖：反对配置子作业依赖调度，当父作业执行完结且执行胜利后将会被动触发一次子作业的执行；
外围性能：包含串行、互斥、并行、断点续跑、执行打算、容错策略、循环、自定义控制策略、关系策略、近程调度等；
自定义作业参数：反对运行时配置调度作业参数，即时失效；
触发策略：提供丰盛的作业触发策略，包含：固定距离触发、固定延时触发、API（事件）触发、人工触发、父子作业触发；
反对 Linux、Windows、Aix 等跨平台利用；
反对 10 万级作业调度批量管制；
提供在线编辑带语法校验的 IDE 工具环境；
软件分钟级装置部署；
秒级全局定位作业节点定位和作业信息搜寻；
作业自动化及人工灵便干涉；
反对负载平衡、高可用、分布式的企业级特色；
不依赖任何第三方中间件技术，大幅加重产品施行和运维难度；
无需低廉硬件服务器撑持，一般虚拟机就可装置部署；
独创永不穿插流程图和在线编辑 IDE 环境，可能实现流图主动排版和排序，永不穿插，不同作业类型图标可差异化，个性化展现，使图形达到最直观成果；
提供全数据内存拜访、基于全事件引擎驱动；
支持系统开发人员、运维人员、管理人员多渠道角色利用场景；

产品外围是在自主翻新核心技术：无数据库存储拜访、全事件组件间通信触发（音讯队列）、动态数据全内存拜访的根底上构建的。在整个逻辑架构中，每一个组件对应一个零碎过程，整个外围性能就是有不同性能的过程有序协同实现。

1. 数十万级作业规模调度反对
TASKCTL 从 2.0 开始，就定位为企业级调度根底软件，能实现 10 万级任务调度管制，能满足各大企业的调度规模需要。
2. 反对各种技术平台的集成，能实现各种作业类型的调度
TASKCTL 是一个凋谢的调度平台，为了适应诸如 Datastage、Informatic、kettle、一体机、大数据、存储过程、java 以及各种脚本工作程序的反对与扩大，同时保障不同工作类型的利用对立，TASKCTL 对作业的管制采纳插件驱动机制，从而实现不同技术平台、不同作业类型调度管制。
3. 多级高可用（HA）、分布式、负载平衡企业级特色
为了保证系统的高可用性、高扩展性，整个产品外围设计采纳层级架构。通过 ”Server(调度控制中心)” + “Agent(代理)” 协调工作，实现各种简单的调度管制，同时，通过 Server 主备，Server 和 Agent 分布式集群部署，实现高可用性与负载平衡的企业级零碎个性。
4. 丰盛的利用渠道、残缺的利用体系
TASKCTL 不仅将零碎利用性能按利用类型通过 Admin、Designer、Monitor 三个软件来组织与利用，同时又按不同利用渠道分 C/S 模式桌面客户端、C/S 模式字符界面客户端以及 B/S 模式监控利用端。它们别离形成残缺的利用零碎，用户能够依据本人的操作习惯与具体应用环境，抉择适合的客户端渠道进行利用操作。
5. 灵便用户权限治理
为了实现用户对各个作业流程资源的操作控制，TASKCTL 采纳操作系统的用户管理机制，TASKCTL 将设计流程对象化、文件化，每个流程能够对拥有者、同组、其它用户别离授予读、写、操作权限，这种机制能够让用户对不同我的项目的的不同流程灵便授予读写操作权限。
6. 流程作业的多级组织架构
流程作业信息是调度的外围信息，为了无效治理与管制这些信息，TASKCTL 通过主题利用、流程（子流程）、模块等多级体系来组织作业信息，使整个平台的作业信息结构更清晰、更易治理、更易管制。
7. 弱小的外围调度性能
①灵便的流程驱动
一个作业流程的开始，能够通过文件达到触发、自定义周期定时触发（n 分钟、n 小时、n 天等）以及自定义事件触发等。
②残缺的调度控制策略
关系策略：能够实现作业、作业流之间的并行、互斥以及任意依赖管制。特地是依赖管制，零碎通过串行、单点依赖、事件依赖以及自定义条件等机制，能够实现作业流内、不同作业流、不同 ETL 作业服务器以及不同业务日期、不同批次间任意作业的依赖管制。
排程打算策略：实现任意天然日历、逻辑日期排程打算；一个流程内可实现天然日历与多个逻辑日期的混合排程打算。
容错策略：能够实现作业谬误后主动重跑，并可指定重跑次数，还能够实现谬误重试次数满后，主动决定工作是否通过或失败。
弱小的自定义策略：一个工作是否运行、疏忽以及期待，用户能够通过自定义条件来确定。一方面，能够采纳零碎提供的内置函数用于条件判断；还能够通过自定义脚本程序来实现条件判断。
灵便的参数传递：用户能够通过定义全局变量、流程公有变量来实现定义各种信息的宏替换、作业参数传递、流程间变量信息传递等。另外，TASKCTL 还可实现一个工作的返回值当作另外一个工作的入口参数来传递。
8. 全方位实时监控作业运行
为了用户实时理解作业的运行状况，TASKCTL 整体采纳实时刷新、图形、多角度多口径统计以及短信等形式对整个平台作业进行全方位监控，以便用户及时把握哪些作业正在运行、谬误起因、失败、正告等信息
9. 灵便的人工干预保护
人工干预是主动调度零碎必不可少的性能。用户能够通过人工操作实现流程的暂停、重置、断点设置与作业的重跑、强制胜利以及疏忽通过；用户能够通过流程自在模式启动来实现任意作业以及任意作业分支的人工运行等。
10. 业余的图形用户界面
TASKCTL 的图形用户界面可能实现上述的所有性能。它将泛滥性能集成于一个直观的图形界面中，使得用户不必相熟各种命令、作业定义语言等，就可迅速把握与应用，进一步不便了用户。