随着大数据时代的疾速倒退，企业每天须要存储、计算、剖析数以万亿的数据，同时还要确保剖析的数据具备及时性、准确性和完整性。面对如此宏大的数据体系，ETL工程师（数据分析师）如何能高效、精确地进行计算并供业务方应用，就成了一个难题。

工具传送门：Taskctl商业付费版(付费)Taskctl Web商业免费版（永恒收费）Kettle（开源收费）Datastage(付费)ETL是数据仓库中的十分重要的一环，是承前启后的必要的一步。ETL负责将散布的、异构数据源中的数据如关系数据、立体数据文件等抽取到长期中间层后进行荡涤、转换、集成，最初加载到数据仓库或数据集市中，成为联…

软件获取:去公众号 “taskctl” 回复内容 “支付” 或 “软件” 即可主流程、子流程、定时器都属于管制容器；而每个管制容器，蕴含一个或多个模块；在模块中定义具体的作业。一 主流程、子流程、定时器、模块之间的关系主流程、子流程、定时器、模块在资源树中的表白：管制容器：是作业的最大组织单位，是一个独立残缺的调度控…

批量解决是银行业整个信息后盾最为重要的技术状态，也是银行外围信息资产数据的分享、传输、演变的重要技术手段。有考察指出，寰球70%的数据是通过批量解决得以再次应用，可见批量解决在整个信息生态中的技术占比与重要性。

ETL负责将散布的、异构数据源中的数据如关系数据、立体数据文件等抽取到长期中间层后进行荡涤、转换、集成， 最初加载到数据仓库或数据集市中，成为联机剖析解决、 数据挖掘的根底。 ETL是数据仓库中的十分重要的一环。它是承前启后的必要的一步。绝对于关系数据库， 数据仓库技术没有严格的数学实践根底，它更面向理论…

TASKCTL 遵循软件产品标准化的准则，以“业余、专一”为设计理念，联合ETL 调度畛域本身的特点，构建了一套直观易 用的 ETL 管制容器调度设计、监控 保护、治理平台 taskctl-web-application。

Kettle中有两种脚本文件，transformation和job，transformation实现针对数据的根底转换，job则实现整个工作流的管制。

在成功打开你的Spoon客户端编辑工具后，首先你要确立一个地方用于保存你的工程文件，Kettle提供了三种资源库类型：数据库类型资源库(Database Repository)、文件类型资源库(File Repository)、Pentaho官方资源库。

本人用的是7.1版本的，每个版本之间的改动区别还是蛮大，有可能你搜的上版本还支持的功能可能你的这个版本就被移除，这也是Kettle的一个小坑，请慎重选择。附Kettle工具下载地址。

Elasticsearch 在 Lucene库 的基础上进行封装，提供restful的API，实现了可以存储海量数据的分布式搜索引擎。