“Welcome to Apache incubator，DolphinScheduler！”

美国工夫2019年8月29日，易观开源的分布式任务调度引擎DolphinScheduler（原EasyScheduler）正式通过顶级开源组织Apache基金会的投票决定，以全票通过的优良体现正式成为Apache孵化器我的项目！

依据Apache基金会邮件列表显示，在蕴含11个约束性投票(binding votes)和2个无约束性投票(non-binding votes)的投票全副持同意意见，无弃权票和反对票，投票顺利通过。

易观奉献的DolphinScheduler进入 Apache 孵化器，是易观开源我的项目的重要里程碑， DolphinScheduler社区将遵循「The Apache Way」, 秉承更加兼容并包与凋谢多样化的心态，由衷欢送更多的开发者参加到社区中来，Committer虚位以待！

DolphinScheduler是一个分布式易扩大的可视化 DAG 工作流任务调度零碎，致力于解决数据处理流程中盘根错节的依赖关系，同时具备弱小的可视化操作界面。DolphinScheduler曾用名为“EasyScheduler”，因为名称已在国外某App应用，经社区探讨与投票后改名为DolphinScheduler，简称”DS”, 中文名 “小海豚调度”（海豚聪慧、人性化，有左右脑可相互换班，终生不必睡觉）。咱们心愿DolphinScheduler就像它的名字一样，成为一个“开箱即用”的灵便易用的调度零碎。

易观缘何开发DolphinScheduler？

2017年，易观在经营本人6.8Pb大小、6.02亿月活、每天近万个调度工作的大数据平台时，受到ETL简单的依赖关系、平台易用性、可维护性及二次开发等方面掣肘，咱们渴望找到一个具备以下性能的数据调度工具：

  • 易于应用，开发人员能够通过非常简单的拖拽操作构建ETL过程。不仅对于ETL开发人员，无奈编写代码的人也能够应用此工具进行ETL操作，例如系统管理员和分析师
  • 解决“简单工作依赖”问题，并且能够实时监督ETL运行状态
  • 反对多租户
  • 反对许多工作类型：Shell，MR，Spark，SQL（mysql，postgresql，hive，sparksql），Python，Sub_Process，Procedure等
  • 反对HA和线性可扩展性

易观技术团队意识到现有开源我的项目没有可能达到咱们要求的，因而决定自行开发这个工具。咱们在2017年底设计了DolphinScheduler的次要架构；2018年5月实现第一个外部应用版本，起初咱们又迭代了几个外部版本后，零碎逐步稳定下来。

家有DolphinScheduler初长成

易观技术团队——这一支自百度、阿里、百分点、Ptmind、热云等团队的“数据极客”，秉持易观“让数据能力平民化”的初心，踊跃拥抱开源，曾奉献过Presto Hbase Connector, Presto Kudu Connector等令开发者称誉的我的项目。此次在公司的反对下，也踊跃将本人的开发的调度工具推动开源，旨在回馈开源的同时，助力打造更为弱小的开源生态。

团队在2019年3月初，小范畴(10多家公司)凋谢了DS的种子用户试用，失去了十分正能量的反馈，在4月初的正式对外开放源码后，很快就取得了许多开发人员的关注趣味，目前github上的star当初已超过1700个，参加开发和应用的公司包含嘀嗒出行、雪球、凤凰金融、水滴互助、华润万家等。

（参见https://github.com/apache/inc...）

DolphinScheduler的特点

DolphinScheduler提供了许多易于应用的性能，可放慢数据ETL工作开发流程的效率。其次要特点如下：

  • 通过拖拽以DAG 图的形式将 Task 依照工作的依赖关系关联起来，可实时可视化监控工作的运行状态
  • 反对丰盛的工作类型
  • 反对工作流定时调度、依赖调度、手动调度、手动暂停/进行/复原，同时反对失败重试/告警、从指定节点复原失败、Kill 工作等操作
  • 反对工作流全局参数及节点自定义参数设置
  • 反对集群HA，通过 Zookeeper实现 Master 集群和 Worker 集群去中心化
  • 反对工作流运行历史树形/甘特图展现、反对工作状态统计、流程状态统计
  • 反对补数，并行或串行回填数据

欢送调度小伙伴退出共建世界顶级的开源我的项目！

目前，DolphinScheduler在中国曾经领有了一个1300多位搭档组成的用户及开发者社区。它也被许多公司和组织宽泛采纳作为其ETL调度工具。咱们热烈欢迎更多的用户和开发者退出到奉献的队伍中来，让咱们国人开源的调度引擎在世界开源生态中占据一席之地！

感激参加社区的贡献者！
特别感谢违心给DolphinScheduler提供领导的champion和mentors:

Champion:

  • Sheng Wu ( Apache Incubator PMC, Apache officer, wusheng@apache.org)

Mentors:

  • Sheng Wu ( Apache Incubator PMC, Apache officer, wusheng@apache.org)
  • ShaoFeng Shi ( Apache Incubator PMC, shaofengshi@apache.org)
  • Liang Chen ( Apache Incubator PMC, Apache member, chenliang613@apache.org)
  • Furkan KAMACI ( Apache Incubator PMC, Apache member, kamaci@apache.org)
  • Kevin Ratnasekera ( Apache Incubator PMC, Apache member, djkevincr@apache.org)

initial committers:

  • William-GuoWei

    (guowei20m@outlook.com)

  • Lidong Dai

    (lidong.dai@outlook.com)

  • Zhanwei Qiao

    (qiaozhanwei@outlook.com)

  • Liang Bao

    (baoliang.leon@gmail.com)

  • Gang Li

    (lgcareer2019@outlook.com)

  • Zijian Gong

    (quanquansy@gmail.com)

  • Jun Gao

    (gaojun2048@gmail.com)

  • Baoqi Wu

    (wubaoqi@gmail.com)

积极参与的贡献者:

chongchongzi 、lfyee 、mnloveyx 、李林 、白强 、杨孟霏、胡将、王金海 、风清扬、林忠俊 、jiangzhx 、HangtongLee、hymzcn、jimmy201602、feloxx、xianhu、yangqinlong、hebin、shafi-1、mchcz、jamescheng16、xtony、chekore、LgbDemo、马泽国、刘小春、 Crossoverrr、jxauwxj

此外还要感激数百位提出issue和倡议以及应用的搭档们的奉献和大力支持；感激在我的项目晚期提出领导的来自华为、京东、teradata、百分点、趣头条等公司负责调度的搭档！

特别感谢github mybatis-plus社区 ，在得悉DolphinScheduler想应用mybatis-plus来反对多数据库，顺便发版去掉了NPL协定；感激易观前端团队开源的高质量 UI 组件库ans-ui！

写在最初

咱们深信将DolphinScheduler引入Apache能够推动更弱小，更多样化的开源社区的倒退。咱们将致力践行“Community Over Code“的Apache文化，同时欢送更多的公司和集体参加到开发者队伍中来，让DolphinScheduler社区更加强壮、衰弱的倒退，让更多人享受开源带来的技术反动！

目前DolphinScheduler的所有源代码和所有相干文档已捐献给Apache Software Foundation。这些代码曾经在Apache License Version 2.0下：

代码库：

https://github.com/apache/inc...

文档：

https://analysys.github.io/ea..._docs_cn/

在线demo：

http://106.75.43.194:8888

为促成技术圈的茁壮倒退，增进Apache DolphinScheduler使用者的交换与学习，易观举办

“Apache DolphinScheduler(incubator) User Meetup”

全国巡回流动，2019 年将陆续在北京、上海等地举办，邀请业内资深的技术专家，分享实战经验，促成互联网技术的教育。

本次巡回 Meetup首站将于10月26日在上海和大家见面，点击文末【浏览原文】，即可报名~

11月23日，北京站报名链接：

https://www.huodongxing.com/e...

欢送大家来交换！

Apache DolphinScheduler(incubator) User Meetup·Shanghai

Date: 2019，Oct, 26 （2019年10月26日）

Meetup Place: Fourth Floor, Building 1, Founder 1107 Yuyuan Road, Changning District, Shanghai.（上海长宁区愚园路1107号创邑1号楼4楼）

Agenda（议程）:

1、Introduction/overview of DolphinScheduler (William-GuoWei).

2、DolphinScheduler internals, fairly technical: how DolphinScheduler works and so on (Zhanwei Qiao).

3、DolphinScheduler practice（Draw up）

4、DolphinScheduler from Zero to One （Draw up）

5、DolphinScheduler practice（Draw up）

6、Recently released features and Roadmap (Lidong Dai)

7、Free discussion

附：DolphinScheduler局部性能截图