乐趣区

关于开放源代码:全票通过易观开源项目DolphinScheduler进入Apache孵化器

“Welcome to Apache incubator,DolphinScheduler!”

美国工夫 2019 年 8 月 29 日,易观开源的分布式任务调度引擎 DolphinScheduler(原 EasyScheduler) 正式通过顶级开源组织 Apache 基金会的投票决定,以全票通过的优良体现正式成为 Apache 孵化器我的项目!

依据 Apache 基金会邮件列表显示,在蕴含 11 个约束性投票 (binding votes) 和 2 个无约束性投票 (non-binding votes) 的投票全副持同意意见,无弃权票和反对票,投票顺利通过。

易观奉献的 DolphinScheduler 进入 Apache 孵化器,是易观开源我的项目的重要里程碑,DolphinScheduler 社区将遵循「The Apache Way」, 秉承更加兼容并包与凋谢多样化的心态,由衷欢送更多的开发者参加到社区中来,Committer 虚位以待!

DolphinScheduler 是一个分布式易扩大的可视化 DAG 工作流任务调度零碎,致力于解决数据处理流程中盘根错节的依赖关系,同时具备弱小的可视化操作界面。DolphinScheduler 曾用名为“EasyScheduler”,因为名称已在国外某 App 应用,经社区探讨与投票后改名为 DolphinScheduler,简称”DS”, 中文名“小海豚调度”(海豚聪慧、人性化,有左右脑可相互换班,终生不必睡觉)。咱们心愿 DolphinScheduler 就像它的名字一样,成为一个“开箱即用”的灵便易用的调度零碎。

易观缘何开发 DolphinScheduler?

2017 年,易观在经营本人 6.8Pb 大小、6.02 亿月活、每天近万个调度工作的大数据平台时,受到 ETL 简单的依赖关系、平台易用性、可维护性及二次开发等方面掣肘,咱们渴望找到一个具备以下性能的数据调度工具:

  • 易于应用,开发人员能够通过非常简单的拖拽操作构建 ETL 过程。不仅对于 ETL 开发人员,无奈编写代码的人也能够应用此工具进行 ETL 操作,例如系统管理员和分析师
  • 解决“简单工作依赖”问题,并且能够实时监督 ETL 运行状态
  • 反对多租户
  • 反对许多工作类型:Shell,MR,Spark,SQL(mysql,postgresql,hive,sparksql),Python,Sub_Process,Procedure 等
  • 反对 HA 和线性可扩展性

易观技术团队意识到现有开源我的项目没有可能达到咱们要求的,因而决定自行开发这个工具。咱们在 2017 年底设计了 DolphinScheduler 的次要架构;2018 年 5 月实现第一个外部应用版本,起初咱们又迭代了几个外部版本后,零碎逐步稳定下来。

家有 DolphinScheduler 初长成

易观技术团队——这一支自百度、阿里、百分点、Ptmind、热云等团队的“数据极客”,秉持易观“让数据能力平民化”的初心,踊跃拥抱开源,曾奉献过 Presto Hbase Connector, Presto Kudu Connector 等令开发者称誉的我的项目。此次在公司的反对下,也踊跃将本人的开发的调度工具推动开源,旨在回馈开源的同时,助力打造更为弱小的开源生态。

团队在 2019 年 3 月初,小范畴 (10 多家公司) 凋谢了 DS 的种子用户试用,失去了十分正能量的反馈,在 4 月初的正式对外开放源码后,很快就取得了许多开发人员的关注趣味,目前 github 上的 star 当初已超过 1700 个,参加开发和应用的公司包含嘀嗒出行、雪球、凤凰金融、水滴互助、华润万家等。

(参见 https://github.com/apache/inc…)

DolphinScheduler 的特点

DolphinScheduler 提供了许多易于应用的性能,可放慢数据 ETL 工作开发流程的效率。其次要特点如下:

  • 通过拖拽以 DAG 图的形式将 Task 依照工作的依赖关系关联起来,可实时可视化监控工作的运行状态
  • 反对丰盛的工作类型
  • 反对工作流定时调度、依赖调度、手动调度、手动暂停 / 进行 / 复原,同时反对失败重试 / 告警、从指定节点复原失败、Kill 工作等操作
  • 反对工作流全局参数及节点自定义参数设置
  • 反对集群 HA,通过 Zookeeper 实现 Master 集群和 Worker 集群去中心化
  • 反对工作流运行历史树形 / 甘特图展现、反对工作状态统计、流程状态统计
  • 反对补数,并行或串行回填数据

欢送调度小伙伴退出共建世界顶级的开源我的项目!

目前,DolphinScheduler 在中国曾经领有了一个 1300 多位搭档组成的用户及开发者社区。它也被许多公司和组织宽泛采纳作为其 ETL 调度工具。咱们热烈欢迎更多的用户和开发者退出到奉献的队伍中来,让咱们国人开源的调度引擎在世界开源生态中占据一席之地!

感激参加社区的贡献者!
特别感谢违心给 DolphinScheduler 提供领导的 champion 和 mentors:

Champion:

  • Sheng Wu (Apache Incubator PMC, Apache officer, wusheng@apache.org)

Mentors:

  • Sheng Wu (Apache Incubator PMC, Apache officer, wusheng@apache.org)
  • ShaoFeng Shi (Apache Incubator PMC, shaofengshi@apache.org)
  • Liang Chen (Apache Incubator PMC, Apache member, chenliang613@apache.org)
  • Furkan KAMACI (Apache Incubator PMC, Apache member, kamaci@apache.org)
  • Kevin Ratnasekera (Apache Incubator PMC, Apache member, djkevincr@apache.org)

initial committers:

  • William-GuoWei

    (guowei20m@outlook.com)

  • Lidong Dai

    (lidong.dai@outlook.com)

  • Zhanwei Qiao

    (qiaozhanwei@outlook.com)

  • Liang Bao

    (baoliang.leon@gmail.com)

  • Gang Li

    (lgcareer2019@outlook.com)

  • Zijian Gong

    (quanquansy@gmail.com)

  • Jun Gao

    (gaojun2048@gmail.com)

  • Baoqi Wu

    (wubaoqi@gmail.com)

积极参与的贡献者:

chongchongzi、lfyee、mnloveyx、李林、白强、杨孟霏、胡将、王金海、风清扬、林忠俊、jiangzhx、HangtongLee、hymzcn、jimmy201602、feloxx、xianhu、yangqinlong、hebin、shafi-1、mchcz、jamescheng16、xtony、chekore、LgbDemo、马泽国、刘小春、 Crossoverrr、jxauwxj

此外还要感激数百位提出 issue 和倡议以及应用的搭档们的奉献和大力支持;感激在我的项目晚期提出领导的来自华为、京东、teradata、百分点、趣头条等公司负责调度的搭档!

特别感谢 github mybatis-plus 社区,在得悉 DolphinScheduler 想应用 mybatis-plus 来反对多数据库,顺便发版去掉了 NPL 协定;感激易观前端团队开源的高质量 UI 组件库 ans-ui!

写在最初

咱们深信将 DolphinScheduler 引入 Apache 能够推动更弱小,更多样化的开源社区的倒退。咱们将致力践行“Community Over Code“的 Apache 文化,同时欢送更多的公司和集体参加到开发者队伍中来,让 DolphinScheduler 社区更加强壮、衰弱的倒退,让更多人享受开源带来的技术反动!

目前 DolphinScheduler 的所有源代码和所有相干文档已捐献给 Apache Software Foundation。这些代码曾经在 Apache License Version 2.0 下:

代码库:

https://github.com/apache/inc…

文档:

https://analysys.github.io/ea…_docs_cn/

在线 demo:

http://106.75.43.194:8888

为促成技术圈的茁壮倒退,增进 Apache DolphinScheduler 使用者的交换与学习,易观举办

“Apache DolphinScheduler(incubator) User Meetup”

全国巡回流动,2019 年将陆续在北京、上海等地举办,邀请业内资深的技术专家,分享实战经验,促成互联网技术的教育。

本次巡回 Meetup 首站将于 10 月 26 日在 上海和大家见面,点击文末【浏览原文】,即可报名~

11 月 23 日,北京站报名链接:

https://www.huodongxing.com/e…

欢送大家来交换!

Apache DolphinScheduler(incubator) User Meetup·Shanghai

Date: 2019,Oct, 26(2019 年 10 月 26 日)

Meetup Place: Fourth Floor, Building 1, Founder 1107 Yuyuan Road, Changning District, Shanghai.(上海长宁区愚园路 1107 号创邑 1 号楼 4 楼)

Agenda(议程):

1、Introduction/overview of DolphinScheduler (William-GuoWei).

2、DolphinScheduler internals, fairly technical: how DolphinScheduler works and so on (Zhanwei Qiao).

3、DolphinScheduler practice(Draw up)

4、DolphinScheduler from Zero to One(Draw up)

5、DolphinScheduler practice(Draw up)

6、Recently released features and Roadmap (Lidong Dai)

7、Free discussion

附:DolphinScheduler 局部性能截图

退出移动版