关于apache:Apache-DolphinScheduler-毕业成为-Apache-首个由国人主导的大数据工作流调度领域顶级项目

39次阅读

共计 2713 个字符,预计需要花费 7 分钟才能阅读完成。

寰球最大的开源软件基金会 Apache 软件基金会(以下简称 Apache)于北京工夫 2021 年 4 月 9 日在官网渠道发表 Apache DolphinScheduler 毕业成为 Apache 顶级我的项目。这是 首个由国人主导并奉献到 Apache 的大数据工作流调度畛域的顶级我的项目

DolphinScheduler™ 曾经是联通、IDG、IBM、京东物流、联想、新东方、诺基亚、360、顺丰和腾讯等 400+ 公司在应用的分布式可视化大数据工作流调度零碎。

DolphinScheduler 于 2019 年 8 月 29 日由易观捐献给 Apache 并启动孵化。之后在导师的领导下,由孵化器治理委员会成员进行辅导和孵化,在 2021 年 2 月 19 日在 Apache 孵化器以 8 票反对一次性通过毕业提案投票。3 月 18 日,Apache 董事会通过  DolphinScheduler 毕业决定,完结了为期 18 个月的孵化,正式确定 DolphinScheduler 成为 Apache 顶级我的项目。

2021 年 4 月 9 日由 Apache 市场副总裁 Sally Khudairi 在 Apache 软件基金会各渠道官号上公布官网通告。

对于 Apache DolphinScheduler

Apache DolphinScheduler 是一个分布式易扩大的带有弱小可视化 DAG 界面的新一代工作流调度平台,自 17 年在立项之初就确定了使命 –“解决大数据工作之间盘根错节的依赖关系,使整个数据处理过程直观可见”,从此配置工作流程再也不须要写代码啦!


DolphinScheduler 架构

作为弱小的带有有向无环图(DAG)可视化界面的分布式大数据工作流调度平台,Dolphin Scheduler 解决了简单的工作依赖关系和简化了数据工作编排的工作。它以 开箱即用 的、易于扩大 的形式将泛滥大数据生态组件连贯到可解决 100,000 级别的数据任务调度零碎中来。

Apache DolphinScheduler 是寰球顶尖架构师与社区认可的数据调度平台,把复杂性留给本人,易用性留给用户,整体有如下特色:

  • 云原生设计:反对多云、多数据中心的跨端调度,同时也反对 K8s Docker 部署与扩大,性能上能够线性增长,在用户测试状况下最高曾经反对 10 万的并行任务管制;
  • 高可用:去中心化的多 Master/Worker 的架构,能够主动工作均衡,主动高可用,确保工作在任何节点死机的状况下能够具备完整性实现整体调度;
  • 用户敌对的界面:可视化的 DAG 图,包含子工作,条件调度、脚本治理、多租户等不便性能,并具备让运行工作实例与工作模板离开,让你的平台保护人员和数据科学家都有一个不便易用的开发和治理平台;
  • 反对多种数据场景:反对流数据处理,批数据处理,暂停、回复、多租户等,对于 spark,hive,MR,flink,clickhouse 等等平台都能够不便间接调用。

DolphinScheduler 在短短 1 年半孵化工夫里就能播种如此多用户和其始终提倡的 Slogan 是分不开的:

是的,调用用的对,中午真能安心睡!最终 Apache Dolphin Scheduler 取得大量用户,例如中国联通、IBM 中国,京东物流,联想,新东方,顺丰快递等等,400 多个用户都在线上应用:

Apache DolphinScheduler 开始了新的终点!

DolphinScheduler 在设计之初就秉承着大道至简、产品易用易保护的核心理念,以高可用、易扩大作为架构底座,通过诸多打磨,取得了用户群体的必定,而后才在 2019 年 3 月正式对外开源,8 月 29 日胜利进入到 Apache 孵化器,成为国内首个 Apache 大数据调度我的项目,屡次登陆 github 月度趋势榜并引起 Hacker News 上的热烈探讨。在 2020 年, DolphinScheduler 也取得了诸多赞美,InfoQ 中国技术力量年度榜单评其为“十大开源新锐我的项目”和“最具人气开源新锐我的项目”,荣获开源中国年度“最佳技术团队”等名称。DolphinScheduler 社区曾经有宏大的 4000+ 人的用户群,据不齐全统计,截止 2020 年 10 月,曾经有 400+ 家公司将 DolphinScheduler 用在生产环境,DolphinScheduler 在各个领域上继续发光发热!

DolphinScheduler 倒退历程

在 Apache 孵化过程中,学习并实际 Apache Way, 真正领会到了 Apache 文化的精华“Comuunity Over Code”,社区基于代码,却又大于代码,须要在代码之下来思考如何合作、如何沟通,如何让 Community 衰弱继续的向前倒退。正是这一直的思考,使得 DolphinScheduler 在完结孵化投票上没有遇到任何 challenge,能够说是出其不意的顺利。

毕业成为顶级我的项目见证了过来一年半以来来自 Apache DolphinScheduler 社区泛滥贡献者和用户的日日夜夜的致力,自从进入 Apache 孵化器以来,DolphinScheduler 社区共退出了 14 位 Commiter、2 位 PMC,也在社区的共同努力下公布了 8 个 Apache Releases,感激给予辛勤反对和有数帮忙的各位导师、贡献者、用户和及 Apache 孵化器的反对。

成为顶级我的项目,只是 Apache DolphinScheduler 新的终点,还有更多的挑战期待着各位社区的小伙伴和用户多多的反对,咱们心愿将来能够让中国优良的开源我的项目走向世界,让世界都理解国内也有顶尖的开源我的项目,最初也感激各位大咖对于 Apache DolphinScheduler 我的项目的帮忙和祝愿。咱们也在此拜谢各位,也心愿各位判若两人的反对 Apache DolphinScheduler 我的项目走向寰球!


新一代大数据调度 – DolphinScheduler 的相干资源

  • DolphinScheduler 官网: https://dolphinscheduler.apache.org
  • DolphinScheduler github:https://github.com/apache/incubator-dolphinscheduler
  • DolphinScheduler Twitter: https://twitter.com/dolphinschedule
  • DolphinScheduler Slack 探讨频道: https://join.slack.com/t/asf-dolphinscheduler/shared_invite/zt-omtdhuio-_JISsxYhiVsltmC5h38yfw
  • DolphinScheduler 微信公众号: 海豚调度
  • 微信用户群增加微信号: easyworkflow
正文完
 0