关于大数据:Apache-SeaTunnel-Incubating-210-发布内核重构全面支持-Flink

93次阅读

共计 5892 个字符,预计需要花费 15 分钟才能阅读完成。


2021 年 12 月 9 日,SeaTunnel (原名 Waterdrop) 胜利退出 Apache 孵化器,进入孵化器后,SeaTunnel 社区破费了大量工夫来梳理整个我的项目的内部依赖以确保整个我的项目的合规性,终于在贡献者们四个月的致力下,社区于 2022 年 3 月 18 日正式公布了首个 Apache 版本,该版本一次性通过 Apache 孵化器严苛的 2 轮投票审查,最大水平地保障了 SeaTunnel 软件 License 的合规性。同时这意味着 2.1.0 版本,是通过 SeaTunnel 社区和 Apache 孵化器双重查看后公布的第一个 Apache 官网版本,企业和个人用户能够释怀平安应用。

2.1.0 下载地址:

https://seatunnel.apache.org/…

GitHub Release:

https://github.com/apache/inc…

Note:

License 是一种具备法律性质的合同或领导,目标在于标准受著作权爱护的软件的应用或分布行为。软件许可是软件开发者与其用户之间的一份合约,用来保障在合乎许可范畴的状况下,用户将会受到爱护。这里十分倡议宽广用户及开发者在抉择开源软件前,首先关注该软件的 License 许可是否实用于本人的产品中,而 Apache License 是一种对商业非常敌对的 License。

01 本次公布版本阐明

新个性

1. 对微内核插件化的架构内核局部进行了大量优化,内核以 Java 为主,并对命令行参数解析,插件加载等做了大量改良,同时插件扩大可依据用户(或贡献者)所善于的语言去做开发,极大水平地升高了插件开发门槛。

2. 全面反对 Flink,但同时用户也可自由选择底层引擎,本次更新也为大家带来了大量的 Flink 插件,也欢送大家后续奉献相干插件。

3. 提供本地开发极速启动环境反对(example),贡献者或用户能够在不更改任何代码的状况下疾速丝滑启动,不便本地疾速开发调试体验。对于须要自定义插件的贡献者或者用户来讲,这无疑是个令人激动的好消息。事实上,咱们在公布前的测试中,也有大量贡献者采纳这种形式疾速对插件进行测试。

4. 提供 Docker 容器装置,用户能够极快地通过 Docker 部署装置应用 SeaTunnel,将来咱们也会围绕 Docker&K8s 做出大量迭代,欢送大家探讨交换。

具体性能阐明

应用 JCommander 来做命令行参数解析,使得开发者更关注逻辑自身。

Flink 从 1.9 降级至 1.13.5,放弃兼容旧版本,同时为后续 CDC 做好铺垫。

反对 Doris、Hudi、Phoenix、Druid 等 Connector 插件,残缺的插件反对你能够在这里找到 [plugins-supported-by-seatunnel]。

本地开发极速启动环境反对,你能够在应用 example 模块,不批改任何代码的前提下疾速启动,不便开发者本地调试体验。

反对通过 Docker 容器装置和试用 SeaTunnel。

Sql 组件反对 SET 语句,反对配置变量。

Config 模块重构,缩小贡献者了解老本,同时保障我的项目的代码合规 (License)。

我的项目构造从新调整,以适应新的 Roadmap。

CI&CD 的反对,代码品质自动化管控,(后续会有更多的打算来反对 CI&CD 开发)。

02 用户寄语

一路见证了 SeaTunnel 的成长,从晚期的 waterdrop 开始,虎牙就始终应用作为数据 pipline 对接的外围组件,插件化的能力极大的简化了数据对接的繁琐工作。近期 SeaTunnel 多方面都进行了深度优化,尤其在扩大能力方面获得了微小停顿:引擎方面同时反对 Spark 和 Flink,具备其余引擎的扩大能力;插件方面反对了近 20 余种常见的数据存储,具备其余多语言开发插件的扩大能力。通过社区的继续致力,SeaTunnel 在文档、配置和开发测试环境都获得了前所未有的提高,同时 SeaTunnel 在我的项目构造上也做出大胆调整,为将来的 CDC、CI&CD、代码品质自动化等个性的反对做好铺垫。SeaTunnel 将来可期,心愿大家继续关注中国本人主导的开源我的项目,Fighting!

  • 虎牙数据架构师 黄强

很快乐看到 SeaTunnel 第一个 Apache 版本的公布,新版本代码构造更加清晰,反对的插件更加丰盛。后续我也会持续加入对 SeaTunnel 的奉献。与社区一起让应用更简略,更高效。

  • OPPO 高级工程师 范未太

SeaTunnel 独特的架构设计、模块化和插件化的先进思维十分值得借鉴。当 Seatunnel 还是 Waterdrop 的时候,咱们就继续关注我的项目的倒退,并在多种 etl 场景中验证。咱们联合了图形化界面,使用户能够通过简略的配置,进行 ETL 操作,并大规模利用在生产环境中。心愿 SeaTunnel 倒退越来越好!

  • 现实汽车大数据根底平台负责人 聂磊

祝贺 Seatunnel 退出 Apache 后首个 Apache 版本公布,2.1.0 基于更加清晰的代码构造,更加丰盛的插件家族,优良而简略易用,使其非常适合二开及企业落地,另外架构的降级优化、性能的晋升,将更高效的助力于企业的数据传输,晋升数据价值。

  • 哔哩哔哩资深开发 张宗耀

Apache SeaTunnel(Incubating) 的呈现补救了大数据开源生态中高并发数据推送和荡涤的空白,其插件式思维的架构,吸引了一大批贡献者一直补充欠缺,使得多源数据交换更加简略便捷,而这些亮点,在最新版本 2.1.0 中也都失去了最好的体现,大大节俭了其使用者二开的老本。作为 Apache SeaTunnel(Incubating) 的粉丝之一,由衷的祝福 SeaTunnel 越来越好,将来也会将集体和公司的应用教训同步到社区,为 SeaTunnel 的更高效更易用添砖加瓦。

  • 孩子王 OLAP 平台架构师 袁洪军

祝贺 SeaTunnel 首个 Apache 版本的公布,刚接触到 SeaTunnel 时,就被其简略易用所吸引,新版本岂但在架构上有很大的晋升,而且反对的数据源也更加丰盛。同时社区也越来越成熟,心愿更多酷爱开源的小伙伴一起参加进来,让 SeaTunnel 大放异彩。

  • 蜀海供应链大数据工程师 吴迪

很快乐看到 Seatunnel 退出 Apache 后公布了第一版本,新版本在零碎架构、配置优化、性能晋升等方面都取得巨大进步。如果您还在为分布式数据接入和荡涤而致力,无妨退出 Seatunnel 社区,这里有微小惊喜在等着您!

    • CETC 陈胡

03 致谢

感激以下参加奉献的同学 (为 GitHub ID,排名不分先后):

Al-assad, BenJFan, CalvinKirs, JNSimba, JiangTChen, Rianico, TyrantLucifer, Yves-yuan, ZhangchengHu0923, agendazhang, an-shi-chi-fan, asdf2014, bigdataf, chaozwn, choucmei, dailidong, dongzl, felix-thinkingdata, fengyuceNv, garyelephant, kalencaya, kezhenxu94, legendtkl, leo65535, liujinhui1994, mans2singh, marklightning, mosence, nielifeng, ououtt, ruanwenjun, simon824, totalo, wntp, wolfboys, wuchunfu, xbkaishui, xtr1993, yx91490, zhangbutao, zhaomin1423, zhongjiajie, zhuangchong, zixi0825.

同时也诚挚的感激咱们的 Mentor:

Zhenxu Ke,Willem Jiang,William Guo,LiDong Dai,Ted Liu, Kevin,JB

在这个过程中给予的帮忙。

04 将来几个版本的布局

CDC (Change Data Capture) 是一种用于捕获数据库变更数据的技术, 将来咱们会反对 Spark、FlinkCDC 的反对;

监控体系, 包含数据读取耗时 /s,工作读取输出数据总量,数据传输记录等罕用指标的监控。

UI 零碎的反对,反对用户界面编辑;

SDK 的反对,反对服务化,更便于用户应用。

更多的 Connector 反对,以及更高效的 Sink 反对,如 ClickHouse,很快会在下个版本跟大家见面。

后续 Feature 是由社区独特决定的,咱们也在这里呐喊大家一起参加社区后续建设,如果大家关注哪个个性,能够提 Issue 或者在 Issue 回复,关注多的问题将优先实现。

05 社区倒退

近期详情

自进入 Apache 孵化器以来,贡献者从 13 人增长至 55 人,且持续保持回升趋势,均匀周 Commits 维持在 20+,来自不同公司的三位贡献者 (Lei Xie, HuaJie Wang,Chunfu Wu,) 通过他们对社区的奉献被邀请成为 Committer。

咱们举办了两场 MeetUp,来自 B 站,OPPO、唯品会等企业讲师分享了 SeaTunnel 在他们在企业中的大规模生产落地实际 (后续咱们也会放弃每月一次的 meetup,欢送各位应用 SeaTunnel 的用户或者贡献者分享 SeaTunnel 和你们的故事)。

Apache SeaTunnel (Incubating) 的用户

Apache SeaTunnel (Incubating) 目前注销用户如上,如果您也在应用 Apache SeaTunnel,欢送在 Who is using SeaTunne (https://github.com/apache/inc…)中注销!

Note: 仅蕴含已登记用户

06 PPMC 感言

Apache SeaTunnel (Incubating) PPMC LiFeng Nie 在谈及首个 Apache 版本公布的时候说,从进入 Apache Incubator 的第一天,咱们就始终在努力学习 Apache Way 以及各种 Apache 政策,第一个版本公布的过程破费了大量的工夫(次要是合规性),但咱们认为这种工夫是值得破费的,这也是咱们抉择进入 Apache 的一个很重要的起因,咱们须要让用户用得释怀,而 Apache 无疑是最佳抉择,其 License 近乎刻薄的查看会让用户尽可能地防止相干的合规性问题,保障软件合理合法的流通。另外,其践行 Apache Way,例如公益使命、实用主义、社区胜于代码、公开通明与共识决策、任人唯亲等,能够帮忙 SeaTunnel 社区更加凋谢、通明,向多元化方向倒退。

07 Committer & Contributor 寄语

Apache SeaTunnel 链接数据, 开释价值. 从进入 Apache 孵化器到当初第一个 Apache 版本的公布, 始终深度关注, 并参加其中, 非常高兴 SeaTunnel 第一个 Apache 版本的公布, 新版本在代码架构和标准上都失去很大晋升, Apache SeaTunnel 社区也十分沉闷, 后续我会持续奉献, 欢送更多的小伙伴退出其中, 为 SeaTunnel 的倒退奉献一份力量.

  • Apache SeaTunnel Committer 王华杰

很开心看到 SeaTunnel 公布了第一个 Apache 版本,尽管是第一个版本,然而 SeaTunel 在易用性方面,数据源反对方面曾经具备很强的能力,能帮忙用户简略疾速高效的实现数据同步工作。同时社区也在蓬勃发展中,心愿大家可能一起参加到 Apache SeaTunnel(Incubating) 的奉献之中,为 SeaTunnel 的成长献出本人的力量。

  • Apache SeaTunnel Contributor 范佳

通过社区小伙伴们独特的致力下,咱们很快乐的迎来了进入 Apache 孵化器的首个 Apache 版本,首个 Apache 版本绝对于之前的非 Apache 版本从代码层面上做了大量的重构工作,不论从代码规范性上还是从插件丰富性上还是稳定性上等方面都有了很大的晋升,Apache SeaTunnel 社区十分沉闷,也心愿更多的小伙伴能退出进来奉献你的一份力量。

  • Apache SeaTunnel Committer 武春甫

08 对于 SeaTunnel

SeaTunnel(原 Waterdrop) 是一个十分易用的反对海量数据实时同步的超高性能分布式数据集成平台,每天能够稳固高效同步千亿数据,已在近百家公司生产上应用。

为什么咱们须要 SeaTunnel

SeaTunnel 尽所能为您解决海量数据同步中可能遇到的问题:

数据失落与反复

工作沉积与提早

吞吐量低

利用到生产环境周期长

短少利用运行状态监控

SeaTunnel 应用场景

海量数据同步

海量数据集成

海量数据的 ETL

海量数据聚合

多源数据处理

SeaTunnel 的个性

图片
​如何疾速上手 SeaTunnel?

想要疾速体验 SeaTunnel 吗。2.1.0 十秒钟带你极速体验:

https://seatunnel.apache.org/…

如何参加奉献?

咱们诚邀各位有志于让外乡开源立足寰球的搭档退出 SeaTunnel 贡献者小家庭,一起共建开源!

提交问题和倡议:

https://github.com/apache/inc…

奉献代码:

https://github.com/apache/inc…

订阅社区开发邮件列表 :

dev-subscribe@seatunnel.apach…

开发邮件列表:

dev@seatunnel.apache.org

退出 Slack:

https://join.slack.com/t/apac…

关注 Twitter:

https://twitter.com/ASFSeaTunnel

衷心欢送你们的退出!


// 放弃联系 //

微信号 : Seatunnel

来,和社区一起成长!

Apache SeaTunnel 是一个分布式、高性能、易扩大、用于海量数据(离线 & 实时)同步和转化的数据集成平台。

仓库地址:

https://github.com/apache/inc…

网址:

https://seatunnel.apache.org/

Proposal:

https://cwiki.apache.org/conf…

2.1.0 下载地址:

https://seatunnel.apache.org/…

可能进入 Apache 孵化器,SeaTunnel 新的途程才刚刚开始,但社区的发展壮大须要更多人的退出。咱们置信,在「Community Over Code」(社区大于代码)、「Open and Cooperation」(凋谢合作)、「Meritocracy」(精英治理)、以及「多样性与共识决策」等 The Apache Way 的指引下,咱们将迎来更加多元化和容纳的社区生态,共建开源精力带来的技术提高!

正文完
 0