关于数据库:SeaTunnel-开源之夏学生项目申请开启单项最高获-12000-元奖金

3次阅读

共计 2892 个字符,预计需要花费 8 分钟才能阅读完成。

告诉!开源之夏 2023 学生报名曾经正式开启!Apache SeaTunnel(Incubating)往年持续参加开源之夏的流动,2023 年 4 月 29 日 -6 月 3 日 15:00 UTC+8,同学们能够在开源之夏官网 https://summer-ospp.ac.cn/ 找到 SeaTunnel 下的我的项目,筛选本人感兴趣的课题,通过我的项目绝对应导师联系方式与导师沟通并筹备申请材料,提交申请。

1 开源之夏 2023 介绍

开源之夏是由中科院软件所“开源软件供应链点亮打算”发动并长期反对的一项暑期开源流动,旨在激励在校学生积极参与开源软件的开发保护,造就和挖掘更多优良的开发者,促成优良开源软件社区的蓬勃发展,助力开源软件供应链建设。

开源之夏联结国内外开源社区,针对重要开源软件的开发与保护提供我的项目工作,面向寰球高校学生凋谢报名。当选学生将在我的项目资深开发者(我的项目导师)的领导下,参加开源奉献,实现开发工作并奉献给开源社区。

零距离体验顶级开源我的项目、跟着技术大牛晋升研发能力、用成绩赢取丰富奖金和证书等,都是此次流动的亮点,十分值得一试。

2 奖金设置

● 进阶难度:学生结项奖金税前人民币 12000 元。

● 根底难度:学生结项奖金税前人民币 8000 元。

3 流动流程

以后,流动曾经进行到学生注册、遇到事沟通我的项目、提交我的项目申请的阶段,满足条件的学生均可报名加入。往年 11 月,流动将进入序幕,颁布年度优良学生名单。

可参考学生指南查看报名具体流程:https://summer-ospp.ac.cn/help/student/

4 SeaTunnel 社区介绍

SeaTunnel(原名 Waterdrop) 是一个云原生的高性能数据集成平台,反对海量数据的实时同步, 每天能够稳固、高效地同步数百亿条数据。美国工夫 2021 年 12 月 9 日,SeaTunnel 以全票通过的优良体现正式成为 Apache 孵化器我的项目,这也是 Apache 基金会中第一个诞生自中国的数据集成平台我的项目。目前,SeaTunnel 在 GitHub 上 Star 数达 5.1k+,社区达到 5000+ 人规模。2017 年对外开源后,SeaTunnel 曾经公布了 40 多个版本,并通过大量企业生产应用,在 Bilibili、新浪、水滴筹、搜狗、Shopee、唯品会等公司的生产实践中,广泛应用于海量数据集成、数据 ETL、数据聚合以及多源数据处理等场景中,贡献者 170+。

我的项目官网:https://seatunnel.apache.org/

GitHub:https://github.com/apache/incubator-seatunnel

退出 Slack:https://join.slack.com/t/apacheseatunnel/shared_invite/zt-1kc…

5 SeaTunnel 开源之夏 2023 我的项目课题

本次流动,Apache SeaTunnel(Incubating)开源社区共有 2 个我的项目课题通过组委会评审,同学们可在链接页面中筛选本人感兴趣的我的项目:https://summer-ospp.ac.cn/org/projectlist?lang=zh&pageNum=1&p…

1 优化 Apache SeaTunnel Zeta 作业提交流程

我的项目链接:https://summer-ospp.ac.cn/org/prodetail/23b660195?list=org&na…
我的项目难度:进阶
反对语言:中文 & 英文
我的项目社区导师:Lucifer Tyrant
导师分割邮箱:tyrantlucifer@gmail.com
技术畛域:Java
开源协定:Apache License 2.0
我的项目简述:
以后 Zeta 引擎在提交作业时,Client 会先在本地加载连接器的插件,而后将连接器 jar 包和连接器运行时依赖的 jar 包(比方数据库驱动包)的绝对路径保留在作业的逻辑执行打算中。工作提交到 Zeta 引擎的服务端后,服务端会从逻辑执行打算中获取每个 Task 中须要的 jar 包的门路,而后用这些门路从服务端机器上加载这些 jar 包并运行。

这种形式有两个很强的限度:

  1. 服务端须要领有所有连接器及其依赖的 jar 包。
  2. Client 的装置门路必须和服务端齐全一样,而且所有节点的装置门路也必须一样。

这会导致 SeaTunnel Zeta 的引擎端比拟重,在做 docker 或 k8s 提交作业时,容器的体积会十分大。

在这个题目中,咱们须要优化 Zeta 引擎执行作业的逻辑,服务端只应该有引擎的外围 jar 包,所有的连接器包都在 Client 端,当提交作业时,Client 端应该在须要的 jar 包上传到服务端,而不是仅仅保留 jar 包的门路。服务端执行作业时,下载该作业须要的 jar 包,而后加载。作业运行实现后,jar 包删除。

我的项目产出要求:

具体的设计文档
性能代码
测试代码
文档

我的项目技术要求:

java 语言
rpc 通信
高并发编程

我的项目成绩仓库:
https://github.com/apache/incubator-seatunnel

2 实现 Apache SeaTunnel Zeta 中传递配置文件参数的性能

我的项目链接:
https://summer-ospp.ac.cn/org/prodetail/23b660198?list=org&na…
我的项目难度:根底
反对语言:中文
我的项目社区导师:liugddx
导师分割邮箱:liugddx@gmail.com
技术畛域:Java、Shell
开源协定:Apache License 2.0
我的项目简述:
目前 SeaTunnel 有 Flink、Spark、Zeta 三种引擎,配置文件格式应用 hocon 格局。Flink、Spark 引擎能够通过 - i 命令行参数传递自定义的值去替换配置文件中的占位符。这样能够不便用户将一些在配置工作时拿不到的参数通过命令的形式传递进去。目前 Zeta 还不具备这样的能力。

本题咱们须要让 Zeta 引擎也具备这样的能力,并且能够在 docker/k8s/ 本地测试通过。所以须要做以下工作:
1、Zeta 具备 -i 传递自定义参数能力
2、编写 Dockerfile 将 Zeta 打包成镜像并运行 -i 的命令行解析工作
3、编写 k8s 的 yaml 文件在 k8s 部署 Zeta 并测试 -i 的命令行解析工作

我的项目产出要求:

具体的设计文档
性能代码
测试代码
文档

我的项目技术要求:

java 语言
Shell

我的项目成绩仓库:
https://github.com/apache/incubator-seatunnel

欢送同学们报名 SeaTunnel 的我的项目,为社区建设添砖加瓦的同时,取得丰盛的开源经验和丰富的奖金回报!

为放慢我的项目报名申请速度,倡议同学们能够被动向导师发送邮件进行沟通,附上本人的计划和简历,让咱们更加理解你,并认真理解社区我的项目文档,与导师充沛沟通。

咱们还有专门的开源之夏流动交换群,给大家解答对于我的项目和参加流动的纳闷,增加小助手 17743592110 微信,并备注“开源之夏 2023”,咱们将拉您进入交换群。

本文由 白鲸开源科技 提供公布反对!

正文完
 0