共计 1627 个字符,预计需要花费 5 分钟才能阅读完成。
更多技术交换、求职机会,欢送关注字节跳动数据平台微信公众号,回复【1】进入官网交换群
2022 年 10 月,字节跳动 BitSail 数据引擎正式开源。同期,社区推出 Contributor 激励打算第一期,目前已有 21 位内部开发者为 BitSail 社区做出奉献,成为了首批 BitSail Contributor。
江海的广大是由每一滴水珠形成的,BitSail 社区永远欢送每一位开发者的退出。咱们推出本档“对话 BitSail Contributor”栏目,是想用本人的形式为每一位 Contributor 留下与 BitSail 严密相干的独立记录。正因为有你们、有今后更多的 Contributor 存在,BitSail 能力像起名初衷一样,在数据的陆地里以代码做船帆,向无边际的远方怯懦航行。
“BitSail 为我的社区开发之路提供了很大的能源”,明天的这位 Contributor 在奉献过程中有着怎么的心得?她对 BitSail 社区的将来倒退有着什么样的期待?接下来就让咱们一起听听她怎么说~
(PS:本栏目 Contributor 文章排序无前后、奉献大小之分,按内容提交程序进行推送~~)
社区奉献
认领了 issue :
1.https://github.com/bytedance/bitsail/issues/258
优化了 BitSail Kudu 模块 Row Data 解析性能,通过 runtime context 来解析 Row Data
2.https://github.com/bytedance/bitsail/issues/417
欠缺了 BitSail 通用字段类型检测及转化的局部性能,
次要包含:1. 欠缺 BitSail 通用字段类型检测过程中的异样信息校验及输入 2. 欠缺 MongoBD 字段类型检测的单测性能
与 BitSail 结缘过程
22 年 11 月 BitSail 开源并且相干同学组织了分享流动,听了开发同学的分享之后理解到 BitSail 的功能定位是反对多种异构数据源之间的数据同步并提供了离线,实时,增量及全量场景下全域数据集成计划,实现了流批一体湖仓一体架构,并行度计算异样数据检测阈值设定等性能是目前业绩较为当先及欠缺的数据集成计划,由此引起了我对其具体实现的好奇并开始了我的 BitSail 学习之旅。
奉献能源
通过一段时间的学习钻研发现 BitSail 我的项目源代码品质很高,代码标准及 CICD 测试流程欠缺,基于 Flink 引擎实现了流批一体湖仓一体架构,无论是代码设计还是实现计划对于大数据畛域的同学都有很高的学习价值。
另外,BitSail 经营同学对于社区奉献也是踊跃的宣传,开发同学会急躁解答咱们遇到的问题。以上都对我的社区开发之路提供了很大的能源。
社区初印象
退出 BitSail 社区之后发现社区很欠缺,无论是代码标准还是 CICD 测试流程都比较完善,并且在进行沉闷的迭代。BitSail 经营同学和开发同学都会对新退出社区的同学提供帮忙解决咱们遇到的问题。
将来对 BitSail 的期待
心愿 BitSail 可能一直推出社区活动放弃社区的活跃度,性能方面心愿尽快落地 Local Engine 进步简略场景的资源利用率,对立 CDC 数据入湖的解决方案,反对 K8S 云原生,开箱即用拓展 BitSail 的应用场景。
继续关注,更多“对话 BitSail Contributor 内容”正在路上~~
退出社群,获取更多精彩!
理解更多 BitSail 信息⬇⬇
⭐️ Star 不迷路(BitSail 代码仓库):https://github.com/bytedance/bitsail
提交问题和倡议:https://github.com/bytedance/bitsail/issues
奉献代码:https://github.com/bytedance/bitsail/pullsBitSail
官网:https://bytedance.github.io/bitsail/zh/
订阅邮件列表:bitsail+subscribe@googlegroups.com