2022 年 10 月初,openEuler Maintainer 姜逸坤承受 Apache Spark PMC 邀请,正式成为 Apache Spark Committer(外围贡献者)[1]。
他的次要奉献是 Apache Spark 在基础设施、云原生、PySpark 等方向的改良。
开源之路,从糊涂到深刻
姜逸坤 2016 年退出华为计算开源团队,先后成为 OpenStack 社区 (OpenInfra 基金会) Core Member、openEuler 社区 (凋谢原子开源基金会) Maintainer、Volcano 社区 (CNCF 基金会) Reviewer、Spark 社区 (Apache 基金会) Committer,横跨多个顶级开源社区的经验让他疾速实现常识积攒和个人成长,而他对于技术和开源的酷爱始终如一。
从多样性算力反对到 Apache Spark 外围贡献者
penEuler 作为最优反对多样性算力的原生操作系统,反对 x86、ARM、RISC-V、LoongArch、SW64 等多种处理器架构,而开源社区的应用软件多架构反对最后并不欠缺,应用软件的短板使得 openEuler 社区用户无奈充沛、便当地施展多样性算力的最大价值。
早在 2019 年,逸坤所在团队就开始了开源社区的多架构反对工作,在 Apache Spark 社区,他与团队成员和 Spark 社区合作共同完成了 ARM64 架构的适配,并且在 Apache Spark 3.0.0 版本正式反对 ARM64 架构(SPARK-30057),为 Spark 社区增加了 ARM CI 确保 Spark 在 ARM64 平台继续可用(SPARK-29106)。
随着在 Spark 社区奉献的逐渐深刻,他所做的工作从最后的多样性算力适配,缓缓地变为多样性算力架构级的加强。2021 年 11 月,逸坤作为第一作者,联结华为、Apple、Netflix、Cloudera 等开发者在 Spark 社区共同完成个性的设计和代码开发——《Spark-36057: 反对 Spark on Kubernetes 自定义调度性能》,并以 Apache Spark + Volcano 调度零碎作为参考实现合入到社区,最终在 Apache Spark 3.3.0 版本作为亮点个性公布,加强了 Spark 多样性算力调度能力。随后,openEuler 社区中的泛滥大数据用户(如华为、亚信、中国零碎等),开始集成该计划到其上游的产品和服务中,以加强队列调度、资源预留、多样性算力调度的能力。“Upstream first”,并踊跃推动上游开源用户应用,是他始终保持的理念。
近期,他在 Apache Spark 社区发动了一个新的提案——《SPARK-40513: 为 Spark 提供 Docker 官网镜像反对》,这个提案为 Apache Spark 社区提供官网容器镜像标准、规范及参考实现,并公布镜像,目前已取得 Spark 社区全票通过。这为后续诸如 openEuler 等操作系统更高效、更高质量地实现定制 Spark 大数据利用镜像奠定了根底。
同时,逸坤通过他在云计算、云原生、基础设施、ARM CI 等畛域的积攒,为 Apache Spark 社区的基础设施稳固和优化付出了很多致力。最终,顺利取得了 Apache Spark 社区的认可,成为 Apache Spark Committer。
让 openEuler 与内部开源社区更好的连贯、交融
Apache Spark 社区的奉献仅仅是一个缩影,逸坤和他所在的团队继续沉闷在 openEuler 社区的大数据、OpenStack、云原生、HPC、基础设施等 SIG 组,致力将 openEuler 社区连贯并融入到更广大的开源世界。也欢送更多的人退出进来,让 openEuler 社区与内部开源社区更好交融,产生更多平凡的单干与翻新!
[1] Welcome Yikun Jiang as a Spark committer https://lists.apache.org/thre…
[2] SPIP: Support Customized Kubernetes Schedulers https://issues.apache.org/jir…
[3] SPIP: Support Docker Official Image for Spark https://issues.apache.org/jir…