2022年10月初,openEuler Maintainer 姜逸坤承受Apache Spark PMC邀请,正式成为Apache Spark Committer(外围贡献者)[1]。
他的次要奉献是Apache Spark在基础设施、云原生、PySpark等方向的改良。
开源之路,从糊涂到深刻
姜逸坤2016年退出华为计算开源团队,先后成为OpenStack社区 (OpenInfra基金会) Core Member、openEuler社区 (凋谢原子开源基金会) Maintainer、Volcano社区 (CNCF基金会) Reviewer、Spark社区 (Apache基金会) Committer,横跨多个顶级开源社区的经验让他疾速实现常识积攒和个人成长,而他对于技术和开源的酷爱始终如一。
从多样性算力反对到Apache Spark外围贡献者
penEuler 作为最优反对多样性算力的原生操作系统,反对x86、ARM、RISC-V、LoongArch、SW64 等多种处理器架构,而开源社区的应用软件多架构反对最后并不欠缺,应用软件的短板使得openEuler社区用户无奈充沛、便当地施展多样性算力的最大价值。
早在2019年,逸坤所在团队就开始了开源社区的多架构反对工作,在Apache Spark社区,他与团队成员和Spark社区合作共同完成了ARM64架构的适配,并且在Apache Spark 3.0.0版本正式反对ARM64架构(SPARK-30057),为Spark社区增加了 ARM CI 确保Spark在ARM64平台继续可用(SPARK-29106)。
随着在Spark社区奉献的逐渐深刻,他所做的工作从最后的多样性算力适配,缓缓地变为多样性算力架构级的加强。2021年11月,逸坤作为第一作者,联结华为、Apple、Netflix、Cloudera等开发者在Spark社区共同完成个性的设计和代码开发——《Spark-36057: 反对Spark on Kubernetes自定义调度性能》,并以Apache Spark + Volcano调度零碎作为参考实现合入到社区,最终在Apache Spark 3.3.0版本作为亮点个性公布,加强了Spark多样性算力调度能力。随后,openEuler社区中的泛滥大数据用户(如华为、亚信、中国零碎等),开始集成该计划到其上游的产品和服务中,以加强队列调度、资源预留、多样性算力调度的能力。“Upstream first”,并踊跃推动上游开源用户应用,是他始终保持的理念。
近期,他在Apache Spark社区发动了一个新的提案——《SPARK-40513: 为Spark提供Docker官网镜像反对》,这个提案为Apache Spark社区提供官网容器镜像标准、规范及参考实现,并公布镜像,目前已取得Spark社区全票通过。这为后续诸如openEuler等操作系统更高效、更高质量地实现定制Spark大数据利用镜像奠定了根底。
同时,逸坤通过他在云计算、云原生、基础设施、ARM CI等畛域的积攒,为Apache Spark社区的基础设施稳固和优化付出了很多致力。最终,顺利取得了Apache Spark社区的认可,成为Apache Spark Committer。
让openEuler与内部开源社区更好的连贯、交融
Apache Spark社区的奉献仅仅是一个缩影,逸坤和他所在的团队继续沉闷在openEuler社区的大数据、OpenStack、云原生、HPC、基础设施等SIG组,致力将openEuler社区连贯并融入到更广大的开源世界。也欢送更多的人退出进来,让openEuler社区与内部开源社区更好交融,产生更多平凡的单干与翻新!
[1] Welcome Yikun Jiang as a Spark committer https://lists.apache.org/thre...
[2] SPIP: Support Customized Kubernetes Schedulers https://issues.apache.org/jir...
[3] SPIP: Support Docker Official Image for Spark https://issues.apache.org/jir...