关于字节跳动:从Google创业再到字节跳动我在开源领域的实践与思考

1次阅读

共计 3735 个字符,预计需要花费 10 分钟才能阅读完成。

点击以下链接收听本期“大咖访谈”播客,与大咖面对面:

https://www.xiaoyuzhoufm.com/episodes/64780ea016726282409baf70

开源雨林:请您先向观众介绍本人

大家好,我是张鑫。以往在不同场合我会有很多不同的介绍形式,明天我想多聊聊与开源的缘分。我从事过科研、尝试过守业、在互联网公司工作,但这其中有一条主线——开源。

从清华大学毕业后,我去了美国的卡内基·梅隆大学(CMU)持续攻读计算机博士学位,从事分布式系统和网络安全相干的钻研工作。最早感触到开源的力量就是在读博期间。咱们在进行学术研究时,常常要以论文的模式将科研成果在社区共享,通过社区合作、常识共享,独特推动技术与畛域的提高。另外,在做科研、发表论文的过程中,对于一些新的见解,也常常须要做仿真。这个过程中,往往会用到很多开源软件和工具去做技术的落地和验证,相当地高效。这样一些开源工具的存在,有助于大家进行更好地翻新。

从 CMU 毕业后,我去了美国的 Google 从事 Google 外部的集群治理平台。2014 年初,Google 外部探讨是否发力私有云,作为 ToB 畛域的后发者,如何在私有云畛域青出于蓝,通过开源推动 Google 的现有劣势,把开源作为拉动谷歌私有云商业化的重要措施。在这样的大潮里,我参加到了 Kubernetes 的研发工作中,奉献排名在前十位,起初我的项目的胜利也是超出最开始的预期。不过两三年的工夫,其余公司的贡献者比例曾经超过了 Google,这是咱们没想到的。由此可见,过后开源热度之高。

2015 年,我从 Google 辞职回国守业,开办了一家科技公司(杭州才云科技有限公司)。一方面,基于云原生技术踊跃构建企业级产品;另一方面,联合在做 ToB 时发现的新场景,被动开源翻新我的项目,例如 2017 年与 Google、Red Hat 等公司独特推出的容器化深度学习平台凋谢技术标准 Kubeflow,咱们通过参加制订技术标准,播种了很多企业客户,带来了很大的收益的同时,也帮忙咱们更好吸引了人才,以此更好地服务更多的用户,让更多的企业理解到咱们。

2020 年,咱们的团队及业务通过收买的形式退出字节跳动火山引擎,目前是火山引擎副总裁,以及字节跳动开源委员会治理经营负责人。

开源雨林:从顶级国内企业到守业(准独角兽公司),再到退出国内顶级互联网公司的心路历程是什么?

最次要的起因还是心田始终想做一些能够填补行业空白的事件。

2015 年,谷歌开始大力发展私有云业务,而过后国内的私有云还比拟空白,另外很多的开源的技术在美国发展地热火朝天,但却始终短少具备中国原创或是中国作为主力军的开源技术贡献者。就感觉,如果回国开办一家不光是用开源技术,同时还本人作为次要贡献者,且能推出一些有独创性的残缺我的项目的企业,我感觉对于整个国内的科技进步和行业提高是十分有价值和意义的。当然,也掂量了守业的一些关键因素。在守业正式回国前,我利用集体假期回国接触了第一家潜在企业用户——锦江团体,聊得特地顺利,顺利到让我感觉所有的企业听到这种开源技术都会十分兴奋。

在字节跳动收买之前,咱们先后实现了四轮融资。和本人守业相比,字节跳动可能带给咱们更大的施展空间,以及更多对外输入的技术和解决方案。咱们心愿能在一个绝对空白的畛域施展更大的影响力,感觉退出字节跳动是一个很好的抉择,字节跳动也提供给咱们一些很好的计划,所以就一拍即合,带着团队和业务来到了字节跳动。事实证明,这段旅程是很好的,在字节跳动做开源能让咱们影响更多人,推动更多的事件。

开源雨林:为何对开源治理感兴趣?

最开始,大家不了解开源的价值,企业会感觉开源会侵害外围商业秘密、减弱技术壁垒,认为开源=收费,甚至有的会说开源是扼杀翻新。另外,开源须要最佳实际的积淀。比方开源技术如何做更好的推广、布道?如何更加标准、更加开放式合作的打造强壮的开发者群体?如何通过经营,让好的技术更好地流传进来?国际化环境下,如何突破所谓的 Cultural Barrier 或 Language Barrier,让中国的开源走向国内,和海内开发者以及顶级基金会接轨?这些都是咱们在治理方面须要做的事件,且与国外差距十分大,这是我违心花工夫和精力投入其中的起因。

开源雨林:Google 激励员工奉献开源,当初还是这样吗?

2011-2015 年我退职 Google 期间,Google 有一个 70/20/10 准则,激励员工拿出 20% 的工夫来钻研本人喜爱的我的项目,以此激发员工的创造力和翻新精力。如果你在开源方面获得了肯定的问题和影响力,会在公司外部甚至绩效上有肯定的体现。越往上走,就越须要你是某个行业 / 畛域的专家。通过开源,能够帮忙咱们成为行业专家,产生行业影响力,甚至通过开源合作建设更多行业洞察力,对员工是有具体的事实价值在的。

另一方面,我退职 Google 期间,Google 很多工具是闭源的,导致很多人来到 Google 第一件事是学习外部各种工具及技术栈,耗时且低效,影响了谷歌肯定水平上对于人才的留存或招募。我置信 Google 看到了这些问题,所以在近年来更加拥抱开源,外部一些好货色会对外开放,还是持续保持很凋谢的态度。

开源雨林:最近有几位开源界的 KOL 纷纷退出字节跳动,例如 ASF 董事姜宁,王蕴博等,字节跳动是否在策划什么新的动作呢?

非常感谢行业里一些资深的同学信赖咱们,可能跟咱们一起去做奉献。开源是一个长期的根底工作,不像做销售卖产品,有十分短期的一些 KPI。开源不是银弹,没有欲速不达的大招,与其说有什么新的动作,我感觉更多是字节跳动体现出了本人在开源畛域投入的信心和急躁。

做开源的人会更看重平台可能给到的资源、反对以及自由度,也会看哪边有更大的倒退空间。2022 年年初,咱们发现如果企业是分布式自下而上地做开源我的项目,会遇到较多挑战,所以心愿可能有一个中台去服务大家,公司为了这个中台也投入了十分多的资源,给予了很大的反对。

另外,字节跳动在开源畛域还是老手,尽管之前也开源了很多我的项目,但都不足良好的经营。联合咱们在人工智能、云原生,包含数据分析方面的技术停顿,往年有在筹备一些策略我的项目,也是心愿资深的同学来到字节跳动当前,可能实现更多的集体价值,在社区里经营好这些策略我的项目,争取往年或明年能打造出一些在行业里响当当的精品我的项目。我感觉更多是这些起因可能吸引到这些人才吧。

开源雨林:是否举一个字节跳动值得分享的开源应用的实际案例

字节系统部 STE 内核团队面向公司外部所有业务提供 Linux 内核服务,次要负责内核治理、过程调度、虚拟化和网络等几个方面的工作。因为波及到操作系统,所以从一开始咱们就拥抱了支流的 Linux 和内核相干的技术,这部分具体的数据没方法走漏,但咱们整个服务器数据中心的规模在国内是 Top 级别的。

随着云原生利用场景不断扩大、硬件朝着高密度利用异构的机型上倒退,Linux 的迭代速度十分快,所以过程中咱们都是 Upstream First,先回馈到社区,再本人再采纳,肯定不能和 Upstream 脱节。2020 年 9 月,团队向 Linux 内核社区奉献了 HVO(HugeTLB Vmemmap Optimization)计划,解决 Linux 内核内存治理冗余这一难题,失去了业界的宽泛认可。目前,华为、Google 等都投入使用了这个计划。

设施虚拟化技术作为云计算畛域最重要的根底技术之一,多年来始终在稳步向前演进。字节外部也做了一个面向云原生生产场景的下一代高性能设施虚拟化框 VDUSE,通过 VDUSE,开发者能够在一个用户过程中实现一个软件定义的 vDPA 设施,并能够通过 vDPA 框架接入 virtio 或者 vhost 子系统,供容器或者虚机应用。2020 年 10 月,STE 内核团队向 Linux 内核社区正式开源 VDUSE。

另外在 AI 畛域,字节跳动火山翻译团队基于 Transformer 框架推出的 LightSeq 训练减速引擎,可能反对 Transformer 的残缺减速,也以开源的形式回馈给了社区,这些都是比拟好的例子。

开源雨林:对开源雨林有什么倡议,接下来冀望开源雨林做哪些事件?

两方面吧。一是心愿开源雨林可能推动国内企业对于开源技术的奉献,帮忙企业施展本人的企业责任和能量,推出更多好的开源我的项目到社区和行业里来。二是心愿开源雨林可能通过更多的科普、布道和最佳实际的积淀和分享,帮忙更多的集体和技术爱好者成为更好的开源贡献者。

开源雨林:对国内企业开源治理的将来倒退有什么冀望?

心愿长期主义可能代替短期 KPI,这是第一个期待。第二个是增强企业间的开源合作,教学相长,突破企业的边界和技术的孤岛。


开源雨林 围绕 开源通识、开源应用、开源奉献 三大方面构建常识体系,愿把长期积攒的教训系统化分享给企业,在 团队、机制、我的项目 三方面提供单干,推动各企业更高效地应用开源、奉献开源,晋升全行业开源技术与利用程度。

开源雨林的内容已开源,并托管在 https://github.com/opensource-rainforest,欢送通过 Pull Request 的模式奉献内容,通过 Issue 的模式展开讨论,独特保护开源雨林的内容。

欢送关注“开源雨林”公众号,获取最新、最全的音讯。

正文完
 0