关于云计算:达坦科技创业是一场灵魂深处的摇滚

0次阅读

共计 7136 个字符,预计需要花费 18 分钟才能阅读完成。

“我读大学的时候玩乐队,弹奏最多的就是 Guns N’ Roses(枪花)乐队的歌曲。枪花 1987 年发行的第一张专辑叫《Appetite for Destruction》。尽管我不至于有覆灭欲,但都说翻新的实质其实是‘创造性地毁坏’,守业亦然。来到大公司后我间断投身科技守业,想要静心做底层技术的颠覆性翻新。想来也算是年老时谋求的摇滚精力跨时空的连续。”

——王璞 达坦科技创始人兼 CEO

王璞:美国 George Mason 大学计算机博士、北大硕士、北航本科,领有多年云计算和大数据畛域的教训和积攒,善于分布式系统研发、海量数据处理、云计算产品设计及大规模机器学习等。2014 年回国守业,创建数人云科技公司,专一容器技术在国内的落地和推广,2018 年被上市公司收买。曾发表十余篇论文,共计被援用上千次,领有多项云计算专利、软著,并于 2020 年被评比为腾讯云 TVP(最有价值专家)。下文用“Pu”代替。

“魂系游戏和守业很类似,前者大量的离散叙事遍布于各个物件和 NPC 上,寻找主线剧情就好比守业时把客户的需要、公司的技术劣势、VUCA 时代瞬息万变的市场变动和趋势等都链接起来,造成残缺的产品叙事并落地。两者的难度系数都很高,守业中的踩坑、犯错对应的是游戏中的‘死亡’,所以,‘不死精力’或者说‘Grit’(刚毅)是魂系游戏和投身守业企业玩家的必备素质。”

——施继成 达坦科技联结创始人兼 CTO

施继成:复旦大学软件工程本硕,师从华为根底软件首席科学家、鸿蒙实验室主任陈海波传授。善于操作系统内核开发、分布式系统、嵌入式零碎,对分布式数据一致性有钻深的钻研,发表多篇操作系统内核相干论文,累计数百次援用。毕业后曾在谷歌中国、微软亚太和阿里巴巴等公司从事分布式计算和存储等相干工作。入选 2022 年度 36 氪 S 级创业者名册,荣获中国“企业工具与底层软件”畛域“36 位 36 岁以下创业者”名称。下文用“JC”代替。

缘起

一件好的艺术创作,经常可能让人们透过作品感触到作者的精力世界与价值观;一家守业公司也往往是开创团队的外在映射。ChatGPT 问世以来,有人把它类比为哥伦布发现了新大陆。现如今的守业就好比大航海时代的探险,最大的不确定性就是不晓得持续航行上来,后方到底是宝藏还是死亡。守业素来都是一件举步维艰的事件,守业胜利也永远是小概率事件,但仍然难以燃烧企业家的创业精神。不仅仅是因为其背地的财产价值,在诸多兼备社会责任的企业眼中,更多的是推动科学技术的倒退和产业提高,将技术和落地利用相结合,进而发明更多的社会价值。

达坦科技作为科技守业企业的一员,至今刚刚走过两个年头。咱们邀请两位联结创始人,一起给大家讲述达坦科技的故事。

咱们的故事

Q:过后是在什么契机下决定要创建达坦科技呢?

Pu:

首先我和继成过往的教训始终都是在云计算、分布式系统相干畛域。我本人始终是一个喜爱守业的人,上一家公司被收买之后尝试着在上市公司做高管,但说实话不喜爱。上市公司部门多组织简单,外面繁冗的流程、简单的人际关系,这些都不是我想要的,所以决定还是要进去守业,专一前沿技术,并且从守业最初期就特地关注团队的人才培养和文化建设,营造谋求极致的技术气氛。

既然守业必定还是心愿能赢,那就须要对将来的发展趋势有精确的判断。咱们的判断是整个互联网还会有新的增长曲线或者说新的浪潮。只有这个判断成立,那么对云计算和云存储的需要实践上就是持续上升的,甚至会有更大的增量空间。随着 AI、Web3.0 特地是 ChatGPT 的衰亡,咱们的判断也失去一些印证:比方 ChatGPT 要 1 万张 GPU 卡做训练,这须要相当大的计算和存储资源来撑持。那么 DatenLord 要做的就是冲破现有云计算的规模,实现从云计算到天空计算。能做本人善于并喜爱的事件,找到一群气味相投的人,挑战技术极限,做前沿技术的弄潮儿,没有什么比这个更让人兴奋的。

点击文章浏览《从云计算到天空计算》

JC:
我从另一个角度补充一下。作为技术人员,可能深刻钻研技术是很令人开心的一件事件。技术人员往往更违心在感兴趣的畛域进行深挖,摸索其中的深刻问题,甚至是一些世界级的前沿技术和问题。当然这也须要破费大量的工夫和精力,短时间的速成往往是欲速则不达。咱们在开办 DatenLord 的时候就 想做这么一家沉下心钻研技术的公司,置信也会吸引一群有同样谋求的人员退出咱们。

另外一方面,深刻的技术钻研和投入更可能造成技术壁垒,防止了企业间的同质化竞争,最终更可能从某一个畛域怀才不遇,这些对于一家 ToB 的科技型企业至关重要。

Q:为什么抉择“跨云”这个细分畛域?

Pu:

跨云存储是十分有挑战的问题,达坦科技立志要做出世界级产品,咱们抉择的畛域也是业界公认的难点。

答复这个问题之前,咱们先看看云计算的现状:当初的云计算其实是一座座围城,用户一旦进入一座围城中就很难再翻越进去。例如用户一旦开始大规模应用公有云部署,一段时间之后想要上私有云就十分艰难;又或者用户一旦抉择了一家云计算厂商,之后想要迁徙到另外一家厂商老本就会很高。

因而,咱们认为将来的云计算会逾越现有云计算的边界——将来的云计算应该是“互相联通”的,这也就是 UC Berkeley 的 Ion Stoica 传授提出的天空计算。云计算的用户应该非常容易可能在多个云计算厂商之间进行切换,抉择适宜本人的服务,抉择性价比更高的服务。同时用户也可能在公有云和私有云间无缝连接,在计算性能拓展和安全性之间找到一个均衡。

JC:

是的,如何高效解决数据近程拜访的问题是上云碰到的最突出问题,有了高性能跨云数据拜访能力,即能够轻松上云又能够冲破云厂商的绑定,让客户真正享受到云计算带来的弹性便当。而想要能大幅度晋升跨云数据拜访性能,就须要做软硬件深度交融。目前软硬件交融畛域,不管对互联网公司、云计算巨头,还是老牌企业级 IT 厂商,都是极具挑战的场景。总之,达坦抉择跨云存储畛域,具备很高的技术门槛,即便对大厂来说也很有挑战。咱们跟巨头站在差不多的起跑线上,真正用技术实力来竞争。

Q:达坦科技心愿能带来什么样的价值呢?

Pu:

我从 市场和产业的角度 说一下吧。一方面,随着云计算的遍及,企业客户对利用上云曾经造成共识,然而企业客户对于数据上云还有不少顾虑,会更偏向于将数据保留在可控的环境,比方公有数据中心。那企业应用上云后 如何拜访近程公有数据中心的数据,成为云计算进一步遍及落地亟需解决的问题。

另一方面,随着云计算进一步倒退,业界根本公认无服务计算成为下一代云上利用的计算状态,无服务计算使得利用的部署调度更加灵便,然而数据无奈随利用任意迁徙,于是无服务计算大大增加了利用对于数据灵便拜访的需要,即不管利用部署在哪里都要能高效拜访到须要的数据,所以近程跨数据中心、跨地区甚至跨云数据拜访成为下一代云计算最大的挑战。

达坦想做的,就是解决这两个具备挑战性的问题,为用户提供高性能、平安的跨云数据拜访体验。

JC:

跨云存储是十分有挑战的场景,不仅要保障跨云数据拜访的性能,更要保障跨云拜访场景下,数据被竞争读写时依然能保证数据一致性(正确性),即跨云、跨数据中心的数据一致性。咱们以后曾经推出的 DatenLord 开源我的项目能够实现跨云、跨数据中心场景下近程数据高性能拜访,一方面不便企业客户的利用上云后拜访近程公有数据中心的数据,另一方面不便无服务计算的利用(跨云)拜访近程数据。

随着 ChatGPT 引爆整个科技领域,AGI 的产品在颠覆搜索引擎的同时,也对存储提出了更高的要求。对咱们来说,既须要保障原有策略方向的稳固及疾速迭代落地,又须要疾速的学习和从新锚定市场需求发展趋势,调整航向。因而,咱们不仅在产品开发过程中应用了 AGI 的相干技术进行辅助,而且还在摸索为大模型机器学习提供高效存储的可能性。

抉择拥抱开源

Q:为什么会抉择用开源的模式呢?

JC:

一方面咱们开创团队全副是技术背景,作为技术人员,开源是深植于意识深处的,咱们认为当初的基础设施就应该是开源的,就如同有数胜利的先例一样,如 Linux,K8S 等。咱们团队也认为开源可能大大促成技术提高,只有一直地交换能力产出更好的技术产品。

另外一方面,咱们也想借助于开源的社区平台吸引更多优良的开发者参加到我的项目中来,Linux 曾经证实了寰球的开发者是如许得具备创造性,可能开发出什么级别的产品。因而咱们也置信开源带来的优良贡献者们也能使得这些我的项目更加欠缺,更加优良。

Pu:

是的,咱们的产品也是开源的。开源是一种高效的推广形式,能够帮忙用户以最低的老本来应用咱们的产品。

Q:DatenLord 目前已有的开源我的项目有哪些?能够简略介绍下吗?

JC:

达坦是一家拥抱开源的公司,在 GitHub 上有不少咱们的开源我的项目,DatenLord 是咱们的主力开源我的项目,咱们把 DatenLord 用到的很多组件也独自开源进去:

  • DatenLord 跨云存储系统:
    https://github.com/datenlord/datenlord
  • Xline 开源分布式 KV 存储系统:保证数据在跨数据中心、跨云拜访时的一致性,不便业务零碎实现多地多核心多活部署。
    https://github.com/datenlord/Xline
  • RDMA:跨云场景下,网络对数据拜访的性能影响最为突出,DatenLord 采纳高性能网络 RDMA 来升高提早并进步带宽。RDMA 方面咱们有多个相干的开源我的项目:

    • async-rdma 是用 Rust 封装的 RDMA 异步 API 库,它为编写 RDMA 应用程序提供高级形象和异步 API 接口。
      https://github.com/datenlord/async-rdma
    • open-rdma 是 RDMA 协定的开源硬件实现,采纳 Bluespec 和 SpinalHDL 实现,目前次要实现了 RoCEv2 协定。此外,咱们还进行一些特定性能的拓展来晋升 RDMA 的传输效率。
      https://github.com/datenlord/open-rdma
    • roce-sim 是一套验证 RDMA 协定的软件框架,不便测试 RDMA 硬件的正确性,即是否合乎 RoCEv2 协定的要求。
      https://github.com/datenlord/roce-sim
  • async-dpdk:用 Rust 封装的 DPDK 异步 API 库,用于在虚拟化场景下基于 DPDK 实现高性能网络。
    https://github.com/datenlord/async-dpdk

欢送感兴趣的同学来交换单干。

企业文化

Q:像软件在用的 Rust、硬件的 Bluespec、SpinalHDL 这样的语言都很前沿,达坦为什么会抉择用这么前沿的技术语言?

JC:

Rust 更像是一把刀,以前的保护措施不好就容易切手。当初的状况是既能切的快,还能够不容易伤到手,让它很有心愿成为 Linux 第二个语言,以后 Rust 在国外也是很有影响力的语言。

这些年当波及到底层系统软件开发的时候,Rust 简直成为了不二之选。起因是它不仅提供了优良的语言级别安全性保障,还提供了 C 语言类似的性能,因而咱们也趁势抉择了 Rust 语言,将来该语言的前景是不可限量的。

另外一方面,Rust 语言自身的个性也很合乎咱们的企业文化,咱们心愿咱们的产品在产出的第一天就将平安和稳固放在首位,Rust 语言帮忙咱们更容易实现这个指标

Pu:

跨云存储是全新的畛域,而且极具技术挑战,达坦解决跨云存储的思路是采纳业界最新的技术,晋升开发效率,减速软硬件交融相干新技术落地。

达坦在软硬件畛域目前有两方面特长,一方面是跨云数据一致性,基于 Rust 语言实现;另一方面是 RDMA,基于 Bluespec、SpinalHDL 等新一代 HDL 实现 RDMA 的硬件。采纳新一代 HDL 语言来实现 RDMA 硬件,一方面落地硬件麻利开发,大幅度晋升开发效率;另一方面也在摸索硬件麻利验证,减速验证收敛,打造基于新一代 HDL 的全新硬件开发与验证流程。采纳前沿技术,对人的要求很高,咱们也是心愿采纳前沿技术来吸引优秀人才退出。

Q:上一个问题继成提到了达坦的企业文化,能具体介绍下吗?

Pu:

达坦的同学都是勇于探索前沿技术的同学,大家因为酷爱而聚到一起。所以在这里咱们不局限于工作职责自身,更激励大家能勤于思考学习,找到本人感兴趣的事件,发明更多价值。

首先达坦 always 会做一个强学习型组织,在这个根底上咱们依据达坦同学具备的独特特质,提炼出了达坦的文化价值观,也能够说是咱们的人才观

  1. 继续学习 坚持不懈的自驱学习,求真求致
  2. 积极主动 遇到问题被动踏出第一步,做先行者而不是追随者
  3. 精益求精 对本人高标准严要求,对翻新有极致谋求

除了以上这些软性技能的要求,对专业技能的要求当然也是很高的,因而咱们对人才的造就非常重视。个别刚入职的同学会先承受一个月工夫的专业技能培训;此外,咱们也会给正式员工每年两周的带薪学习假期,让大家有充沛的工夫自我精进

区别于其余公司的大规模扩张,达坦在组织建设上十分审慎。咱们置信物以类聚、人以群分。所以与其说是企业文化价值观,不如说是通过这些点去 辨认真正酷爱并谋求挑战的同学,因为这样的一群人组成的团队能力具备真正强的战斗力,能力让公司在简单的环境和强烈的竞争中立于不败之地

Q:过往达坦始终积极参与在各种流动和技术社区里,目前达坦单干、创立的技术社区有哪些呢?

JC:

后面的介绍大家能够看到,达坦曾经开源了不少软硬件我的项目,咱们是国内首家同时开源 RDMA 软硬件解决方案的公司 ,开源写入了公司的基因。咱们置信凋谢、敌对、接收的社区无论是对推动开源我的项目自身的成熟,还是帮忙工程师集体的成长,都是一个“助推器”,是孕育孵化创意的生态。 以后其实曾经在建设的高校单干、开源单干都很多

Pu:

如继成所说,咱们其实最开始是心愿能从这些流动中去意识一群对前沿技术最理解和感兴趣的人 。但随着和不同的人聊,包含有很多高校的传授沟通,咱们会发现其实 大家会很须要从学校到工业界落地的一个过渡的造就。本着开源精力,咱们感觉有任务去发动一些开源的流动和技术社区,帮忙对技术真正有激情的同学

这里先介绍两个往年重点在推的我的项目吧:

【开源毕设我的项目】

1984 年 Richard Stallman 发动了 GMU 和 Free Software Foundation,开源作为一种全新的软件开发和应用模式正式诞生。之后的 40 年里在开源软件社区被有数开发者实际和传承。

咱们联结中国计算机协会 OpenDACs、中国开源畛域的布道者和开辟先锋西安邮电大学 陈莉君传授 、华南理工大学计算机学院 赖晓铮副教授 一起推出了开源毕业设计实习我的项目。心愿在校高年级的本科生能够体验通明开源和常识共享带来的乐趣,并在社区的反馈中取得技术成长。

这个我的项目目标是弥合学校和工业界实际的脱节和差距,在 hands-on 的毕业设计中,零碎梳理学校的知识结构,并使用到具备影响力的实际我的项目中。同时,顺利退出项目组的同学能够取得多位行业内的专家、传授、学者的点评以及前沿科研项目的单干机会。

2023 年是第一届,一共筹备了 7 个细分畛域方向,供学生自主报名和抉择,目前曾经有若干学生进入我的项目小组钻研学习中,咱们也是欢送更多学生参加进来,有所播种
点击文章理解:《达坦科技 2023 开源毕业设计实习招募中》

【基于 BSV 硬件技术社区】

相比软件的开源而言,硬件开源之路更为起伏。一方面硬件自身开发复杂度大,另一方面硬件对物理世界的依赖度比软件高很多,因而硬件开源之路走得比拟迟缓。这是一条少有人走的路,但咱们深信这是一条正确的路。

随着数字芯片的规模越来越大,芯片设计的复杂度指数级回升,对数字芯片的设计人员有很高的要求。当有志从事数字芯片设计的同学从学校走向社会,如何了解数字芯片设计的精华,晋升设计能力,成为是否胜任数字芯片设计工作的要害。尽管国内大多院校计算机科学和电子工程业余都有开设体系结构或组成原理等相干课程,然而在实操环节缺失很多内容,特地是 CPU 里缓存一致性、内存一致性、异样解决相干的局部,基本上都没有实操环节

为此,咱们在 2023 年初发动成立了硬件设计学习社区,邀请所有对硬件麻利开发设计感兴趣的同学退出,与气味相投的小伙伴组成互助自学小组,通过入手我的项目来加深对体系结构的了解。同时装备了急躁的助教,帮忙同学们答疑解惑。

点击文章理解:《欢送退出达坦科技硬件设计学习社区》

序幕

守业一如玩摇滚,自在和不斗争是其精华。为了心中的现实与谋求付出极致的酷爱,才不枉世间走一遭。咱们心愿能通过这篇文章,让更多的人看见达坦背地的故事,也能找到属于本人的路。

如果您看到这里,想进一步理解达坦,或者想和咱们聊一聊,那么欢送加入 4 月 9 日上午 10:30 的直播分享。咱们将对达坦有一个更加具体残缺的介绍。

复制链接入会,或增加至会议列表:

https://meeting.tencent.com/dm/0U1xvQuqQcAp

腾讯会议:423-766-472

想要更多的理解达坦,退出 or 单干,可增加微信征询:Apathy_no

对于咱们

达坦科技(DatenLord)专一下一代云计算——“天空计算”的基础设施技术,致力于拓宽云计算的边界。达坦科技打造的新一代开源跨云存储平台 DatenLord,通过软硬件深度交融的形式买通云云壁垒,实现无限度跨云存储、跨云联通,建设海量异地、异构数据的对立存储拜访机制,为云上利用提供高性能平安存储反对。以满足不同行业客户对海量数据跨云、跨数据中心高性能拜访的需要。

公众号:达坦科技 DatenLord

知乎账号:

https://www.zhihu.com/org/da-tan-ke-ji

B 站:

https://space.bilibili.com/2017027518

正文完
 0