关于云原生:如何加速云原生数据应用这个开源项目备受关注

49次阅读

共计 2542 个字符，预计需要花费 7 分钟才能阅读完成。

简介：自 2020 年 9 月 Fluid 正式对外开源，倒退短短一年工夫，Fluid 便一次取得两项开源界的重要认可，证实着其所专一的云原生、AI 畛域也正在迎来宽泛关注。这其中的意义和价值如何？咱们尝试管中察豹，从 Fluid 的倒退背景和实区实际聊表观点。

2021 年 9 月 17 日，在由中国信息通信研究院、中国通信标准化协会联结主办的“2021 OSCAR 开源产业大会”上，由阿里云云原生团队联结发动（其余联结单位包含：南京大学、Alluxio 社区）的开源我的项目 Fluid 荣获“OSCAR 尖峰开源我的项目和开源社区”奖项；同时，作为 Fluid 我的项目的联结发起人和社区经营主席，来自南京大学 PASALab 的顾荣副研究员被评比为“开源人物”。

Fluid 于 2020 年 9 月正式对外开源。很多相熟 Fluid 的敌人都晓得，该项目标实质是一个云原生数据编排和减速零碎，于 2021 年 5 月正式成为 CNCF Sandbox 我的项目，帮忙业界欠缺在云原生 AI 畛域的一块重要幅员。

倒退不过短短一年工夫，Fluid 便一次取得两项开源界的重要认可，证实着其所专一的云原生、AI 畛域也正在迎来宽泛关注。这其中的意义和价值如何？咱们尝试管中察豹，从 Fluid 的倒退背景和实区实际聊表观点。

往年是十四五的开局之年。2021 年 3 月，新华社全文颁布了《中华人民共和国国民经济和社会倒退第十四个五年布局和 2035 年近景指标大纲》（以下简称“大纲”）。作为将来五年产业倒退、科技翻新等的重要口头纲领，大纲中有三个关键词分外引人关注：“人工智能”、“云计算”，和首次被列进布局的“开源”。

作为构筑数字经济的基础设施，云计算正像水电煤气一样，浸透至各行各业，用润物细无声来形容也毫不为过。近年来，以容器、微服务、DevOps 为代表的云原生技术，使云端弱小的服务能力失去充沛开释，减速了基础设施的麻利化，进一步实现企业生产效力的晋升，因为被喻为“企业数字化转型的最短门路”。

作为在信息基础设施上承载的次要资源，“数据”则能够看成是新型基础设施的“血液”。AI 技术与云计算的深度交融趋势, 也进一步对算力和利用架构提出了新要求。

回溯 AI 畛域次要技术框架的倒退，如 Spark，Hive，MapReduce，为了缩小数据传输，其设计更多地思考数据本地化架构。但随着技术环境和利用需要的一直更迭，为兼顾资源扩大的灵活性与应用老本，计算和存储拆散的架构在云原生环境中逐步成为支流。这种计算存储拆散架构在晋升零碎弹性和灵活性的同时，也给 AI 等数据密集型利用带来了计算性能和管理效率方面的挑战。

为了解决现有云原生编排框架运行此类利用面临数据拜访延时高、多数据源联结剖析难、利用应用数据过程简单等痛点，阿里云云原生团队、南京大学、Alluxio 社区联结发动并开源的云原生数据编排和减速零碎 Fluid，该我的项目于 2021 年 5 月正式被 CNCF 接收为 Sandbox 我的项目，减速数据密集型利用全面拥抱云原生。

外围性能：

Fluid 在云原生利用与数据的协同编排、调度优化、数据缓存等几方面提出一系列技术创新，其外围性能包含：

提供存储无感知的数据对象 - 数据集 (Dataset)：通过自定义资源对象 (Custom Resource Definition) 实现对不同存储系统的对立形象定义与治理，反对可观测性和弹性伸缩。
利用分布式缓存技术减速数据集读写：通过扩大 CacheRuntime 对象，自定义并治理分布式数据缓存引擎。目前已原生反对缓存引擎 Alluxio 和 JindoFS。
基于容器调度的智能数据编排：基于 Kubernetes 容器调度和扩缩容能力，实现数据缓存的智能化编排。
数据集与利用协同调度：扩大 Kubernetes 调度器感知数据集缓存信息，就近调度利用，施展本地读写缓存的性能劣势。
规范拜访接口：应用 Kubernetes 规范存储接口 Persistent Volume Claim 拜访数据集，实现无缝兼容云原生利用。
面向场景的性能调优：针对深度学习、批量数据处理等工作，提供数据集预热、元数据管理优化、小文件 IO 优化、主动弹性伸缩等伎俩，广泛晋升工作运行效率。

在本次开源产业大会上，信通院云计算与大数据研究所所长何宝宏、中国通信标准化协会常务副秘书长兼副理事长代晓慧等嘉宾发表重点观点，示意开源是软件业新的生产方式，也是一种新的交付形式，这种形式通过二十多年的倒退，曾经倒退成熟。它既能够充分调动集体主观能动性，通过社区协同机制进行思维碰撞，激发技术创新，引领新一代通用技术倒退，更构建了新的单干模式，通过代码公开、规定公开、过程公开，营造通明、凋谢的社区环境，并通过代码检测，主动造成平安前置，无效打消了企业及集体加入的顾虑，建设了信赖机制，已成为企业构建信息系统的重要抉择。

这些观点在 Fluid 开源社区中也失去了充沛的印证。从正式被创建之日起，共建 Fluid 的各方就致力于通过联合学术界的原创钻研和工业界的落地实际能力，减速云原生基础设施拥抱数据密集型利用，并且秉持开源精力与社区一起推动 Kubernetes 平台利用应用和治理数据的对立界面的构建和应用。

正式开源来的短短在一年工夫里，Fluid 借助社区的力量迅速倒退，失去来自中国电信、微博、Boss 直聘、第四范式、云知声等泛滥企业的专家和工程师的关注，并奉献了大量的开发工作，包含微博、中国电信、毫末智行等多家大型出名 IT 和互联网企业都胜利将 Fluid 利用于生产环境下数据密集型利用的开发与部署，大大晋升了资源利用效率和利用性能。

Fluid 的开源实际，不仅失去了来自各界的认可，也为企业在云上以原生的形式翻新数据密集型利用开发和部署，减速数据的流通、会集、解决和价值开掘，晋升利用生产效率提供了可以信赖的教训和办法。

作为对原生 Kubernetes 生态齐全兼容的数据密集型利用运行撑持平台，Fluid 将向更灵便、智能、可扩大的架构方向倒退，一直晋升开发者和用户应用体验。将来，Fluid 将持续与社区并肩、与生态同行，致力于推动云原生技术在 AI 等畛域的生态建设与遍及，与寰球开发者一起拓展云原生的边界。

原文链接
本文为阿里云原创内容，未经容许不得转载。

正文完