乐趣区

关于存储:Fluid-进入-CNCF-Sandbox加速大数据和-AI-应用拥抱云原生

简介:2021 年 4 月 27 日,云原生计算基金会(CNCF)发表通过寰球 TOC 投票接收 Fluid 成为 CNCF 官网沙箱我的项目。Fluid 是一个由南京大学、阿里云以及 Alluxio 开源社区联结发动并开源的云原生数据编排和减速零碎。

起源 | 阿里巴巴云原生公众号

2021 年 4 月 27 日,云原生计算基金会(CNCF)发表通过寰球 TOC 投票接收 Fluid 成为 CNCF 官网沙箱我的项目。Fluid 是一个由南京大学、阿里云以及 Alluxio 开源社区联结发动并开源的云原生数据编排和减速零碎。

Fluid 我的项目地址:
https://github.com/fluid-cloudnative/fluid

我的项目介绍

云原生环境下,计算存储拆散架构在晋升零碎弹性和灵活性的同时,给大数据 / AI 等数据密集型利用带来了计算性能和管理效率方面的挑战。现有云原生编排框架运行此类利用面临数据拜访延时高、多数据源联结剖析难、利用应用数据过程简单等痛点。Fluid 正是为解决这些问题而生的。


Fluid 零碎架构图

Fluid 运行在 Kubernetes 上,是一个可扩大的分布式数据编排和减速零碎,其指标为构建云原生环境下数据密集型利用的高效撑持平台。该我的项目开源于 2020 年 9 月,短短半年多工夫内倒退迅速,吸引了泛滥领域专家和工程师的关注与奉献,并在包含微博、中国电信等多家大型出名 IT 和互联网企业中应用。

外围性能

Fluid 在云原生利用与数据的协同编排、调度优化、数据缓存等几方面提出一系列技术创新,其外围性能包含:

  • 提供存储无感知的数据对象 - 数据集 (Dataset):通过自定义资源对象 (Custom Resource Definition) 实现对不同存储系统的对立形象定义与治理,反对可观测性和弹性伸缩。
  • 利用分布式缓存技术减速数据集读写:通过扩大 CacheRuntime 对象,自定义并治理分布式数据缓存引擎。目前已原生反对缓存引擎 Alluxio 和 JindoFS。
  • 基于容器调度的智能数据编排:基于 Kubernetes 容器调度和扩缩容能力,实现数据缓存的智能化编排。
  • 数据集与利用协同调度:扩大 Kubernetes 调度器感知数据集缓存信息,就近调度利用,施展本地读写缓存的性能劣势。
  • 规范拜访接口:应用 Kubernetes 规范存储接口 Persistent Volume Claim  拜访数据集,实现无缝兼容云原生利用。
  • 面向场景的性能调优:针对深度学习、批量数据处理等工作,提供数据集预热、元数据管理优化、小文件 IO 优化、主动弹性伸缩等伎俩,广泛晋升工作运行效率。

展望未来

Fluid 开源我的项目致力于通过联合学术界的原创钻研和工业界的落地实际能力,减速云原生基础设施拥抱数据密集型利用,与开源社区一起构建 Kubernetes 平台利用应用和治理数据的对立界面。Fluid 开源社区目前有 5 位外围维护者 (Maintainer),别离来自南京大学,阿里巴巴和 Alluxio,并由来自南京大学 PASALab 的顾荣副研究员负责开源社区主席。此外,来自中国电信、微博、Boss 直聘、第四范式、云知声等企业的工程师都奉献了大量的开发工作。

作为对原生 Kubernetes 生态齐全兼容的数据密集型利用运行撑持平台,Fluid 将向更灵便、智能、可扩大的架构方向倒退,一直晋升开发者和用户应用体验。将来,Fluid 将持续与社区并肩、与生态同行,致力于推动云原生技术在大数据 / AI 零碎畛域的生态建设与遍及,与寰球开发者一起拓展云原生的边界。

版权申明:本文内容由阿里云实名注册用户自发奉献,版权归原作者所有,阿里云开发者社区不领有其著作权,亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容,填写侵权投诉表单进行举报,一经查实,本社区将立即删除涉嫌侵权内容。

退出移动版