在上篇文章 《云原生在京东丨揭秘五大云原生我的项目在京东的落地实际》 中，咱们为大家揭秘了 Kubernetes、Harbor、Vitess、Prometheus、Helm 五大云原生我的项目在京东的实际之路。京东目前根本实现了“All in Containers”，在云原生的利用上放弃着几个最：寰球最大规模的 Docker 集群、Kubernetes 集群、最简单的 Vitess 集群之一、寰球容器化最彻底的互联网企业之一。
同时，京东不仅是最彻底的云原生利用者，还致力于为云原生技术开源奉献价值，将外部孵化并通过实际验证的交融分布式文件系统与对象存储服务的 ChubaoFS 募捐给 CNCF，将分布式数据库中间件 Apache ShardingSphere 开源我的项目捐献给 Apache 基金会，并成为从 Apache 孵化器毕业的顶级我的项目，继续在云原生畛域推动技术创新，推动云原生计算可继续倒退。
本篇文章就将重点为大家深刻介绍 _ChubaoFS 开源我的项目的历史倒退以及在京东的利用实际_，帮忙你在大会前相熟这款最适宜云原生的分布式存储开源我的项目——ChubaoFS。
在正式开始前，咱们先来理解下 ChubaoFS 是什么？
ChubaoFS 是_京东自研的云原生存储平台，提供分布式文件系统与对象存储服务，为云原生利用提供计算与存储拆散的长久化存储计划。_它为运行在 Kubernetes 容器平台之上的云原生利用提供了多租户、POSIX 兼容、可挂载的文件系统；同时，ChubaoFS 还通过风行的 S3 协定来提供对象存储性能。
ChubaoFS 外部高效实现了数据与元数据弹性扩大、程序和随机读写模式、强统一复制算法、以及平安认证等外围个性。通过反对 CSI（Container Storage Interface) 与 Helm，ChubaoFS 能够被轻松部署并与 Kubernetes 紧密配合。
ChubaoFS 最早于 2017 年在京东外部创立，设计的最后目标是为京东的大型容器集群提供长久化存储的解决方案，同时还能够用作业务端的通用存储。通过长期外部孵化与实际验证，京东将 ChubaoFS 开源募捐给 CNCF，并被 CNCF Storage SIG 工作组列入 Cloud Native Landscape 我的项目。
ChubaoFS 的设计有着独到的特点，名为 《CFS: A Distributed File System for Large Scale Container Platforms》 的论文，被国内顶级数据库会议 ACM SIGMOD 2019 收录。评审给出了十分高的评估：“CFS design and implementation are interesting and well described.”“Several design decisions made this system better than Ceph for their use case.”
得益于其简直有限的可伸缩性和散布在多个节点工作内存中元数据子系统，元数据节点也能够实现弹性可扩大，在所有分布式文件系统中，ChubaoFS 是最适宜反对云原生工作负载的。
ChubaoFS 由_元数据子系统 _、_ 数据子系统 _和_ 资源管理节点_组成，能够通过客户端拜访不同文件系统实例，卷。
- 元数据子系统由_元数据节点_组成，每个节点能够治理一组元数据分片。
- 数据子系统由 数据节点 组成，每个节点治理一组数据分片。
- 在 ChubaoFS 中，卷是一个逻辑概念，由_多个元数据 _和_ 数据分片_组成。从客户端的角度看，卷能够被看作是可被容器拜访的文件系统实例。一个卷能够在多个容器中挂载，使得文件能够被不同客户端同时拜访。一个 ChubaoFS 集群能够有上百个卷，大小从几 GB 至几 TB 不等。
- 概括来说，资源管理节点定期获取 元数据 和数据子系统 信息，客户端则定期从资源管理器拉取元数据和数据分片信息，并且进行缓存。通常来讲，文件操作由客户端发动，间接与数据和元数据节点通信，无需资源管理节点染指。
ChubaoFS 在设计上还针对可扩展性、多租户、一致性和兼容性上做出了以下尝试：
1
可扩大元数据管理
元数据操作有时候会成为文件系统的性能瓶颈。在咱们的平台中，因为可能会有成千盈百的客户端同时拜访文件，这个问题变得十分突出。独自节点存储元数据很容易成为性能瓶颈。所以，ChubaoFS 中应用了分布式元数据子系统，以便提供高可扩展性。元数据子系统能够认为是内存元数据存储。咱们应用了两个 B-Tree，inodeTree 和 dentryTree，来放慢索引速度。每个元数据分片依据 inode id 范畴进行划分。
2
多租户
为了升高存储老本，很多利用和服务都应用了共享的存储基础设施。不同负载交错在一起，文件大小能够从几 KB 至几百 GB，读写模型从程序到随机。一个成熟的文件系统应该能够高性能地服务于这些负载。ChubaoFS 的存储引擎同时提供了对大文件和小文件的随机 / 程序读写的反对。
3
兼容 S3 对象存储接口
ChubaoFS 提供 S3 兼容的 API，用于拜访通过 POSIX 兼容的 API 存储的对立数据正本，实现对象存储服务。
4
高性能
对于高并发场景的大小文件性能均做了优化，尤其是针对小文件场景做了专门的优化，从而能够撑持更多用户场景，比方 AI 训练平台图片，视频文件的存储，以及图片零碎等。
京东作为中国最大的电商平台之一，业务场景简单多样，ChubaoFS 曾经稳固服务于京东 2000 多 个利用以及在线业务，业务场景不仅限于 海量数据的备份存储 ，还包含_ 数据库备份、MySQL 底层存储（历史表）、人工智能平台模型训练的后端存储、点击流业务 Nginx 日志存储、Elasticsearch 底层存储、Hbase 后端存储_等。
同时，为了合理配置物理硬件资源，京东对于存储与计算拆散的需要比拟迫切。ChubaoFS 作为云原生的分布式文件系统，与容器集群良好的兼容性，以及牢靠的性能和稳定性，为这一指标的实现提供了松软的技术保障。
上面咱们就来看一下 ChubaoFS 在京东外部的两个典型利用：
2016 年初，京东的技术架构部开启了全面的容器化建设路线，同时也是在这一年咱们抉择了 Kubernetes 作为计算资源编排的计划。那个时候，Kubernetes 才刚刚开源差不多一年工夫，CNCF 也才成立一年，京东能够算是先驱者之一。最后京东应用原生镜像仓库来作为镜像地方存储库，然而在应用过程中发现它存在一些问题。因而从 2016 京东就转为 Harbor 的忠诚用户。_Harbor 是一个开源的镜像仓库我的项目，操作简略、运行稳固，为京东节俭了大概 60% 的镜像地方存储库保护工夫。_
随着业务量的增长，存储镜像的数据会变得越来越宏大，京东须要一个稳固、牢靠、高性能的存储计划。京东抉择 ChubaoFS 作为 Harbor 后端存储计划，Harbor+ChubaoFS 能够构建一个高可用的镜像核心架构，多个 Harbor 实例能够同时应用 ChubaoFS 共享容器镜像，它给 Harbor 提供了稳固的，可弹性扩大的，高性能的分布式存储服务。
Elasticsearch 是_一个开源的分布式、可扩大、实时的搜寻与数据分析引擎，它能够疾速存储、搜寻和剖析大量数据。_因为较高的性能和较低的应用门槛，京东外部有很多场景都在应用 Elasticsearch。随着业务的一直增长，集群数量及耗费的服务器资源成比例回升，京东 Elasticsearch 实例回升为上万个，保护的集群快速增长为上千个，集群规模从几个到几十个不等。
然而整体资源的利用率却绝对较低，磁盘使用率仅为 28% 左右，日常均匀读写 IO 在 10~20M/ 秒（日志分区 IO 在 60-100M / 秒）。造成资源节约的起因是集群规模广泛较小，为保障突发状况下，读写申请对 IO 的要求，个别会为集群调配较为充裕的资源，物理机调配的容器也会管制在一定量级。咱们做个假如，如果大量的服务器 IO 都能够共享，那么某个集群突发申请对 IO 的影响其实能够疏忽的。
基于这种假如以及对进步磁盘使用率的迫切需要，京东引入了 ChubaoFS 作为存储，将 Elasticsearch 作为无状态的实例进行存储计算拆散。得益于 ChubaoFS 是为大规模容器集群挂载而设计的通用文件系统，简直是零老本接入，只需在物理机上安装相应的客户端，就能够将 ChubaoFS 当成本地文件系统来用。经测试，在集成 ChubaoFS 之后，Elasticsearch 应用 ChubaoFS 甚至在某些场景下要优于本地磁盘。
参考资料：
*《ChubaoFS 网站》
https://www.chubao.io/
*《ChubaoFS 设计相干论文》
https://dl.acm.org/citation.c…
*《文档》
https://chubaofs.readthedocs…._CN/latElasticsearcht/
https://chubaofs.readthedocs….
_ChubaoFS 社区交换_：
_Twitter：_@ChubaoFS
Mailinglist： chubaofs-maintainers@groups.io
Slack： chubaofs.slack.com
2020 年 7 月 30 日 - 8 月 1 日，2020 年 Cloud Native + Open Source Virtual Summit China 中国峰会将首次以线上模式召开。作为 CNCF 云原生基金会白金会员，继去年参加 KubeCon 后，往年京东智联云将持续在大会中亮相，不仅带来多场精彩演讲，还将通过京东智联云云上展厅，近一步展现京东云原生技术动静与前沿技术。
京东架构师张墨飞将在大会上为大家带来 《深刻理解 ChubaoFS 存储引擎》 精彩分享，介绍交融分布式文件系统与对象存储服务的分布式存储 ChubaoFS，与您深入探讨 ChubaoFS 的架构、开发和细节，并探讨诸如复制、故障转移等话题，敬请关注！
浏览原文