* 作者：徐立
云原生的翻新源泉
云原生趋势下，利用容器化比例正在快速增长，Kubernetes 也已成为云原生时代新的基础设施。Forrester 预测到 2022 年，寰球组织 / 公司在生产环境运行容器化利用。从明天有余 30% 的比例将大幅度晋升到超过 75%，企业应用容器化的趋势势不可挡。咱们能够看到两个广泛的景象。首先，在云上托管 Kubernetes 曾经成为企业上云及运行容器的优先选择。另外，用户应用容器的形式也在扭转，从无状态利用到外围企业应用再到数据智能利用，越来越多的企业应用容器来部署生产级别、复杂度高和高性能计算的有状态利用。比方 Web 服务、内容资料库、数据库，甚至 DevOps、AI/ 大数据利用等。
随着基础设施从物理机到虚拟机，到以 Kubernetes 为代表的容器环境，甚至到 Serverless 的逐步演进，明天的计算和利用正在面临微小的变动。这种变动使得资源粒度越来越细，生命周期越来越短，计算按需应用。
从用户视角来看云原生带来的存储变动，最显著的就是用户应用存储界面产生上移，和利用不间接相干的存储服务从应用层下沉到云平台，用户更关怀利用。
举例来说，传统状态用户须要关怀所有硬件和软件，逐步过渡到用户关怀虚拟机、操作系统和整个应用软件栈，到明天在 Serverless 里演变成用户只关怀利用业务和代码。系统资源从物理资源层、虚拟化资源层回升到利用开发层，用户无需关怀底层的基础设施。
在这样的技术体系下，存储的能力的演变次要体现在以下 3 个方面：
1、高密
虚拟机时代，一个虚拟机就对应一个残缺的存储空间，能够用其存储整个利用所须要的所有数据相干的拜访和存储需要。在 Serverless 函数计算环境，利用被切分为一个个函数，对应的资源都须要存储管理，因而，存储的密度产生了很大的变动，存储密度更高。
2、弹性
随着利用拆分的粒度越来越细化，存储密度逐步晋升，Serverless 函数计算大规模实例须要高并发启动，存储须要极致弹性的能力。
3、极速
从 Serverless 函数计算的角度来看，函数是整个过程的一个局部，生命周期天然变短。由此呈现大量短生命周期的容器实例。随着生命周期越来越短，须要存储疾速挂载 / 卸载，快速访问。
随着服务界面产生上移，存储管控界面被重塑，内置存储和外置存储变得更加清晰。Serverless 环境里，用户可见界面是外置存储（包含文件存储和对象存储），而内置存储（包含镜像存储和长期存储）对用户是不可见的，内置存储由阿里云来治理，提供了翻新的机会。
镜像减速的技术创新
阿里巴巴容器规模化部署的挑战
阿里巴巴容器规模化部署次要面临的挑战体现在以下几个方面：
1、业务体量大。 集群规模大，高达十万量级；所有利用全副容器化，并且利用镜像大，通常以数十 GB 大小为主。
2、更快的部署速度。 业务规模持续增长，要求云平台能够疾速的部署利用，才可能解决业务增长，尤其双十一大促时紧急扩容，难以事先对各服务精确预估容量。
3、然而大规模的创立或者更新容器集群仍然很慢，次要起因是容器部署镜像的下载和解压很慢，次要的技术挑战如下:
• 工夫开销大：工夫开销 ∝ 镜像大小 * 节点数；一千节点就须要存一千份镜像；
• CPU 工夫开销大： gzip 解压慢，且只能串行解压;
• I/O 压力大： 下载、解压两轮写盘，包含泛滥节点同时写盘，对云盘产生“共振”;
• 内存占用扰动： 对宿主机 page cache 产生重大扰动;
• 然而无效数据占比少： 启动时均匀仅需镜像数据的 6.4%。
应答以上技术挑战，大规模容器部署的要害需要形象总结为三点：
1、按需： 下载解压速度足够快、数据按需拜访和按需传输。
2、增量分层： 数据解耦，通过 OCI-Artifacts 规范 overlayfs 把档次做划分，增量数据，工夫资源应用更无效。
3、Remote Image： 采纳近程镜像技术，扭转镜像格局，同时缩小本地资源的耗费。
Remote Image 技术计划比照
Remote Image 次要有两种技术实现的形式，一种是基于文件系统，第二种是基于块设施。Remote Image 技术计划对比方下图所示：
基于文件系统的 Remote Image 技术的次要特点是间接提供文件系统接口，是容器 Image 的天然扩大。复杂度高，稳定性、优化和高级性能的实现难度大。在通用性上，和操作系统绑定，能力固定，不肯定匹配所有利用。同时攻击面较大。行业代表次要是 Google CRFS，Microsoft Azure Project Teleport，AWS SparseFS。
基于块设施实现的 Remote Image 技术的次要特点是可配合惯例文件系统一起应用，如 ext4；一般容器、平安容器、虚拟机均可间接应用。复杂度、稳定性、优化和高级性能更容易实现。在通用性上，与操作系统和文件系统解绑，利用可自由选择最合适的文件系统，如 NTFS，作为依赖打包进 Image。并且攻击面较小。
阿里巴巴抉择了 Date Accelerator for Disaggregated Infrastructure（简称为 DADI），同时进行了规模性验证。
阿里巴巴自研容器镜像减速技术 DADI
DADI 是阿里巴巴的独创性的技术计划。DADI 镜像服务是一种能够做到麻利又弹性部署利用的分层块级镜像服务。DADI 彻底摒弃了传统容器启动的瀑布类型（即下载、解包、启动），实现了近程镜像的细粒度按需加载，容器启动前不在须要部署镜像，容器在创立后能够立刻启动。
DADI 的数据门路如下图所示，虚线之下是内核态，虚线之上是用户态。DADI 将镜像形象为虚构块设施，并在其上容器利用挂载惯例文件系统如 ext4。当用户利用读取数据时候，读取申请先通过惯例的文件系统解决，文件系统将申请转换为虚构块设施的一次或者屡次读取。对块设施的读取申请被转发到用户态的 DADI 模块，最初转换为一个或者多个 Layer 的随机读取。
DADI 镜像采纳块存储 + 分层技术，每层只记录被增量批改的数据块，反对压缩以及实时的按需解压缩；反对按需传输，只传输用到的数据块下载应用；DADI 还能够采纳 P2P 传输架构，一传十、十传百，在大规模集群内将网络流量平衡到所有多个节点下来。
DADI 关键技术解读
DADI 增量镜像能够通过基于块 + 分层技术来实现，其中每个层对应于一个 LBA 的变更。DADI 的关键技术包含近程镜像的细粒度按需传输，高效的在线解压缩，基于 trace 读取，用于解决突发工作的 P2P 传输技术。DADI 在进步部署利用的敏捷性和弹性方面十分无效。
1、分层块设施 Overlay Block Device
每层记录被增量批改的变长数据块 LBA，不波及文件 / 文件系统的概念，以 512 字节为最小粒度。疾速索引，反对变长记录，以节俭内存，各记录的 LBA 不重叠，反对高效的区间查问。
2、原生反对可写层
提供追加写文件和随机写稠密文件两种模式构建 DADI 镜像。只读层，每个只读都能够依照不同类型的大小，每层查问区间，速度极快。可写层由存储原始数据 (Raw Data) 和存储索引 (Index) 两局部组成，承受 append only 组织而成。
3、ZFile 压缩格局
规范压缩文件格式，例如 gz，bz2，xz 等，无奈高效的进行随机读写操作，无论读取压缩文件中的哪一部分，都须要从头部开始解压，为了反对 layer blob 的压缩并同时反对近程镜像的按需读取，DADI 引入了 ZFile 压缩格局。ZFile 的压缩格局如下图所示，按固定大小数据块压缩，只解压读到的数据块，反对多种无效的压缩算法，包含 lz4，zstd，gzip 等，采纳通用格局，不绑定于 DADI。
4、基于 Trace 预取
记录利用过程中的读取日志、只记地位、不记数据自身。在利用冷启动时，若已有 trace 记录，则 DADI 将依据 trace 提前把数据预取回本地，采纳高并发读取，更加高效。Trace 作为一个非凡的 layer 存于 image，专门用于减速，用户不可见，将来可包容其余减速文件。如下图绿色局部示意减速层、包容 trace 文件以及其余文件。
5、按需 P2P 传输
在咱们的生产环境中，有几个要害应用程序曾经部署在数千台服务器上，并且蕴含高达数 GB 的 Layer，这些应用程序的部署给 Registry 和网络基础设施带来了微小压力。为了更好的解决此类大型利用，DADI 将最近应用的数据块缓存在每个宿主机的本地磁盘上，采纳 P2P 的形式在主机之间传输数据。
1、采纳树形拓扑构造散发数据
• 各个节点均缓存最近应用过的数据块
• 跨节点申请大概率命中父节点本人的 cache
• 未命中的申请会递归向上传递，直到 registr
2、拓扑构造由 root 节点动静保护
• 每个 layer 独自一个传输拓扑
3、每个机房独自部署一组 root
• 多节点高可用架构
• 基于一致性哈希的分工
大规模启动耗时测试
咱们将 DADI 容器启动提早与 .tgz 镜像、Slacker、CRFS、LVM 和 P2P 镜像下载进行了比拟，应用 DockerHub.com 上的 WordPress 镜像，咱们观测单实例的冷启动提早，所有服务器和主机位于同一数据中心。如左图所示，结果表明，应用 DADI 能够显著缩小容器的冷启动工夫。
咱们在公共云上创立了 1000 个 VM，并将他们用做容器的主机。在每个主机上启动 10 个容器，总共 10000 个容器。测试应用 Python 编写的一个小程序 Agility，拜访 HTTP 服务器并在服务端记录时间。如右图所示，结果表明 DADI 的冷启动在 3 秒之内疾速实现。
DADI 在阿里巴巴的规模化运行
DADI 曾经在阿里巴巴团体规模化运行，在阿里巴巴的生产环境内大规模部署。数据显示 DADI 在 10000 个宿主机上启动 10000 个容器仅需 3 -4 秒。DADI 完满应答双十一大促洪峰，目前在阿里巴巴团体外部曾经部署了靠近十万台服务器宿主机，反对团体 Sigma、搜寻、UC 等业务在线、离线利用超过 2 万个，极大进步了利用公布、扩容效率，体验如丝般顺滑。咱们在寰球最大的电子商务平台之一的生产环境中应用 DADI 的教训表明，DADI 在进步部署利用的敏捷性和弹性方面十分无效。
拥抱开源，开释云原生技术红利
当初，DADI 正在通过奉献社区的形式更好地开释云原生技术红利，也心愿与更多企业和开发者共建容器镜像规范。
目前 DADI 曾经凋谢了反对 Contained（docker 尚不反对 remote image），反对节点直连 Registry + 本地缓存技术，反对构建、转换镜像。
将来还会凋谢 P2P 按需传输：将 P2P 子系统从新设计为 Registry 的延长，将反对共享存储，如 nfs、hdfs、ceph、glusterfs 等，全局 Registry + 机房共享存储 + 节点本地缓存 + P2P 数据传输，构建机房内缓存。
大家可通过查看以下 Github 的链接理解更多信息：
- 管制立体 (for containerd)：
https://github.com/alibaba/ac…
- 数据立体(overlaybd)：
https://github.com/alibaba/ov…
容器长久存储的技术演进
存储接入技术面临的挑战
下面咱们谈到了 Serverless 利用架构的新范式，当初咱们看到一个趋势，从虚拟机到一般容器，再逐步演变为神龙裸金属部署平安容器。从存储的布局角度来看，其面临的不言而喻的挑战是更加高密和多租户。
容器接入技术趋势： 计算层基于 ECS + 一般容器的架构向基于神龙 + 平安容器架构演进，单节点密度达到 2000，单实例规格最小粒度内存 128MB，1/12 CPU。容器接入技术的趋势，带来了 I/O 资源放大的挑战。
阿里云存储在端接入上有本人的思考，存储分为内置存储 (镜像和长期存储) 和外置存储（文件系统 / 共享文件系统、大数据文件系统、数据库文件系统等）。
存储系统如何和底层更好的连贯？存储接入容器的形式是通过 virtio 的能力卸载到神龙 Moc 卡上，神龙 Moc 卡 + virtio 的通路和底层存储服务更好的联动。
长久存储 – 面向现代化利用的弹性供应云盘 ESSD
ESSD 云盘为用户提供高可用、高牢靠、高性能的块级随机拜访服务，并提供原生快照数据保护和跨域容灾等丰盛的企业个性。
面向现代化利用的弹性供应云盘 ESSD 具备两个要害个性：
- 云盘挂载密度晋升 4 倍，单实例最大反对 64 块云盘
- 性能与容量齐全解耦，用户需要不须要事后设定，按需而定。
举例来说，为了应答很多用户面临的问题：无奈精确预估业务峰值，在性能配置上难以做好精准布局。如果性能配置预留过高，会造成日常资源的大量闲置节约；而如果性能预留有余，业务突发洪峰会造成业务受损。咱们推出了 ESSD Auto PL 云盘，它反对性能指定配置的同时，反对按业务负载主动伸缩，单盘能够主动晋升到最高 100 万 IOPS 性能，为不可预期的突发拜访提供平安便捷的性能主动配置。
长久存储 – 容器网络文件系统 CNFS
针对容器中应用文件存储的劣势和挑战，阿里云存储团队与容器服务团队独特推出了容器网络文件系统 CNFS，内置在阿里云托管的 Kubernetes 服务 ACK 中。CNFS 通过将阿里云的文件存储形象为一个 K8s 对象（CRD）进行独立治理，包含创立、删除、形容、挂载，监控及扩容等运维操作，使用户能够在享受容器应用文件存储带来的便捷的同时，进步文件存储的性能和数据安全，并提供容器统一的申明式治理。
CNFS 在可拜访性、弹性扩容、性能优化、可观测性、数据保护、申明式等六个方面针对容器存储进行了深度优化，使其与开源计划相比具备以下显著劣势：
- 在存储类型方面，CNFS 反对文件存储，目前反对阿里云文件存储 NAS
- 反对 Kubernetes 兼容的申明式生命周期治理，能够一站式治理容器和存储
- 反对 PV 的在线扩容、主动扩容，针对容器弹性伸缩个性优化
- 反对更好的和 Kubernetes 联合的数据保护，包含 PV 快照、回收站、删除爱护、数据加密、数据灾备等
- 反对利用级别的利用一致性快照，主动剖析利用配置和存储依赖，一键备份、一键还原
- 反对 PV 级别监控
- 反对更好的访问控制，进步共享文件系统的权限平安，包含目录级 Quota、ACL
- 提供性能优化，针对文件存储的小文件读写，提供更优化的性能
- 老本优化，提供低频介质及转换策略，升高存储老本
最佳实际
数据库容器化应用 ESSD 云盘高密挂载的最佳实际
数据库容器化应用 ESSD 云盘高密挂载的业务场景次要面临的需要是：数据库部署模式从虚拟机向容器化发展，继续晋升弹性和可移植性，简化部署。容器部署密度随着 CPU 核数线性增长，须要长久化存储晋升挂载密度。数据库作为 IO 密集型业务，对单机存储性能提出更高要求。
咱们的解决方案是数据库应用 g6se 存储增强型实例，单实例提供最高 64 块云盘挂载密度，g6se 存储增强型实例，提供最高 100 万 IOPS，4GB 存储吞吐，适配单机高密部署的性能需求。
数据库容器化应用 ESSD 云盘高密挂载的劣势是：
- 高密挂载：相比上代实例，云盘挂载密度晋升 400%，晋升数据库实例单机部署密度。
- 高性能：单机最高 100 万 IOPS，多个云盘之间 IO 人造隔离，提供稳固可预期读写性能。
- 高弹性：ESSD 云盘 反对 IA 快照，快照立刻可用实现只读实例的秒级创立。
- 高可靠性：云盘基于 9 个 9 数据库可靠性设计，同时反对快照、异步复制等数据保护伎俩，解决软硬件故障带来的数据安全风向。
Prometheus 监控服务应用文件存储的最佳实际
Prometheus 的实现形式是 Prometheus server 次要用于抓取和存储数据。Client libraries 能够用来连贯 server 并进行查问等操作，push gateway 用于批量，短期的监控数据的归总节点，次要用于业务数据汇报等。不同 exporter 用于不同场景下的数据收集，如收集 MongoDB 信息 MongoDB exporter。
Prometheus 的外围存储 TSDB，相似 LSM tree 的存储引擎。咱们看到一个趋势，存储引擎多节点数据同步，须要引入 Paxos 一致性协定。中小型客户在治理引擎的时候，治理一致性协定的时候难度十分大，架构将计算和存储拆散，计算是无状态的，TSDB 的存储的引擎开释给分布式文件系统，人造须要 NAS 共享文件系统。
Prometheus 监控服务应用文件存储的劣势是：
- 共享高可用： 多 Pod 共享 NAS 长久化存储，计算节点 Failover 实现容器利用的高可用。
- 0 革新： 分布式 POSIX 文件系统接口，无需任何革新
- 高性能： 反对并发拜访，性能满足霎时拉起索引查问，同步进行数据加载以及低时延索引查问 + 写入
- 高弹性： 存储空间不需预配置，按需应用，按量计费，适配容器弹性能力
总结
面向容器和 Serverless Computing 的存储翻新倒退驱动了存储视角的新变动，整个存储界面上移，开发者更加专属于利用自身，基础设施的运维尽量被托管。存储供应的个性更加高密、弹性、极速。
以上为大家分享了阿里云容器存储的技术创新，包含 DADI 镜像减速技术，为容器规模化启动奠定了很好的根底，ESSD 云盘提供极致性能，CNFS 容器网络文件系统提供极致的用户体验。
随时云原生翻新尾声拉开，云原生存储翻新刚刚走出第一步，置信和各位行业专家一起创始和 Reinvent 存储的翻新机会。
更多对于阿里云容器网络文件系统 CNFS 的技术能力、利用场景和应用形式，请点击 “浏览原文” 理解。