简介： 近日阿里巴巴开源了其云原生容器镜像减速技术，其推出的overlaybd镜像格局，相比于传统的分层tar包文件格式，实现了基于网络的按需读取，从而使得容器能够疾速启动。

近日阿里巴巴开源了其云原生容器镜像减速技术（https://github.com/alibaba/accelerated-container-image），其推出的overlaybd镜像格局，相比于传统的分层tar包文件格式，实现了基于网络的按需读取，从而使得容器能够疾速启动。

该技术计划本来是阿里云外部DADI我的项目的一部分， DADI是Data Accelerator for Disaggregated Infrastructure的缩写，旨在为计算存储拆散架构提供各种可能的数据拜访减速技术。镜像减速是DADI架构在容器及云原生畛域的一次突破性尝试，该技术自2019年投产以来，已在线上部署了大量机器，累计启动容器次数超过10亿，反对了阿里巴巴团体及阿里云的多个业务线，极大进步了利用的公布和扩容效率。2020年，团队在国内顶级会议发表了论文 "DADI: Block-Level Image Service for Agile and Elastic Application Deployment. USENIX ATC'20"[[1]](https://www.usenix.org/confer...

背景简介

随着Kubernetes和云原生的大暴发，容器在企业外部的大规模利用曾经越来越宽泛。部署启动快是容器的外围劣势之一，这个启动快是指本地镜像实例化的工夫十分短，即“热启动”工夫短。然而对于“冷启动”，即在本地无镜像的状况下，须要先从Registry下载镜像能力创立容器。业务的镜像通过长期保护和更新，无论是镜像层数还是整体大小都会达到一个较大的量级，比方可能达到数百MB或者几个GB。因而生产环境中，容器的冷启动往往耗时数分钟，并且随规模扩大会导致Registry因集群内网络拥挤而无奈疾速地下载镜像。

例如，在之前某年的双十一流动中，阿里外部一个利用因为容量有余触发紧急扩容，但因并发量过大，整体扩容耗时较长，这期间对局部用户的应用体验造成了影响。而到了2019年，随着DADI的部署上线，新镜像格局的容器在“镜像拉取+容器启动”上消耗的总工夫比一般容器缩短了5倍，且p99长尾工夫更是比后者快了17倍。

如何解决存储在远端的镜像数据，这是解决容器冷启动慢这个问题的外围点。历史上业界对这一问题做出的尝试有：应用块存储或者NAS保留容器镜像，实现按需读取；应用基于网络的散发技术（如p2p），将镜像从多个源头下载、或者提前预热到主机上，避免出现网络单点瓶颈。近年来，针对新镜像格局的探讨也逐步被提上议题，依据Harter等人的钻研[[2]](https://www.usenix.org/confer... Read技术的镜像，曾经成为默认的潮流风向。Google提出的stargz[[3]](https://github.com/containerd... tar.gz，顾名思义，能够有选择地从存档中搜查并提取特定的文件，无需扫描或者解压整个镜像。stargz旨在进步镜像拉取的性能，其提早拉取技术（lazy-pull）不会拉取整个镜像文件，实现了按需读取。为了进一步提高运行时效率，stargz又推出了一个containerd的snapshotter插件，在存储层面对I/O做了进一步优化。

在容器的生命周期中，镜像就绪后须要挂载（mount），而分层镜像挂载的核心技术便是overlayfs，它以一种重叠的模式将上层的多个layer文件合并，并向上暴露出一个对立的只读文件系统。类比上文提到的块存储和NAS，个别能够通过快照的模式进行分层重叠，而跟stargz绑定的CRFS，也能够看做是overlayfs的另一种实现。

新镜像格局

DADI没有间接应用overlayfs，或者说，它只是借鉴了overlayfs和晚期联结文件系统（union filesystem）的思维，但提出了一种全新的基于块设施的分层重叠技术，称之为overlaybd，它为容器镜像提供了一系列基于块的合并数据视图。overlaybd的实现非常简略，因而很多之前想做而不能做的事都能够成为事实；而实现一个齐全POSIX兼容的文件系统接口则充斥挑战，并可能存在bug，这点从各个支流文件系统的倒退历史上就能够看出。

除了简略以外，overlaybd比照overlayfs的其余长处有：

  • 防止多层镜像导致的性能降落，如overlayfs模式下大文件的更新会触发跨层援用复制，零碎必须先将文件复制到可写层；或者创立硬链接速度很慢等问题
  • 能够不便地采集block级别的I/O模式，进行录制以及重放，从而预取数据，进一步减速启动
  • 用户的文件系统和宿主机OS能够灵便抉择，如反对Windows NTFS
  • 能够应用无效的编解码器进行在线解压缩
  • 能够下沉到云中的分布式存储（如EBS）中，镜像系统盘能够跟数据盘应用同一套存储计划
  • overlaybd具备人造的可写层反对（RW），只读挂载甚至能够成为历史

overlaybd原理

为了了解overlaybd的原理，首先须要理解容器镜像的分层机制。容器镜像由多个增量layer文件组成，在应用时进行叠加，这样在镜像散发时只须要对layer文件进行散发。每一层本质上都是与上一层的差别（包含文件的增加，批改或删除）的压缩包。容器引擎能够通过其storage driver，依照约定的形式将差别叠加起来，而后以Read-Only的模式挂载到指定目录，该目录即称为lower_dir；而以Read/Write模式挂载的可写层，挂载目录则个别称为upper_dir。

请留神，overlaybd自身没有文件的概念，它只是将镜像形象为虚构块设施，并在其上装载惯例的文件系统。当用户利用读取数据时，该读取申请首先由惯例的文件系统解决，将申请转换为虚构块设施的一次或屡次读取。这些读取申请会被转发到用户态的接管程序，即overlaybd的运行时载体，最初转换为对一个或多个layer的随机读取。

与传统镜像一样，overlaybd在外部依然保留着layer分层的构造，但每层的内容都是文件系统变更差别对应的一系列data block。overlaybd向上提供了一个合并视图，对layer的叠加规定很简略，即对于任意一个data block，总是应用最初的变更，在layer中未产生变更的块均视为全零块；向下又提供了将一系列data block导出成一个layer文件的性能，该文件高密度非稠密、且可索引。因而，对块设施某个间断LBA范畴进行读操作，可能蕴含了本来属于多层的小块数据段，咱们将这些小块数据段称为segment。从segment的属性中找到层号，便可能持续映射到对这层的layer文件的读取上来。传统的容器镜像能够将它的layer文件保留在Registry或者对象存储上，那么overlaybd镜像天然也能够。

为了更好的兼容性，overlaybd在layer文件的最外层，包装了一层tar文件的头和尾，这样伪装成一个tar文件。因为 tar外部仅一个文件，不影响按需读取。目前无论是docker、containerd或者buildkit，对镜像的下载或上传默认都有untar和tar的流程，不侵入代码是无奈超越的，所以减少tar假装有利于兼容性和流程的对立，例如在镜像转换、构建、或者全量下载应用时，都无需批改代码，只需提供插件即可。

整体架构

DADI整体架构如图，以下别离介绍各个组件

containerd snapshotter

containerd自1.4版起，开始初步反对一些启动近程镜像的性能，并且k8s曾经明确将放弃Docker作为运行时的反对。所以DADI开源版本抉择优先反对containerd生态，之后再反对Docker。

snapshotter的外围性能是实现形象的服务接口，用于容器rootfs的挂载和卸载等操作。它的设计代替了在Docker 晚期版本称之为graphdriver的模块，使得存储驱动更加简化，同时兼容了块设施快照与overlayfs。

DADI提供的overlaybd-snapshotter一方面能让容器引擎反对新的overlaybd格局的镜像，行将虚构块设施挂载到对应的目录，另一方面也兼容传统OCI tar格局镜像，让用户持续以overlayfs运行一般容器。

iSCSI target

iSCSI是一种被广泛支持的近程块设施协定，稳固成熟性能高，遇到故障可复原。overlaybd模块作为iSCSI协定的后端存储，即便程序意外crash，从新拉起即可复原。而基于文件系统的镜像减速计划，例如stargz，则无奈复原。

iSCSI target是overlaybd的运行时载体。在本我的项目中，咱们实现了两种target模块：第一种是基于开源我的项目tgt[[4]](http://stgt.sourceforge.net/)... store机制，能够将代码编译成动态链接库以便运行时加载；第二种是基于Linux内核的LIO SCSI target（又称为TCMU）[[5]](https://developer.aliyun.com/...

ZFile

ZFile是咱们提供的一种反对在线解压的数据压缩格局。它将源文件按固定大小的block size切分，各数据块进行独自压缩，同时保护一个jump table，记录了各数据块在ZFile中的物理偏移地位。如需从ZFile中读数据，只有查找索引找到对应地位，并仅解压缩相干的data block即可。

ZFile反对各种无效的压缩算法，包含lz4，zstd等，它解压速度极快，开销低，能够无效节俭存储空间和数据传输量。试验数据表明，按需解压近程的ZFile数据，性能高于加载非压缩数据，这是因为传输节俭的工夫，大于解压的额定开销。

overlaybd反对将layer文件导出成ZFile格局。

cache

正如上文所说，layer文件保留在Registry上，容器对块设施的读I/O会映射到对Registry的申请上（这里利用到了Registry对HTTP Partial Content的反对）。然而因为cache机制的存在，这种情景不会始终存在。cache会在容器启动后的一段时间后主动开始下载layer文件，并长久化到本地文件系统。如果cache命中，则读I/O就不会再发给Registry，而是读本地。

行业当先

3月25日，权威咨询机构Forrester公布2021年第一季度FaaS平台（Function-As-A-Service Platforms）评估报告，阿里云凭借产品能力寰球第一的劣势怀才不遇，在八个评测维度中拿到最高分，成为比肩亚马逊AWS的寰球FaaS领导者。这也是首次有国内科技公司进入FaaS领导者象限。

家喻户晓，容器是FaaS平台的承载根底，而容器启动速度更是决定了整个平台的性能与响应提早。DADI助力阿里云函数计算产品，大幅度缩短容器启动工夫50%~80%[[6]](http://linux-iscsi.org)，带来...

总结瞻望

阿里巴巴开源的DADI容器减速我的项目以及其推出的overlaybd镜像格局，有助于应答新时代下容器对疾速启动的需要。项目组将来将协同社区一起，放慢对接支流工具链，积极参与新镜像格局规范制订，指标是让overlaybd成为OCI近程镜像格局的规范之一。

欢送大家参加开源我的项目，一起贡献力量！

后续工作

Artfacts Manifest

OCI Image的v1 Manifest格局形容能力无限，无奈满足近程镜像需要。目前v2的探讨没有本质停顿，颠覆v1也不事实。然而，能够借助OCI Artfacts Manifest应用Additional Descriptor来形容原始数据，兼容性上有所保障，用户更容易接受。Artfacts也是OCI/CNCF在推广的我的项目，DADI将来打算拥抱Artfacts并实现PoC。

凋谢对多种文件系统的反对

DADI自身反对用户依据须要抉择适合的文件系统来构建镜像，然而目前尚未凋谢相应的接口，默认应用了ext4文件系统。咱们将来将欠缺相干接口并放开此性能，由用户依据本身须要，决定应用什么文件系统。

Buildkit工具链

目前用户能够通过buildkit外挂snapshotter来构建镜像，将来将进一步欠缺，造成残缺工具链。

数据预取

在容器启动后对I/O模式进行记录，后续启动同一镜像时便能够重放该记录，对数据进行预取，防止长期申请Registry，这样容器的冷启动工夫将持续缩短一半以上。实践上所有无状态或幂等容器都能够进行录制和重放。
原文链接
本文为阿里云原创内容，未经容许不得转载。