简介：优化镜像减速冷启动大抵分为两种做法：升高相对提早和升高冷启动概率。自容器镜像上线以来咱们曾经通过镜像减速技术，分阶段升高了相对提早。本文在此基础上，介绍借助函数计算下一代 IaaS 底座神龙裸金属和平安容器，进一步升高相对提早且可能大幅升高冷启动频率。
作者 | 修踪
起源 | 阿里技术公众号
一 背景
函数计算在 2020 年 8 月翻新地提供了容器镜像的函数部署形式。AWS Lambda 在 2020 年 12 月 Re-Invent，国内其余 FaaS 提供商在 2021 年 6 月也相继发表了 FaaS 反对容器的重磅性能。冷启动始终都是 FaaS 的痛点，引入比代码压缩包大几十倍的容器镜像后冷启动好转便成为开发者最大的担心。
函数计算在反对容器镜像的设计阶段就决定要让开发者像应用代码包（秒级弹性能力）一样的体验应用镜像，既要易用性也要放弃 FaaS 本身的极致弹性，罢黜用户的纠结和取舍。现实的用户体验是函数调用简直感觉不到镜像数据近程传输带来的提早额定耗费。
优化镜像减速冷启动大抵分为两种做法：升高相对提早和升高冷启动概率。自容器镜像上线以来咱们曾经通过镜像减速技术，分阶段升高了相对提早。本文在此基础上，介绍借助函数计算下一代 IaaS 底座神龙裸金属和平安容器，进一步升高相对提早且可能大幅升高冷启动频率。
二 优化历程
（以某一镜像为例）
1 第一代架构：ECS 虚拟机
第一阶段（2021 年 3 月）：按需加载，缩小数据传输
过来的问题在于启动镜像前全量拉取镜像外部数据，导致无用的镜像数据也会被残缺下载而占用了过多的筹备工夫。于是咱们最后的优化方向是尽量疏忽无用的镜像数据，达到按需加载。为此，咱们通过镜像减速技术，省略掉了拉取无用数据的工夫，实现了函数计算自定义镜像冷启动从分钟级到秒级晋升的相干技术细节。
第二阶段（2021 年 6 月）：记录容器实例启动 I / O 轨迹，在后续实例启动中提前预取镜像数据
咱们发现，函数实例在容器启动和初始化阶段，I/ O 数据拜访模式高度一致。依据 FaaS 平台基于利用运行模式调度资源的特点，咱们在函数实例首次启动时记录了 I / O 轨迹的脱敏数据，在后续的实例启动时，将轨迹数据作为提醒，提前预取镜像数据到本地，进一步减小了冷启动延时。
上述两种减速优化尽管大幅减小了冷启动相对提早，但因为传统 ECS VM 在闲置一段时间后就会被回收，再次启动新机器时就会从新触发冷启动。于是，如何缩小冷启动频次便成为了下一阶段重点攻克的题目之一。
2 下一代架构：弹性裸金属服务器（神龙）+ microVM
在设计下一代架构时咱们不仅思考解决冷启动频次问题，也同样留神到缓存对于启动时延的影响。于是咱们创新性的创造了 Serverless Caching，依据不同的存储服务特点构建数据驱动、智能高效的缓存体系，实现软硬件协同优化，将 Custom Container 体验进一步晋升。函数计算后盾神龙的更迭工夫远大于 ECS VM 的闲置回收工夫，对于用户侧而言，热启动频率大幅晋升，在冷启动后，缓存会继续保留在神龙机器上，缓存命中率可达 90% 以上。
比照 ECS 虚拟机，神龙裸金属加上微型虚拟机的架构为镜像减速带来了更多的优化空间：
- 减小回源带宽压力并且缩小反复数据存储。比起 ECS VM 来，同时几千实例启动，对于镜像仓库的读放大和磁盘存储空间的写放大升高至多两个数量级。
- 虚拟机级别的平安隔离使得函数计算组件能够平安地组成可用区级别缓存网络，速度传输速度甚至优于云盘。
- 函数计算 Custom Container 登陆神龙的同时也进步了资源利用率，降低成本，这对用户和服务端保护是双赢。
Serverless Caching 的架构则能够在不减少资源应用老本的同时提供更多的优化后劲。
(L1~L4 为不同级别缓存，间隔和提早从小到大）
三 横向比照
到目前为止，咱们曾经将镜像减速优化到了较高的水准。咱们在函数计算的公开用例外面筛选了 4 个典型的镜像并将它们适配至国内外几个大型云厂商（名称以厂商 A、厂商 B 代替）进行横向比照，每距离 3 小时调用上述镜像，反复数次，咱们失去了以下后果：
1 AI 在线推理 - 猫狗辨认
该镜像蕴含了基于 TensorFlow 深度学习框架的图像识别利用。阿里云函数计算和厂商 A 都能失常运行，但厂商 A 性能较差。厂商 B 则无奈失常运行。下图中阿里云函数计算和厂商 A 的延时数据蕴含镜像拉取，容器启动，执行推理运算端对端的延时，而厂商 B 的数据只是拉取镜像局部的延时，都曾经是最慢。FC 绝对稳固，能够看出函数计算在 CPU 消耗型如 AI 推理方面有着更大劣势。
以云盘热启动为基准（灰色），比照各个厂商的额定开销（黑白）
2 Python Flask Web Service
此镜像为常见的网络服务，外部应用 Python 搭配 Flask 服务框架。此镜像的作用旨在测试不同云产品是否有能力实现高效按需加载。FC 与厂商 A 均有稳定但后者的稳定最为显著。
以云盘热启动为基准（灰色），比照各个厂商的额定开销（黑白）
3 Python 机器学习运算
镜像内同样是 Python 运行环境，能够看出各个厂商仍旧放弃着各自的个性，厂商 B 全量下载，厂商 A 局部申请有优化但不稳固。
以云盘热启动为基准（灰色），比照各个厂商的额定开销（黑白）
4 Cypress Headless Chrome
此镜像蕴含无头浏览器测试流程，厂商 A 因为编程模型限度和运行环境不兼容无奈运行。而厂商 B 过慢只能在规定工夫内耗时 71.1 秒实现利用初始化。不难看出函数计算在重 I / O 的镜像方面仍然有着不错的体现。
以云盘热启动为基准（灰色），比照各个厂商的额定开销（黑白），绿色部位为优于基准线的端到端耗时
四 举荐最佳实际
反对容器技术是 FaaS 的必备特质，容器减少了可移植性和交付敏捷性，而云服务加重了运维与闲置老本、提供了弹性扩缩容能力。自定义镜像与函数计算联合最间接的解决了用户为云厂商定制化地移植大容量业务逻辑带来的困扰。
FaaS 运行容器时须要尽可能打消额定开销，使用户体验与本地运行场景相近。稳固疾速的运行同样是优良 FaaS 的规范，FC 提供了镜像加载优化的同时大大降低了冷启动频次为稳固疾速的运行提供了保障。不仅如此，在利用的可移植方面更加须要做到平滑，不限度开发模式的同时也要尽量升高用户应用门槛。函数计算自定义镜像反对规范 HTTP 服务，自在配置可用端口，可读的同时也可写，提供多种工具链以及多元化的部署计划，无强制期待镜像筹备实现工夫，自带 HTTP 触发而不依赖其余云服务，反对自定义域名等一系列优质解决方案。
函数计算自定义镜像实用但不限于人工智能推理、大数据分析、游戏结算、在线课程教育、音视频解决等。举荐应用阿里云容器镜像服务企业版实例 ACR EE，自带镜像减速性能，省去应用 ACR 镜像时手动开启减速拉取和减速镜像筹备的步骤。
1 AI/ML 在线推理
推理类计算依赖大体积底层训练框架以及大量的数据处理，一般的 AI 框架如 Tensorflow 的镜像能够轻松达到 GB 级，对 CPU 要求曾经很高，要再满足扩缩容就更是挑战。函数计算自定义镜像能够很好的解决此类需要，用户只需间接应用底层训练框架镜像并与数据处理逻辑打包至新的镜像内便能够轻松省去更换运行环境所带来的移植开销，同时又能够满足弹性扩缩容带来的疾速训练后果。歌曲爱好推理、图片 AI 辨认剖析等都能够无缝与函数计算连接以达到弹性满足大量动静的在线推理申请。
2 轻量灵便 ETL
服务都依赖数据，而数据处理往往须要耗费大量资源来满足高效疾速的数据变更申请。自定义镜像与其余函数计算运行时一样能够满足数据处理时的平安隔离，又同时保留了用户将数据处理局部的业务逻辑自在的打包成镜像的便捷能力。提供平滑迁徙的同时满足了镜像启动的极低额定延时，满足了用户针对如数据库治理、万物物联等利用场景的平安，高效，弹性的数据处理需要。
3 游戏战斗结算
各类游戏内通常会设置日常工作等场景短时间会聚大量玩家同时须要战斗结算一类的数据处理，为了不让游戏玩家失去急躁，战斗数据校验通常须要在短短几秒内实现，且单个玩家的数据结算单位工夫不能随着玩家数量增长而好转。此类数据处理的业务逻辑通常繁冗且高度反复，将玩家数据处理逻辑打包至函数计算自定义镜像内便能够弹性满足短时间大量类似的玩家结算申请。
五 将来布局
优化函数计算自定义镜像的初衷就是要让用户感触不到容器镜像传输带来的额定提早，给云原生开发者最极致的体验。优化不会进行，咱们最终的指标是简直打消容器镜像拉取的额定开销和大量扩容时镜像仓库成为瓶颈，极速伸缩。进一步欠缺 Serverless Caching 的同时 Custom Container 性能将来会帮忙 Kubernetes 上的 Web 利用, Job 类工作负载无缝运行在函数计算。Kubernetes 负责解决常驻、流量稳固的工作负载，Serverless 服务分担稳定显著的计算将逐步成为云原生的最佳实际。
原文链接
本文为阿里云原创内容，未经容许不得转载。