作者：钱君、南异
审核 & 校对：溪洋、海珠
编辑 & 排版：雯燕
混部顾名思义，就是将不同类型的业务在同一台机器上混合部署起来，让它们共享机器上的 CPU、内存、IO 等资源，目标就是最大限度地进步资源利用率，从而升高洽购和经营等老本。
2014 年，阿里开始了第一次摸索混部，通过七年磨难，这把将资源利用率大幅晋升的利剑正式开始商用。
通过计算资源、内存资源、存储资源、网络资源等全链路的隔离以及毫秒级的自适应调度能力，阿里能够在双十一的流量下进行全时混部，通过智能化的决策与运维能力，撑持着外部百万级的 Pod 混部，不论是 CPU 与 GPU 资源，一般容器与平安容器，包含国产化环境各种异构基础设施，都能实现高效混部，这让阿里外围电商业务生产集群老本降落了 50% 以上，同时让外围业务受到的烦扰小于 5%。
针对云原生时代的资源效力晋升问题，咱们将基于大规模场景下的混部实际推出系列文章，具体介绍并分享对于混部技术的细节，及大规模生产中碰到的种种落地的理论问题。作为系列开篇，本篇文章将介绍资源隔离技术在混部中的重要性、其落地挑战及咱们的应答思路。
混部和资源隔离之间的关系：资源隔离是混部的基石
混部通常是将不同优先级的工作混合在一起，例如高优先级的实时工作（对时延敏感，资源耗费低；称为在线）和低优先级的批处理工作（对时延不敏感，资源耗费高；称为离线），当高优先级业务须要资源时，低优先级工作须要立刻偿还，并且低优先级工作的运行不能对高优先级工作造成显著烦扰。
为了满足混部的需要，在单机维度的内核资源隔离技术是最为要害的一项技术，阿里云在内核资源隔离技术上深耕多年，积攒了许多业界当先的教训，咱们将这些内核资源隔离技术次要波及的范畴概括为内核中的调度、内存和 IO 这三大子系统，并且在各个子系统畛域依据云原生的混部场景进行了深刻的革新和优化，包含 CPU Group Identity、SMT expeller、基于 Cgroup 的内存异步回收等。这些要害的技术使客户有能力在云原生混部场景中依据业务特点给出最优解决方案，无效进步用户的资源使用率并升高用户资源的应用老本，十分实用于容器云混部场景，同时也是大规模化混合部署计划所强依赖的关键技术。
下图是资源隔离能力在整个混部计划中的地位：
为什么须要资源隔离，资源隔离会遇到哪些拦路虎
假如咱们当初有一台服务器，下面运行了高优的在线业务以及离线工作。在线工作对响应工夫 (Response Time, RT) 的需要是很明确的，要求尽可能低的 RT，故被称之为提早敏感型 (Latency-Sensitive, LS) 负载；离线工作永远是有多少资源吃多少资源的，故此类负载被称之为 Best Effort (BE)。如果咱们对在线和离线工作不加干预，那么离线工作很有可能会频繁、长期占用各种资源，从而让在线工作没有机会调度，或者调度不及时，或者获取不到带宽等等，从而呈现在线业务 RT 急剧升高的状况。所以在这种场景下咱们须要必要的伎俩来对在线和离线容器进行资源应用上的隔离，来确保在线高优容器在应用资源时能够及时地获取，最终可能在晋升整体资源使用率的状况下保障高优容器的 QoS。
上面让咱们一起看看在线和离线混跑时可能呈现的状况：
- 首先，CPU 是最有可能面对在离线竞争的，因为 CPU 调度是外围，在线和离线工作可能别离会调度到一个核上，互相抢执行工夫；
- 当然工作也可能会别离跑到互相对应的一对 HT 上，相互竞争指令发射带宽和其余流水线资源；
- 接下来 CPU 的各级缓存必然是会被消耗掉的，而缓存资源是无限的，所以这里波及到了缓存资源划分的问题；
- 即便咱们曾经完满解决了各级缓存的资源划分，问题依然存在。首先内存是 CPU 缓存的下一级，内存自身也相似，会产生争抢，不管在线或离线工作，都是须要像 CPU 缓存一样进行内存资源划分的；
- 另外当 CPU 最初一级缓存 (Last Level Cache, LLC) 没有命中的时候，内存的带宽（咱们称之为运行时容量，以有别于内存大小划分这种动态容量）会变高，所以内存和 CPU 缓存之间的资源耗费，是相互影响的；
- 假如 CPU 和内存资源都没问题，对于本机来说当初隔离曾经做得很好了，然而在线高优的业务和离线工作的运行过程中都是和网络有亲密的关系，那么很容易了解，网络也可能是须要隔离的；
- 最初，线上局部机型对 IO 的应用可能会产生抢占，咱们须要无效的 IO 隔离策略。
以上就是一个很简略的资源隔离流程的思路，能够看到每一环都有可能会呈现烦扰或者竞争。
隔离技术计划介绍：独有的隔离技术计划，各显神通
内核资源隔离技术次要波及内核中的调度、内存和 IO 这三大子系统，这些技术基于 Linux Cgroup V1 提供资源的根本隔离划分以及 QoS 保障，实用于容器云场景，同时也是大规模化混合部署计划所强依赖的关键技术。
除了根本的 CPU、内存和 IO 资源隔离技术外，咱们也研发了资源隔离视图、资源监控指标 SLI (Service Level Indicator) 以及资源竞争剖析等配套工具，提供包含监控、告警、运维、诊断等在内的整套资源隔离和混部解决方案，如下图所示：
弹性容器场景的调度器优化
如何保障计算服务质量的同时尽可能进步计算资源利用率，是容器调度的经典问题。随着 CPU 利用率一直晋升，CPU 带宽控制器暴露出弹性有余的问题日趋严重，面对容器的短时间 CPU 突发需要，带宽控制器须要对容器的 CPU 应用进行限流，防止影响负载提早和吞吐。
CPU Burst 技术最后由阿里云操作系统团队提出并奉献到 Linux 社区和龙蜥社区，别离在 Linux 5.14 和龙蜥 ANCK 4.19 版本被收录。它是一种弹性容器带宽控制技术，在满足均匀 CPU 使用率低于肯定限度的条件下，CPU Burst 容许短时间的 CPU 突发应用，实现服务质量晋升和容器负载减速。
在容器场景中应用 CPU Burst 之后，测试容器的服务质量显著晋升，如下图所示，在实测中能够发现应用该个性技术当前，RT 长尾问题简直隐没。
Group Identity 技术
为了满足业务方在 CPU 资源隔离上的需要，须要在满足 CPU 资源利用最大化的状况下，保障高优业务的服务质量不受影响，或将影响范畴管制在肯定范畴内。此时内核调度器须要赋予高优先级的工作更多的调度机会来最小化其调度提早，并把低优先级工作对其带来的影响降到最低，这是行业中通用的需要。
在这样的背景下，咱们引入了 Group Identity 的概念，即每个 CPU Cgroup 会有一个身份辨认，以 CPU Cgroup 组为单位实现调度非凡优先级，晋升高优先级组的及时抢占能力确保了高优先级工作的性能，实用于在线和离线混跑的业务场景。当在离线混部时，能够最大水平升高因为离线业务引入的在线业务调度不及时的问题，减少高优先业务的 CPU 抢占机会等底层等核心技术保障在线业务在 CPU 调度提早上不受离线业务的影响。
SMT expeller 技术
在某些线上业务场景中，应用超线程状况下的 QPS 比未应用超线程时降落显著，并且相应 RT 也减少了不少。根本原因跟超线程的物理性质无关，超线程技术在一个物理核上模仿两个逻辑核，两个逻辑核具备各自独立的寄存器（eax、ebx、ecx、msr 等等）和 APIC，但会共享应用物理核的执行资源，包含执行引擎、L1/L2 缓存、TLB 和系统总线等等。这就意味着，如果一对 HT 的一个核上跑了在线工作，与此同时它对应的 HT 核上跑了一个离线工作，那么它们之间是会产生竞争的，这就是咱们须要解决的问题。
为了尽可能加重这种竞争的影响，咱们想要让一个核上的在线工作执行的时候，它对应的 HT 上不再运行离线工作；或者当一个核上有离线工作运行的时候，在线任务调度到了其对应的 HT 上时，离线工作会被驱逐走。听起来离线混得很惨对不对？然而这就是咱们保障 HT 资源不被争抢的机制。
SMT expeller 个性是基于 Group Identity 框架进一步实现了超线程 (HT) 隔离调度，保障高优先级业务不会受到来自 HT 的低优先级工作烦扰。通过 Group Identity 框架进一步实现的超线程调度隔离，能够很好保障高优先级业务不会受到来自对应 HT 上的低优先级工作的烦扰。
处理器硬件资源管理技术
咱们的内核架构反对 Intel®Resource Director Technology(Intel®RDT)，它是一种处理器反对的硬件资源管理技术。包含监控 Cache 资源的 Cache Monitoring Technology (CMT)，监控内存带宽的 Memory Bandwidth Monitoring (MBM)，负责 Cache 资源分配的 Cache Allocation Technology(CAT) 和监控内存带宽的 Memory Bandwidth Allocation(MBA)。
其中，CAT 使得 LLC(Last Level Cache) 变成了一种反对 QualityofService(QoS) 的资源。在混部环境外面，如果没有 LLC 的隔离，离线利用不停的读写数据导致大量的 LLC 占用，会导致在线的 LLC 被一直净化，影响数据拜访甚至硬件中断提早升高、性能降落。
MBA 用于内存带宽调配。对于内存带宽敏感的业务来说，内存带宽比 LLC 管制更能影响性能和时延。在混部环境外面，离线通常是资源消耗型的，特地是一些 AI 类型的作业对内存带宽资源的耗费十分大，内存占用带宽一旦达到瓶颈，可能使得在线业务的性能和时延成倍的降落，并体现出 CPU 水位回升。
Memcg 后盾回收
在原生的内核零碎中，当容器的内存使用量达到下限时，如果再申请应用内存，则以后的过程上下文中就会进行间接内存回收的动作，这无疑会影响以后过程的执行效率，引发性能问题。那咱们是否有办法当容器的内存达到肯定水线的时候让其提前进行内存的异步回收？这样就有比拟大的概率防止容器内的过程在申请应用内存时因为内存应用达到下限而进入间接内存回收。
咱们晓得在内核中有一个 kswapd 的后盾内核线程，用来当零碎的内存使用量达到肯定水位当前来进行异步的内存回收。然而这里有一种状况，比方以后高优业务容器的内存应用曾经达到一个比拟缓和的状态，然而宿主机总体的闲暇内存还有很多，这样内核的 kswapd 的线程就不会被唤醒进行内存回收，导致这些内存应用压力大的高优容器的内存没有机会被回收。这是个比拟大的矛盾。因为目前原生内核中没有 memory Cgroup 级别的内存异步回收机制，也就是说容器的内存回收重大依赖宿主机层面的 kswapd 的回收或者只能依附本人的同步回收，这会重大影响一些高优容器的业务性能。
基于以上背景，阿里云操作系统团队提供了一个相似宿主机层面的 kswapd 的基于 Memcg 的异步回收策略，能够依据用户需要提前进行容器级别的内存回收机制，做到提前内存释压。
具体的异步回收过程能够通过上面这幅图进行形容：
Memcg 全局水位线分级
通常资源消耗型的离线工作时常会霎时申请大量的内存，使得零碎的闲暇内存涉及全局 min 水线，引发零碎所有工作进入间接内存回收的慢速流程，这时时延敏感型的在线业务很容易产生性能抖动。此场景下，无论是全局 kswapd 后盾回收还是 Memcg 级别的后盾回收机制，都是无能为力的。
咱们基于 “ 内存消耗型的离线工作通常对时延不敏感 ” 这样一个事实，设计了 “Memcg 的全局 min 水线分级性能 ” 来解决上述抖动难题。在规范 upstream 全局共享 min 水线的根底上，将离线工作的全局 min 水线上移让其提前进入间接内存回收，同时将时延敏感的在线工作的全局 min 水线下移，在肯定水平上实现了离线工作和在线工作的 min 水线隔离。这样当离线工作霎时大量内存申请的时候，会将离线工作克制在其上移的 min 水线，防止了在线工作产生间接内存回收，随后当全局 kswapd 回收一定量的内存后，离线工作的短时间克制得以解除。
核心思想是通过为在离线容器设置不同规范的全局水位线来别离管制其申请内存的动作，这样能让离线容器的工作在申请内存时先与在线业务进入间接内存回收，解决离线容器霎时申请大量内存引发的问题。
对 Linux 内存治理有肯定根底的同学也能够查阅上面这幅图，具体记录了在离线容器混部过程中多种水位线作用下的走势：
Memcg OOM 优先级
在实在的业务场景中，特地是内存超卖环境，当产生 Global OOM 的时候，有理由去抉择杀掉那些优先级比拟低的离线业务，而爱护高优先级在线业务；当产生离线 Memcg OOM 的时候，有理由去抉择杀掉那些优先级比拟低的作业，而保高优先级离线作业。这其实是云原生场景中一个比拟通用的需要，然而目前的规范 Linux 内核并不具备这个能力。在抉择杀过程的时候，内核会有一个算法去抉择 victim，但通常是找一个 OOM score 最大的过程杀，这个被杀的过程有可能是在线高优业务过程，这并不是咱们想看到的。
基于以上起因，阿里云操作系统团队提供了一个 Memcg OOM 优先级的个性，通过该个性咱们能够保障在零碎因为内存缓和而产生 OOM 时通过抉择低优的业务过程进行 Kill，从而防止高优业务过程被杀的可能，能够大幅升高因为在线业务过程退出而给客户业务带来的影响。
CgroupV1 Writeback 限流
Block IO Cgroup 自合入内核之后，始终存在一个问题，就是只能对 Direct IO 进行限流 (buffer IO 之后短期内执行 fsync 也能够限流)，因为这些 IO 达到 Block Throttle 层时，以后过程就是真正发动 IO 的过程，依据过程能够获取到相应的 Cgroup 从而正确记账，如果超过了用户设置的带宽 /IOPS 下限，则进行限度。对于那些 buffer 写，且最终由 kworker 线程下发的 IO，Block Throttle 层无奈通过以后过程获取 IO 所属的 Cgroup，也就无奈对这些 IO 进行限流。
基于以上背景，目前在 Cgroup V2 版本中曾经反对异步 IO 限流，然而在 Cgroup V1 中并不反对，因为目前在云原生环境下次要还是应用 Cgroup V1 版本，阿里云操作系统团队通过建设 Page <-> Memcg <-> blkcg 这三者的关系实现了在 Cgroup V1 中对 IO 异步限流的性能，限流的次要算法基本上和 Cgroup V2 保持一致。
blk-iocost 权重管制
失常状况下，为了防止一个 IO 饥饿型作业轻易耗尽整个零碎 IO 资源，咱们会设置每个 Cgroup 的 IO 带宽下限，其最大毛病是即便设施闲暇，配置下限的 Cgroup 在其已发送 IO 超过下限时不能持续发送 IO，引起存储资源节约。
基于以上需要，呈现了一种 IO 控制器 – IOCOST，该控制器是基于 blkcg 的权重来调配磁盘的资源，能够做到在满足业务 IO QOS 的前提下，尽最大水平利用磁盘的 IO 资源，一旦呈现磁盘 IO 能力达到下限导致涉及 QOS 设置的指标时，此时 iocost 控制器会通过权重来管制各个 group 的 IO 应用，在此基础上，blk-iocost 又领有肯定的自适应能力，尽可能的防止磁盘能力被节约。
瞻望与期待
以上所有这些的资源隔离能力目前曾经齐全奉献给了龙蜥社区，相干源码能够参考 ANCK（Anolis Cloud Kernel），有趣味的同学能够关注龙蜥社区：https://openanolis.cn/
同时，阿里云容器服务团队也正在与操作系统团队单干，通过阿里云容器服务 ACK 麻利版及 CNStack(CloudNative Stack) 产品家族对外输入，继续落地 ACK Anywhere，为更多企业赋能。在商用化版本里，咱们将齐全基于云原生社区规范，以插件化的形式无缝的装置在 K8s 集群为输入状态线下交付客户。其中外围的 OS 层隔离能力，曾经公布到反对多架构的开源、中立、凋谢的 Linux 操作系统发行版 - 龙蜥（Anolis OS）中。
近期，阿里云混部核心技术系列文章将陆续分享对于 CPU Brust 技术实际、内核资源隔离之 CPU 相干隔离 / 内存相干隔离 /IO 相干隔离 / 网络相干隔离等内容，敬请继续关注！
👇👇点击此处，即可查看容器服务 ACK 产品详情！
理解更多相干信息，请扫描下方二维码或搜寻微信号（AlibabaCloud888）增加 云原生小助手！获取更多相干资讯！