共计 5561 个字符，预计需要花费 14 分钟才能阅读完成。
导读 ：麦肯锡在调查报告中指出，2020 年，因为不足老本优化伎俩，80% 企业的云资源老本大幅超出预算；同时，45% 的企业因为不足优化措施，在间接迁徙上云的过程中会超买 55% 的资源，并且在上云的头 18 个月会多花 70% 的费用。
随着寰球经济继续上行，企业应该如何做好精细化经营和降本增效，如何优化云资源的调配、应用和治理成为了当下必须要思考的问题。
本文将会具体介绍百度的云原生老本优化体系并重点阐释对老本优化起到关键作用的混部和超卖技术，最初介绍如何保障资源资源利用率晋升之后的稳定性，心愿能给企业的云原生转型提供教训借鉴。全文 5476 字，预计浏览工夫 16 分钟。
从上面两张图中能够看出企业在云原生转型过程中面临 K8S 采用率逐年晋升但资源老本却一直飙升的矛盾。
- 右边图片来源于《2020 年 CNCF 中国云原生调查报告》，图中显示生产零碎中应用 Kubernetes 的比例已从 2019 年的 72% 增长到了 82%，越来越多的企业在云上应用基础设施资源、通过 Kubernetes 平台来治理利用。
- 左边图片来源于 CNCF《FinOpsKubernetes Report》，报告中指出云原生导致资源成本增加，迁徙至 Kubernetes 平台后，68% 的受访者示意所在企业计算资源老本有所增加，36% 的受访者示意老本飙升超过 20%
为什么会呈现这个矛盾？其实，企业在云原生转型过程中次要面临三个艰难：
- 老本治理艰难：K8S 的弹性帮忙了业务疾速整张，但也带来了计费、分账治理上的艰难。因为 K8S 的 Pod 迁移性比拟强，比照传统的 Agent 部署模式，Pod 可能会在各个节点上漂移。多集群场景下，也可能在集群之间漂移
- 老本优化难：弹性、潮汐、混部超发、预留实例、竞价实例，伎俩很多，但须要投入人力来对这些伎俩精心搭配
- 资源利用率低：给业务调配的资源过大，理论应用的资源过小，企业的 CPU 资源利用率广泛低于 15%
这些艰难就导致了企业的资源老本无奈无效管制。百度借助当下风行的 FinOps 理念，联合外部多年的实践经验发现：能够从老本洞察、老本优化以及老本经营三个方面造成闭环，对上述艰难各个击破。
01 老本优化施行门路
1.1 老本洞察计划
在 K8S 平台做老本洞察，根本会按以下三个方向进行：
- 可视化的资源追踪：对集群，节点维度的资源变动做追踪
- 利用级别的用量剖析：对用用做 Pod 级别分配率核算；统计不同的 Namespace 和 Label 对应相不同的业务和业务线，向上聚合产出报表
- 利用率统计：对多资源维度的分配率、利用率进行统计。比方 CPU、Memory、GPU、磁盘等数据。
1.2 老本优化计划
节约的根因次要是因为业务申请的资源过大，理论应用的资源过小，整体利用率不高，并且业务本身存在波峰波谷且申请时个别会依照波峰申请。同时，如果企业有在线业务也有离线业务的话，会存在在离线分池，技术栈不对立、资源池不对立的问题。
老本优化次要伎俩波及资源优化和利用优化两个层面：
资源优化：
- 预留套餐互转，通过资源画像检测出的保底资源，由后付费转为包年包月
- 应用弹性扩缩容，应用竞价实例，潮汐实例反对有打算的资源申请，应用 Serverless 实例反对突发流量
个别云上企业的资源由包年包月和后付费两种形式组成，通过老本洞察做剖析和统计，而后通过老本经营做举荐和具体的施行，最终把它转化成下图右侧的金字塔形态的资源分层。
最保底的资源采纳包年包月的模式，每日打算的资源通过弹性（竞价）实例以及潮汐实例去做中间层资源的满足，突发的状况应用 Serverless Pod 满足。
利用（利用率）优化：
百度外部通过多年的教训积攒，总结出了一条残缺的利用优化门路。比方有一个规范的在线集群，首先会通过资源画像去梳理在线业务的品质，经 7 -14 天的梳理周期给出利用的利用率的预估进而做对应的配额进行举荐，如果业务方配合利用配额缩减之后广泛会节约 20% 的老本，这个办法的落地难度为中等。
如果对节点利用率做预估配合在线超卖，也就是节点不变，通过放大节点下面的一个资源的总量晋升集群的总容量，最终成果就是用固定的节点去承载更多的在线业务，广泛会缩小 30% 的老本，这个办法较容易落地。
最初是在离线合池的办法，在线业务和离线业务个别都是由大数据等重吞吐不重时延的业务组成，通过在离线工作混部，在百度外部 CPU 利用率能够从 20% 进步到 40%，广泛缩小 30% 的老本，当然它的技术难度和落地老本也比拟大。
1.3 老本经营计划
上图是咱们的老本平台示意图，老本管控平台蕴含了传统的账单 \ 权限，估算 \ 布局，需要安顿，老本优化等内容。
产品能力次要针对售卖依照品质分级给出不同计费模式，按品质分为独占型、共享型和抢占型。针对某些业务的非凡需要如敏感、窃密等需要，能够通过独占集群形式或者是独占节点形式进行部署。
共享型是指面向混部队列的共享池，在离线共享资源会跑超发的在线以及离线混部的业务），抢占型专门为离线业务所应用的，它的品质是最低的，然而对应它的价格也最便宜。整体的价格比例，如果独占型为 1，共享型为 0.8，抢占型可能也就是 0.1 或者收费，业务能够依据本人的需要抉择不同的资源。
计量计费蕴含资源包和配额两种形式。配额个别给离线作业应用，配额之间也能够抢占，如果咱们资源足够的话，你能够超过配额而不须要额定付费。
资源摊派方面，百度外部把所有的资源如 CPU、内存、GPU 和存储做对立的计费。须要阐明的是 CPU 在云上还好，然而在百度外部 CPU 异构特地重大，型号不同，它的能力实际上也不同，所以咱们提出一个概念：标准化核，也叫归一化核。咱们用最低级的 CPU 作为一个基准，所有的 CPU 参照这个基准去产生对应的规范核，这样在 K8S 做调度的时候，就能够按按自定义的规范核去分，躲避了在不同机型上同样的 Request 品质性能不一样的问题。
不同老本优化伎俩的技术难度和落地难度如下图所示：
施行门路如下图：
要留神的是，落地过程须要特地审慎，如果做的不好，咱们要讲的故事，都可能会变成一个事变。
02 老本优化核心技术
2.1 在线超卖
在线资源通常存在分配率高但使用率低的景象，次要起因是业务规格申请过大，此外还存在核存比例不均匀以及节点规格过小、碎片很多的问题。应用在线超卖的计划，也就是资源超发，能够通过动静超发节点规格以及对热点（咱们将 CPU 或内存超过 80% 定义为热点）的事先和预先解决来解决上述问题。
事先的解决指的是依据资源画像做精密调度，防止热点。预先是对利用的可迁移性进行分级，来保障稳定性。利用可迁移性与利用的重要水平不间接相干，依据百度外部教训，会通过平台来定义其等级：第一个等级不可迁徙或须要人工染指迁徙，第二个等级是指个别状况不要迁徙，第三个等级就是能够迁徙，默认所有业务进入时都是第三个等级，如果有非凡需要，须要和平台方做评审。通过资源超卖，测试集群的分配率比照利用超卖之前能够达到 130%，使用率达到 15%。
技术层面，超卖有两个方向：一是节点级别的超卖，二是利用规格的智能调整。二者伎俩虽不同，但总体逻辑就是用起码的节点去承载更多的业务。百度外部抉择的是节点级别超卖。
节点超卖是通过 operator 设定 node 的超卖系数，通过 webhook 拦挡 kubelet 的上报，简略来说，就是让调度器认为这个节点的理论容量比以前大，并且反对了资源维度的 CPU memory 或者自定义资源的超卖。这种办法蕴含以下劣势：
- 动静超卖：如果通过人工评估，个别会得出动态上超卖系数，然而这种系数往往不足以代表实在的用量，它可能会产生热点，也可能会过小。利用资源画像能够进行定期的建模，而后去做针对每个节点的应用状况去做动静超发。
- 实用于大小集群：整体超卖，资源利用率晋升。
- 降本：如果业务申请量不够，能够做节点缩容或节点下线；如果业务量足够，就能够让节点承载更多业务，对业务也没有感知
利用规格调整次要通过智能举荐实现，百度外部反对原地 resize，也就是规格调整之后，不会进行 Pod 和 Container 级别的重启。但一般来说不会应用这种形式，次要是有以下几个起因：
- 代码侵入性比拟强：会批改 kubelet 和原生的一些代码
- 可能重启容器：重启容器的起因是从资源层面来讲内存是不可压缩的资源，如果咱们规格调小，可能须要去做重启容器，如果不重启容器，那么它的在单机和调度器等资源视图，两头的状态就比拟多
- 须要业务感知：落地工夫长
对于资源超卖的品质保障次要通过精密调度(负载感知调度)、可迁移性分级、热点治理以及单机驱赶等伎俩实现。具体来讲，精密调度是依据单机的资源画像预测将来资源应用状况，而后调度不同业务到不同节点，根据是调度实现之后的将来一个月或七天之内，产生热点的概率有多大，如果特地大，就不会去调度在指定的节点并且能够做可迁移性的一个分级。热点治理分为调度器治理和单机治理，做单机治理的次要起因是，监控可能有提早，没有单机驱赶反馈迅速。单机驱赶既反对通过利用率水位线做驱赶，也反对对通过内核指标做驱赶，比方能够通过 ebpf 去做容器级别的 CPU 调度提早和内存调配提早的感知。
下图展现了超卖的具体架构：
在实际过程中，通过应用超卖显著晋升了分配率，升高了老本。
- 以 EKS 大集群为例：EKS 平台是基于百度智能云 CCE 容器引擎之上构建得 PaaS 平台，用于反对百度外部各种在离线业务。整体规模 10w 台服务器，单集群规模最大 1w 节点，多地区多集群，以繁多集群举例，2500+ 节点，通过超卖下线节点 500+，通过动静系数超卖售卖率达到 125%，基于利用画像智能调度热点率低至 0.3%，通过下线节点形式节约计算节点老本 20%；
- 在 CCR 小集群中成果同样显著：CCR 是百度智能云容器镜像服务，是面向容器镜像、Helm Chart 等合乎 OCI 标准的云原生制品平安托管以及高效散发平台。单集群规模 10-20 节点，多地区多集群，应用动静系数超卖售卖率达到 148%，基于利用画像智能调度躲避了热点问题，通过举荐的降规格，缩节点形式，计算节点节约老本 50%。
2.2 在离线混部
将在线服务和离线工作混合混部到雷同物理资源上，通过资源隔离、调度等管制伎俩 , 充沛应用资源，同时保障服务的稳定性，咱们称这样的技术为“混部”。
下图是一个典型的单机模型，从图中能够看出，在线申请用量和在线 usage 之间存在很大的差别，次要是因为研发同学部署业务抉择容器资源规格时，带有肯定的盲目性，申请量高于理论应用资源量或者依照超出峰值用量申请。混部离线能够复用这部分可回收资源，通过疾速填充离线作业，把这部分资源利用起来。
- 高中优 (在线) 为动态调配 ∑High request+ ∑Medium request <= Host Quota
- 动静计算低优 (离线) 可用量 Low Quota = Host Quota- ∑High used – ∑Medium used
下图是百度外部的混部整体架构：
- 最上方调度器层面，应用了 Prometheus 原生的技术栈，能够去单机上抓取对应的指标，再通过资源画像 SRP 建设资源模型，会同步 be 视图（离线的视图）到离线调度器，而后将近线视图同步给 Apiserver
- 右侧的资源模型分为了多种类型：stable used 和 stable request，对应 K8S 来说就是 Burstable 和 Guaranteed；normal used 和 be used，对应 K8S 的 BestEffort，其中又分了近线和离线两种。能够看到，除了 free 这种没有调配的资源类型，在同一个机器上承载了三种业务（stable、normal、be）并且他们之间互不烦扰。
- 监控方面除了规范的利用率监控，也减少了压力监控，通过 perf ebpf 获取 cpu CPI，内核级别的调度延时，以及内存的调配延时等。
在一个内部落地案例中，某客户的容器化资源比例达到公司 50% 以上，其中容器化环境中的 CPU 均匀使用率达到 28%，内存均匀使用率 35% 以上。并且该公司曾经进行了在离线混部的尝试，在剖析该公司在离线服务构造和类型后，咱们举荐应用在离线混部伎俩；克服了不足内核隔离技术、在线服务质量差以及离线容器化水平低的挑战，通过对 Hadoop Yarn 的容器化革新，混部调度器无损嵌入，引入内核隔离能力，提供产品化混部经营大盘与策略管理界面等伎俩，最终使得 CPU 利用率晋升至 47%。
2.3 品质保障
资源利用率晋升之后，如何保证质量？如前文所述，次要通过如下伎俩：
- 节点热点：个别 CPU 超过 80% 或内存应用超过 80% 咱们叫做热点
- 精密调度：通过资源画像精密调度防止热点产生
- 热点调度(热点治理)：产生热点后依据业务迁徙等级和打分进行有序迁徙
品质监控层面，能够通过 ebpf 构建内核级别的品质监控，次要参考以下两个指标，只有满足一个条件，就认为是品质降落的一个 pod。
03 对于百度智能云 CCE
百度智能云 CCE（容器引擎）混部性能公测中~
百度智能云 CCE 混部是基于凋谢的云原生技术架构体系，以容器技术为外围所构建用于晋升资源利用率的软件系统。
该零碎通过百度 10 年所积攒的业界当先的在离线混部调度技术，能够帮忙客户实现大规模的在离线业务混合部署，将企业算力资源的使用率晋升至 45%+，算力资源老本升高 30%+，百度外部已累计通过此技术节俭几十亿元的算力资源洽购老本。
复制链接或点击文末浏览原文，立刻试用：
https://cloud.baidu.com/produ…
————————END————————
举荐浏览：
面向大数据存算拆散场景的数据湖减速计划
百度 APP Android 包体积优化实际（三）资源优化
ffplay 视频播放原理剖析
AI+BI+ 可视化，Sugar BI 架构深度分析
百度 APP Android 包体积优化实际（二）Dex 行号优化
百度 APP Android 包体积优化实际（一）总览
百度 APP iOS 端内存优化实际 - 大块内存监控计划
