导读：本文次要介绍百度搜寻架构团队在服务算力治理方向的工程实际和相干教训，波及服务与容器算力的“工夫”“空间”话题。
全文 2970 字，预计浏览工夫 9 分钟
一、搜寻服务算力治理综述
1.1 搜寻算力治理的倒退历程
算力治理的外围指标，是实现算力需要与算力资源的最优匹配。搜寻服务算力治理的倒退经验了以下 3 个阶段：
1）物理机部署阶段
2014 年以前，搜寻服务模块都是间接部署在物理机上。这时物理机的 CPU、内存、SSD 等大小绝对对立，个别闲暇的机器会手工抉择一些模块进行混部；夜间用户流量低峰时候，会有 BVC 这样离线计算框架，反对离在线工作混部，实现资源充分利用。
2）半自动混部阶段
2014 年～2018 年间，搜寻业务自研的 PaaS 实现了服务的半自动化的混部。半自动化体现于：混部策略由人工设计，执行过程为命令式，容量治理由人工保护。这个阶段，业务有我的项目上线，须要询问容量专员，某些模块的算力资源是否还有闲暇，是否能够反对该我的项目耗费。对于大型项目，咱们自研了全链路压测技术，反对准确容量压测，确保不呈现零碎级瓶颈。
3）云原生混部阶段
2018 年之后，搜寻业务将服务托管至公司云平台上，利用云平台对服务进行主动伸缩、主动混部。业务上线前，不再须要询问容量专员，间接在云平台提交扩容申请即可。这期间，咱们把更重要的流量匹配到计算得更快的容器上，实现速度与老本兼顾。
1.2 搜寻算力治理体系
搜寻服务算力品质治理体系，分为两大部分：技术架构和经营体系。
1）技术架构
充沛依靠弹性容器实例、智能监控、Service Mesh 等公司云平台提供的技术产品，实现 quota 的智能治理，达到算力需要与资源更好的匹配。
2）经营体系
成立委员会制度，通过委员会驱动老本和速度相干的优化、运作业务我的项目估算审批流程，在全局维度实现开源节流。
二、搜寻服务算力治理的业务特色
2.1 面向全时段优化
在用户产品服务中，用户流量是潮汐稳定的，夜间用户流量少了，利用率降落呈现资源闲置，这时须要用云的思维重新考虑这个问题。
1）潮汐伸缩
云原生利用 12 因素中提到“通过过程模式进行扩大”，意思是咱们云上的服务不应该是单点，而是由很多正本实例组成。低峰期并非利用率降落，而是须要的实例数缩小了。所以，通过在夜间对实例缩容、白天顶峰到来前扩容的潮汐形式，能够实现夜间账单的降落。
2）窗口迁徙
云平台的实质之一是市场化：夜间供应大于需要时，容器单价降落，例如网约车价格。搜寻业务基于 cache 技术进行内容生效预测，可提前在夜间算力更便宜时启动计算工作，用户在次日高峰期可取得绝对较新的后果。这是通过计算工作工夫窗口迁徙，实现整体资源账单的优化。
2.2 同时段深挖算力空间
在雷同的工夫点，通过对整个搜寻服务集群的计算工作分类，也存在能够开掘优化的空间。具体任务类型包含：近线工作、异步工作、同步工作。
1）近线工作
在线计算须要管制复杂度以保障较低的响应提早，咱们能够把简单计算后的“好后果”写入近线存储或者 cache 中，当用户在线查问相干申请时候，就能够失去更好的后果反馈。这个 best effect 形式，并不需要容器有特地高的稳定性，能够采纳更便宜的可抢占式容器，来提供近线算力资源。
2）异步工作
利用 cache 能够减速服务响应、升高 cache 后端资源老本。残缺的 cache 时效性能够分为三个级别：生效时立刻更新；生效前在夜间提前更新；生效时立刻发动更新，但不把更新后果同步用户，异步更新给 cache。在第三种场景下，须要保障计算的成果，又不需立刻返回，则可选用稳定性稍好、处理速度稍慢的容器。
3）同步工作
同步计算工作，须要立刻计算结果并将后果返回给用户。例如搜寻业务的索引服务，大部分是用分片形式提供服务的。但在大规模分布式场景下，分片多少会存在计算长尾，长尾分片可能索引了更简单的文档，或是文档数量比平均值稍高。对于长尾分片，能够购买稳定性更好、速度更快、quota 更大的容器；对于一般分片，计算复杂度绝对较低，可购买 quota 绝对较少的容器。实现容器的差异化洽购。
三、搜寻服务算力治理的关键技术
3.1 利用性能治理
1）性能曲线
容器规格的设置须要思考很多因素。在搜寻服务中，计算工作存在大量内存拜访，缩小实例数能够升高内存复制老本，同时单容器流量减少，带来内存拜访压力增大，对性能影响是非线性的，传统模式下须要通过大量线下测试来察看。在云原生零碎中，依靠云原生监控机制，将模块的流量、响应工夫、资源使用量关系充沛关联，通过大规模样本聚合剖析，能够失去更具统计意义的性能曲线。
2）vpa/hpa
性能曲线能够失去服务的根本性能模式，依据服务的工作类型（近线、异步、同步等）运行不同的 quota 管理策略，预测将来一段时间服务的现实资源 quota，最初产出伸缩事件，触发 PaaS 进行调整。
3）流量缩容
性能优化我的项目上线后，会通过缩容开释资源。传统的办法，因线上稳定性要求，缩容需分批屡次进行，效率低，且缩容到优化边界时偏于激进，优化的成绩不能充沛开释。在云上应用新办法，即基于 Service Mesh 的能力，将缩容改为切流，创立一个更小的调度汇合，通过 mesh 切换和调度，大幅度缩短察看周期和修复耗时，能够更充沛地把优化成绩释放出来。
3.2 容器分档
1）动态分档
咱们思考这样一个场景，如下 trace 图，某个服务并行拜访 A、B 两个上游，A 的响应工夫更长一些，所以晋升 A 的性能能够缩短下层服务工夫。但如果 B 中更快的容器（绿色）比 A 更多，则零碎整体性能就不是最优的。这是通过减少 A 的疾速容器让 A 算得更快，能够缩短整体响应工夫。
2）动静分档
容器运行雷同计算工作的速度，受宿主机硬件性能和硬件状态影响。依据宿主机的硬件性能对容器运行计算工作的速度进行划分，咱们定义为动态分档；依据容器宿主机的硬件状态对容器运行计算工作的速度进行划分，咱们定义为动静分档。如下图所示，部署在雷同疾速硬件型号上的 A1～A4 容器，A1 容器因宿主机资源较闲暇，计算速度更快。
3.3 算力散布
1）精密流量调度
实现分档后，可通过更精密的流量调度，高效应用不同分档的容器。咱们将服务分为高速单元和低速单元，高速单元部署在疾速容器上，低速单元部署在低速容器上。解决申请时，首先进行流量类型辨认，高优流量路由到高速服务单元上，再预估申请的计算复杂度，把更简单的计算发送到更快容器上，进一步晋升申请的计算速度。
2）智能 cache 预充
通过 cache 技术，能够在工夫上实现工作计算窗口迁徙，从而更好地应用容器。日间高峰期，将申请收集到申请数据中心；在夜间低峰期，预测 cache 生效的申请发送到申请队列，通过申请代理从新计算更新 cache，升高高峰期的流量。
四、总结
以上，回顾了搜寻服务算力治理的倒退历程，概览了经营 + 技术的治理体系，重点介绍了技术架构侧的近期业务特色工作，笼罩工夫和空间两个方面。
工夫方面，算力需要潮汐变动，传统的办法供应按最大值购买。而基于云原生技术，在低峰期可缩小大量有效购买，减少适当购买便宜容器转移顶峰计算量。
空间方面，未经梳理的梳理需要看似横七竖八，传统的办法供应同样是按最大值购买；基于云原生技术，辨别高低优先级的工作，用不同速度的容器来提供服务，能够达到更优的资源配置。
立足云原生时代，搜寻服务算力治理会进一步利用更灵便、更丰盛的管制伎俩，放弃对算力需要和资源更优配置的一直谋求。
举荐浏览：
百度小程序包流式下载安装优化
前端工程化之 FaaS SSR 计划
日志中台不重不丢实现浅谈
百度 ToB 垂类账号权限平台的设计与实际
视觉 Transformer 中的输出可视化办法
深刻了解 WKWebView (渲染篇) —— DOM 树的构建
深刻了解 WKWebView（入门篇）—— WebKit 源码调试与剖析