一、引言
继 2019 年的《蚂蚁团体 Service Mesh 落地实际与挑战》之后，蚂蚁团体在 Service Mesh 方向曾经持续摸索演进近 3 年，这 3 年里有哪些新的变动，以及对将来的思考是什么，值此 SOFAStack 开源 4 周年之际，欢送大家一起进入《蚂蚁团体 Service Mesh 停顿回顾与瞻望》章节探讨交换。
本次交换将以如下秩序开展：
二、蚂蚁团体 Service Mesh 发展史
- 2018 年 3 月份蚂蚁团体的 Service Mesh 起步，MOSN 数据面诞生，起步就保持走外围开源，外部能力走扩大的路线。
- 2019 年 6.18 咱们在三大合并部署利用上接入了 MOSN 并且顺利撑持了 6.18 大促。
- 2019 年双 11 蚂蚁所有大促利用安稳的度过双大促。
- 2020 年 MOSN 对内沉稳倒退把接入利用覆盖率晋升至 90%，对外商业化开始展露头角。蚂蚁团体全站 90% 规范利用实现 Mesh 化接入。在商业版本中，SOFAStack“双模微服务”架构也在江西农信、中信银行等泛滥大型金融机构胜利落地实际。
- 2021 年随着 Mesh 化的逐渐成熟，多语言场景的逐渐丰盛，Mesh 化的对中间件协定的间接撑持带来的扩展性问题也逐渐凸显，Dapr 的利用运行时概念也逐渐崛起，这一年咱们开源了 Layotto，冀望通过对利用运行时 API 的对立来解决利用和后端中间件具体实现耦合的问题，进一步解耦利用和基础设施，解决利用在多云运行时的厂商绑定问题。
- 2022 年随着 Mesh 化落地的基础设施能力逐步完善，咱们开始思考 Mesh 化如果给业务带来更多价值，在 Mesh 1.0 时代，咱们把中间件相干的能力尽可能做了下沉，晋升了基础设施的迭代效率，在 Mesh 2.0 时代，咱们冀望能有一种机制能够让业务侧绝对通用的能力，也能够做到按需下沉，并且具备肯定的隔离性，防止下沉的能力影响 Mesh 数据代理主链路。这部分将在看将来局部做一些介绍。
图示的形式简诉一下 Service Mesh 架构演进的几个阶段：
- SOA 时代，中间件的客户端均间接集成在业务过程内：
- Mesh 化阶段一：中间件能力下沉，利用和基础设施实现局部解耦：
- 利用运行时阶段：将利用和具体基础设施的类型解耦，仅依赖规范 API 编程：
三、东西向流量规模化挑战
Mesh 化后的数据面 MOSN 承载了利用间十分外围的东西向通信链路，目前在蚂蚁团体外部笼罩利用数千，笼罩容器数十 W +，海量的规模带来了如长连贯收缩、服务发现数据量微小、服务治理艰难等问题。接下来咱们来聊一聊咱们在演进的过程中遇到并解决掉的一些经典问题。
3.1 长连贯收缩问题
在海量规模的利用背地存在着简单的调用关系，局部基础性服务被大部分利用所依赖，因为调用方全连服务提供方的机制存在，一个基础性服务的单 Pod 须要日常承载近 10W 长连贯，单机 QPS 个别还是有下限的，咱们以 1000 QPS 的 Pod 举例，10w 长连贯的场景下，每条长连贯上的 QPS 是非常低的，假如所有连贯的申请均等，均匀每条长连贯每 100s 仅有一次申请产生。
为了保障长连贯的可用性，SOFA RPC 的通信协议 Bolt 有定义心跳包，默认心跳包是 15s 一次，那么一条长连贯上的申请散布大略如下图所示：
在上诉场景中，一条长连贯上，心跳包的申请数量远大于业务申请的数量，MOSN 在日常运行中，用于保护长连贯可用句柄持有内存的开销，还有心跳包发送的 CPU 开销，在海量规模集群下不可漠视。
基于以上问题，咱们找到了两个解法：
- 在保障连贯可用的前提下缩小心跳频率
- 在保障负载平衡的前提下升高利用间的连接数
3.1.1 心跳退却
因为心跳的次要作用是尽可能早的发现长连贯是否已不可用，通常咱们认为通过 3 次心跳超时即可断定一条长连贯不可用，在一条长连贯的生命周期里，不可用的场景占比是非常低的，如果咱们把长连贯的检测周期拉长一倍就能够缩小 50% 的心跳 CPU 损耗。为了保障检测的及时性，当呈现心跳异样（如心跳超时等）场景时，再通过升高心跳周期来进步长连贯不可用时的断定效率，基于以上思路咱们设计了 MOSN 里的长连贯心跳退却策略：
- 当长连贯上无业务申请且心跳失常响应时，逐渐将心跳周期拉长 15s -> 90s
- 当长连贯上呈现申请失败或心跳超时的场景时，将心跳周期重置回 15s
- 当长连贯上存在失常业务申请时，降级本次心跳周期内的心跳申请
通过以上心跳退却的伎俩，MOSN 的常态心跳 CPU 耗费升高至原来的 25%。
3.1.2 服务列表分片
从心跳退却的优化能够看出，在海量长连贯的场景下，单长连贯上的申请频率是很低的，那么保护这么多长连贯除了对负载平衡比拟敌对之外，其余的收益并不大，那么咱们还有另外一个优化方向，就是缩小客户端和服务端之间建设的长连贯数量。
MOSN 应用一致性哈希的策略对服务端机器进行分组：在客户端的内存中，首先将全量的服务端机器列表退出到一致性哈希环中，而后基于配置计算预期分片状况下的机器列表数 N，随后依据客户端机器 IP，从一致性哈希环中获取 N 个机器列表作为本机器的分片列表。每个客户端计算的哈希环都是一样的，不同的机器 IP 使得最终抉择的机器分片列表是不同的。实现了不同客户端机器持有不同的服务端集群分片的成果。
通过对服务列表的分片优化，客户端向服务端建设的长连贯数量急剧减小，在 6w 长连贯且采纳 50% 的负载平衡分片的场景下：单机 CPU 升高约 0.4 Core，内存升高约 500M。
3.2 海量服务发现问题
MOSN 的服务发现能力没有应用 Pilot，而是在外部间接和 SOFARegistry（服务注册核心）对接，应用这种架构的起因之一就是 RPC 的接口级服务发现，节点的 Pub、Sub 量微小，海量利用的频繁运维产生的节点变更推送对 Pilot 的性能和及时性挑战都很大，社区有应用 Pilot 在稍大规模下做 CDS 下发的过程中也发现十分多的性能问题并提交 PR 解决，但对于蚂蚁团体一个机房就有 200W Pub，2000W Sub 的规模下，Pilot 是齐全无奈承载的。SOFARegistry 的架构是存储和连贯层拆散，存储为内存分片存储，连贯层也能够有限程度扩容，在外部海量节点变更下也能实现秒级变更推送。
尽管 SOFARegistry 的推送能力没什么问题，不过海量节点变更后产生的推送数据，会导致 MOSN 内有大量的 Cluster 重构，列表下发后到 Cluster 构建胜利的过程中，会有大量的长期内存产生，以及 CPU 计算耗费。这些尖刺型内存申请和 CPU 占用，是可能间接影响申请代理链路稳定性的。为了解决这个问题，咱们也思考过两个优化方向：
- SOFARegistry 和 MOSN 之间把全量推送革新为增量推送
- 服务发现模型从接口级切换为利用级
其中第一点能带来的成果是每次列表推送变动为原推送规模的 1/N，N 取决于利用变更时的分组数。第二点能带来的变动是更加显著的，咱们假如一个利用会公布 20 个接口，100 个利用的 Pod 产生的服务发现数据是 20*100=2000 条数据，接口粒度服务发现的数据总量会随着利用接口数量的增长数倍于利用节点数的规模持续增长；而利用级服务发现能够把节点总量管制在利用 Pod 数这个级别。
3.2.1 利用级服务发现演进
接口级服务发现示例（雷同节点中多个服务中反复呈现）：
利用级服务发现示例（结构化示意利用、服务、地址列表间的关系）：
通过对利用和接口关联信息的结构化扭转，服务发现的节点数量能够降落一到两个数量级。
接口级服务发现演进到利用级服务发现对于 RPC 框架来讲是一个微小的变动，社区中有 Dubbo 3.0 实现了利用级服务发现，但这种跨大版本的降级兼容性考量很多，对于在奔跑的火车上换轮子这件事件，在框架层演进是比拟艰难的。因为蚂蚁团体外部的 Service Mesh 曾经笼罩 90% 的规范利用，所以在服务发现演进方面咱们能够做的更加激进，联合 MOSN + SOFARegistry 6.0，咱们实现了接口级服务发现和利用级服务发现的兼容性以及平滑切换的计划，通过 MOSN 版本的迭代降级，目前曾经实现接口级到利用级服务发现的切换。
通过上述改良，生产集群的服务发现数据 Pub 数据量降落 90%，Sub 数据量降落 80%，且整个过程对利用齐全无感，这也是 Mesh 化业务和基础设施解耦后带来的理论便当体现。
3.2.2 MOSN Cluster 结构优化
通过利用级服务发现解决数据量变更过大的问题之后，咱们还须要解决下在列表变更场景下产生的 CPU 耗费和长期内存申请尖刺问题，在这个问题中通过对内存申请的剖析，Registry Client 在收到服务端推送的列表信息之后须要经验反序列化，结构 MOSN 须要的 Cluster 模型并更新 Cluster 内容，其中比拟重的就是构建 Cluster 过程中的 Subset 构建。通过应用对象池，并且尽量减少 byte[] 到 String 的拷贝，升高了内存调配，另外通过 Bitmap 优化 Subset 的实现，让整个 Cluster 的结构更加高效且低内存申请。
通过上述优化，在超大集群利用运维时，订阅方列表变更长期内存申请升高于原耗费的 30%，列表变更期间 CPU 使用量升高为原耗费的 24%。
3.3 服务治理智能化演进
MOSN 把申请链路下沉之后，咱们在服务治理方面做了十分多的尝试，包含像客户端精细化引流、单机压测引流、业务链路隔离、利用级别的跨单元容灾、单机故障剔除、各种限流能力等，篇幅关系我这里仅介绍下咱们在限流场景下做的智能化摸索。
开源社区的 Sentinel 我的项目在限流方向做了一个十分好的实际，MOSN 在做限流晚期就和 Sentinel 团队沟通，心愿能基于 Sentinel 的 Golang 版本 SDK 来做扩大，站在伟人的肩膀上，咱们做了更多的尝试。
基于 Sentinel 可插拔的 Slot Chain 机制，咱们在外部扩大了很多限流模块的实现，如自适应限流 Slot、集群限流 Slot、熔断 Slot、日志统计 Slot 等。
在 MOSN 做限流能力之前，Java 过程内也是存在限流组件的，业务罕用的是单机限流，个别会有一个准确的限流值，这个值须要通过重复的压测，能力失去单机的最大可衰弱承载的 TPS，这个值会随着业务利用自身的一直迭代，性能减少，链路变的更简单而逐渐变动，所以每年大促前，都会筹备多轮全链路压测，来确保每个零碎都能在满足总 TPS 的状况下对本身利用所应该配置的限流值有一个准确的预估。
为了解决限流配置难的问题，咱们尝试在 MOSN 内实现了自适应限流，依据对容器以后的接口并发、CPU、Load1 信息采集上报，再联合最近几个滑动窗口中，每个接口的申请量变动，能够自动识别是什么接口的并发量减少导致了 CPU 资源占用的晋升，当负载超过肯定的基线之后，限流组件能够自动识别出哪些接口应该被限流以防止资源应用超过衰弱水位。
在理论的生产环境中，自适应限流能够迅速精准的定位异样起源，并秒级染指，迅速止血，同时也能够辨认流量类型，优先升高压测流量来让生产流量尽可能胜利。大促前再也不须要每个利用 Owner 去给本人利用的每个接口配置限流值，大幅度晋升研发幸福感。
四、南北向流量买通
MOSN 作为 Service Mesh 的数据面次要在东西向流量上发力，除了东西向流量之外，还有南北向流量被多种网关分而治之。
蚂蚁团体下有许多不同的公司主体，别离服务于不同的业务场景，各主体有与之对应的站点来部署利用对外提供服务，南北向流量最常见的是互联网流量入口，这个角色在蚂蚁团体由 Spanner 承载。除了互联网流量入口之外，多个主体公司间也可能存在信息交互，在同一个团体内的多公司主体如果信息交互须要绕一道公网，稳定性会大打折扣，同时带宽费用也会更贵。为了解决跨主体的高效互通问题，咱们通过 SOFAGW 搭建起了多主体间的桥梁，让跨主体的利用间通信和同主体内的 RPC 通信一样简略，同时还具备链路加密、鉴权、可审计等能力，保障多主体间调用合规。
SOFAGW 基于 MOSN 2.0 架构打造，既能应用 Golang 做高效研发，同时也能享受 Envoy 在 Http2 等协定解决上带来的超高性能。
简略介绍一下 MOSN 2.0 架构，Envoy 提供了可扩大的 Filter 机制，来让用户能够在协定解决链路中插入本人的逻辑，MOSN 通过实现一层基于 CGO 的 Filter 扩大层，将 Envoy 的 Filter 机制进行了降级，咱们能够用 Golang 来写 Filter 而后嵌入 Envoy 被 CGO 的 Filter 调用。
SOFAGW 在 MOSN 2.0 之上构建了本人的网关代理模型，通过 SOFA 的 Golang 客户端和管制面交互获取配置信息、服务发现信息等，而后重组成 Envoy 的 Cluster 模型通过 Admin API 插入 Envoy 实例中。通过 Golang 的 Filter 扩大机制，SOFAGW 实现了蚂蚁团体外部的 LDC 服务路由、压测流量辨认、限流、身份认证、流量复制、调用审计等能力。因为 Envoy 的 Http2 协定解决性能相比纯 Golang GRPC 实现高出 2～4 倍，SOFAGW 抉择将 Triple（Http2 on GRPC）协定解决交给 Envoy 来解决，将 Bolt（SOFA RPC 公有协定）协定的解决仍然交给 MOSN 来解决。
通过上述架构，SOFAGW 实现了蚂蚁团体外部的全主体可信互通，在高性能和疾速迭代开发间也获得了不错的均衡。
五、利用运行时摸索
随着 Service Mesh 化的摸索进入深水区，咱们把很多能力积淀到 Mesh 的数据面之后，也感触到每种协定间接下沉的便利性与局限性，便当在于利用齐全不必革新就能够平滑接入，局限性是每种公有协定均须要独立对接，且应用了 A 协定的利用，并不能间接在 B 协定上运行。在多云的环境下，咱们心愿能够做到让利用 Write Once，Run on any Cloud！ 想要实现这一愿景，咱们须要将利用与基础设施间进一步解耦，让利用不间接感知底层的具体实现，而是应用分布式语义 API 来编写程序。这种思维在社区曾经有 Dapr 作为先行者在摸索：
（上图来自 Dapr 官网文档）
Dapr 提供了分布式架构下的各种原子 API，如服务调用、状态治理、公布订阅、可观测、平安等，并且实现了不同分布式原语在不同云上的对接实现组件。
（上图来自 Dapr 官网文档）
Dapr 相当于是在 Service Mesh 之上提供给利用更加无侵入的分布式原语，2021 年中，咱们基于 MOSN 开源了利用运行时 Layotto，Layotto 相当于是 Application Runtime 和 Service Mesh 的合集：
咱们通过 Layotto 形象出利用运行时 API 将外部的 Service Mesh 演进至如下架构：
当然利用运行时是一个新的概念，如果这一层 API 形象做不到足够中立，那么仍然须要面临应用方须要 N 选 1 的场面，所以咱们也在和 Dapr 社区一起制订 Application Runtime API 的规范，组织 Dapr Sig API Group 用于推动 API 的标准化，也冀望能有更多感兴趣的同学一起退出。
期待将来大家的利用都能够 Write once, Run on any Cloud！。
六、Mesh 2.0 摸索
2022 年咱们持续向前摸索，基于 MOSN 2.0 咱们有了高性能的网络底座、易于扩大的 Mesh 数据面，基于 Layotto 咱们有了无厂商绑定的利用运行时。
下一步咱们冀望基于 eBPF 实现 Mesh 数据面的进一步下沉，从 Pod 粒度下沉到 Node 粒度，同时服务于更多场景，如 Function、Serverless，另外基于 MOSN 2.0 的良好扩大能力，咱们心愿能进一步尝试将业务利用绝对通用的能力也能够积淀下来，作为 Mesh 数据面的自定义插件来为更多利用提供服务，帮忙业务实现绝对通用的业务能力也能够疾速迭代降级。
置信在不远的将来，Mesh 2.0 能够在蚂蚁团体外部服务泛滥通用场景，也能给社区带来一些新的可能。以上是本次分享的所有内容，心愿大家能从对蚂蚁团体 Service Mesh 的倒退过程的交换中有所播种。