本文来自 OPPO 互联网根底技术团队，转载请注名作者。同时欢送关注咱们的公众号：OPPO_tech，与你分享 OPPO 前沿互联网技术及流动。
1. 背景
随着公司业务的倒退，外围服务流量越来越大，应用到的资源也越来越多。在微服务架构体系中，大部分的业务是基于 Java 语言实现的，受限于 Java 的线程实现，一个 Java 线程映射到一个 kernel 线程，造成了高并发场景下线程资源的极大节约，线程成为进步零碎并发和吞吐量的瓶颈。
在微服务架构下，应用同步编程模式时不仅造成了资源的极大节约，并且在流量产生激增稳定的时候，受制于系统资源而无奈疾速的扩容。本文将摸索服务异步化在并发、吞吐量方面对系统带来的晋升。
2. 如何疾速进步服务吞吐量
首先，以微服务架构中的 RPC 服务调用举例，测试和摸索在微服务架构中，异步架构如何进步服务的吞吐量和并发。ESA Stack 是 OPPO 自研的根底框架技术栈，ESA RPC 是自研的 RPC 框架。本节测试服务咱们应用 ESA RPC 搭建。
对于 ESA RPC 的详情，能够参考咱们之前公布的文章《Dubbo 协定解析及 ESA RPC 实际》。
2.1 服务架构
下图所示为测试环境架构。其中 Service A 既是服务端也是客户端，它模仿了生产环境中大部分服务的角色。咱们对 Service A 别离采纳同步模型和纯异步模型进行压测，其中纯异步模型蕴含了客户端、服务端逻辑的异步解决。Service B 模仿一个耗时为 N ms 的上游服务，为 Service A 的调用提供固定的延时响应。
测试服务器的配置为 8 核 16G，千兆网卡。
2.2 同步异步模型比照
测试场景 1：
并发压测客户端 200~8000，服务耗时 50ms，别离对同步和异步架构进行压测，比照 TPS、服务耗时、CPU 上下文切换；同步模式下，线程数和并发客户端雷同；异步模式下，应用框架默认的 200 线程。测试数据如下。
测试场景 2：
并发压测客户端 8000，服务耗时 50~500ms，别离对同步和异步模式进行压测，比照 TPS、服务耗时、CPU 上下文切换；同步模式下服务端 8000 线程；异步模式下，应用框架默认的 200 线程。
2.3 服务扩展性比照
并发指服务刹时同时解决的工作数(蕴含处于 IO 期待状态的工作)。服务端设置业务解决线程 200，那么同步模式下能提供的并发为 200；纯异步模式下服务并发不受线程限度，IO 密集型服务尤其收益。在零碎流量突增的情景下，异步模式具备更强的可扩展性(Scalability)。
2.4 论断
依据下面的测试数据能够做出以下比照：
- 同步模式，线程数与并发成正比，并发越高对线程的耗费越多
- 异步模式，进步并发不须要线程减少
- 同步模式，零碎 Context Switch 次数随并发进步而疾速减少
- 异步模式，零碎 Context Switch 次数显著小于同步模式
- 同步模式，并发超过某个临界点后，服务耗时疾速回升，零碎吞吐量急剧下降
- 异步模式，吞吐量随着并发减少，服务耗时回升速度显著低于同步模式
从而得出以下论断：
- 能够通过异步化微服务架构，进步雷同资源配置下的服务吞吐量
- 随着上游均匀耗时的减少，异步化带来的吞吐和耗时的晋升作用减小
- 线程资源无限(内核、内存)，不能有限减少来进步并发能力，异步化能极大进步零碎刹时并发能力(Scalability)
论断剖析：
- 高并发下同步模型大量线程在内核态度 / 用户态、不同 CPU 核之间进行切换，Context Switch 减少，零碎性能降落
- 上游均匀耗时减少时，零碎 CPU 忙碌水平升高，Context Switch 对性能零碎影响降落
3. 异步模型摸索
3.1 阻塞与非阻塞
在操作系统中，线程是 CPU 调度的根本单位；阻塞调用是指发动调用后，线程进入阻
塞状态(让出 CPU)，直到取得后果或异样返回；非阻塞调用是指不期待后果，调用不阻塞线程间接返回。
3.2 同步与异步
同步和异步关注的是音讯通信机制；同步就是在发动调用后就失去返回后果(未必是残缺后果)，也就是由调用者被动期待后果；异步则是调用在收回之后间接返回，通过信号告诉、回调函数解决来告诉后果。
3.3 四种 IO 模型
非 IO 零碎调用层面，阻塞 / 非阻塞和同步 / 异步根本是同义词；在 IO 零碎调用层面，同步 / 异步和阻塞 / 非阻塞有以下组合：
- 同步阻塞调用，线程同步期待阻塞调用后果
- 同步非阻塞调用，线程通过轮训获取非阻塞调用后果
- 异步阻塞调用，IO 事件阻塞，IO 操作不阻塞
- 异步非阻塞调用，调用立刻返回，信号 / 回调处理结果
咱们通过一个简略的客户端来介绍四种 IO 模型的代码写法：
同步阻塞 IO
非同步阻塞 IO
多路复用 IO
Asynchnorous IO
对四中 IO 模型，有以下的比照：
- 同步阻塞式 IO 模型，编程简略但线程阻塞，资源利用率低；
- 同步非阻塞式 IO 模型，须要轮训 CPU，浪费资源；
- 异步非阻塞 AIO 模型，不阻塞线程，应用回调形式解决数据，然而编程难度高；
- 多路复用 IO 模型，可能实现异步非阻塞 IO，且编程简略，不便实现同步和异步调用，因而成为 RPC 框架的首选。
4. 全链路异步编程指南
4.1 全链路组成及现状
微服务架构下的全链路蕴含了网关层、WEB 服务、RPC 服务、数据层等。目前公司的网关层曾经实现了纯异步架构，Web 框架和 RPC 框架反对纯异步编程，数据存储层目前异步计划还不成熟。
4.2 网关异步化
网关层因为其特殊性，不须要拜访业务数据库只做协定转换和流量转发，目前曾经应用了纯异步的架构；其 IO 密集型的特点，特地适宜纯异步的架构，能够极大的节俭资源。
4.3 Web 服务异步化
Web 服务作为微服务体系内的重要组成，服务节点泛滥，传统的 Web 服务框架 SpringMVC 不反对纯异步化编程，OPPO 自研 Web 框架 Restlight 反对纯异步编程，且性能远超 SpringMVC。上面是性能比照及 Restlight 异步实际。
Restlight 框架异步编程实际：通过 Controller 办法返回值辨别同步和异步调用，且反对三种异步调用形式，CompletableFuture、ListenableFuture(Guava)、Future(Netty)。
4.4 RPC 调用异步化
RPC 调用期待上游 response 返回时，线程不应处于 block 状态；作为微服务架构中数据流量最大的一部分，RPC 调用异步化的收益微小；目前 ESA RPC 曾经具备了纯异步化的能力，提供 RPC 调用的服务个别既是客户端也是服务端，因而蕴含了客户端异步调用能力和服务端异步解决能力；为了兼容存量接口，ESA RPC 既反对 CompletableFuture 也反对一般返回值的接口。
客户端异步化实际：底层应用异步非阻塞 IO 收发网路数据包，应用 CompletableFUture 传递 IO 事件以实现响应式编程，客户端不被 RPC 调用阻塞，可持续调用其余服务。
接口返回 CompletableFuture 来实现异步调用：
一般接口应用 ESARpcContext::asyncCall 实现异步调用：
服务端异步化实际：通过服务端异步性能返回 CompletableFuture 给框架以开释 Biz 线程，自定义线程池或者 IO 线程池收到上游 response 后，实现返回给框架的 Future。
接口定义返回 CompletableFuture 来实现异步调用：
一般接口通过 ESARpcContext::startAsync 开启服务端异步：
4.5 存储层异步化
数据操作是每个申请调用链的起点，纯异步的架构必须应用异步存储层客户端，目前 OPPO 没有自研的存储层异步客户端，但业界开源计划欣欣向荣：
- 数据库：Vert.x JDBC 客户端
- Redis：Redisson、Lettuce
- Queue：根本都反对异步调用
4.6 纯异步与伪异步
异步调用目标在于避免以后业务线程被阻塞。伪异步将工作包装为 Runnable 放入另一个线程执行并期待，以后 Biz 线程不阻塞；纯异步为响应式编程模型，通过 IO 实际驱动工作实现。他们的区别不在于是否将申请放入另一个线程池执行，而在于是否有线程阻塞期待 Response。
5. 异步化将来倒退
5.1 异步化带来的问题
相比于同步模型，异步模型存在以下问题：
- 代码可读性和可维护性较差，可能呈现 Callback Hell
- 框架 SDK 变得复杂，应用门槛减少
- 业务可能不分明代码逻辑执行线程
- 大量的 ThreadLocal 须要手动 export/import
简略来说，异步编程就是以编程的简略性 (simplity) 来替换性能(performance)。
5.2 应用协程实现异步非阻塞
目前在其余语言中，Erlang、Go、Kotlin 等都反对了协程，应用携程的益处是在语言层面反对了异步调用，业务代码能够应用同步的写法达到异步的成果，线程不被阻塞，防止大量的 CPU 上下文切换，晋升零碎的性能。
目前 Java 对协程的反对也在进行中，Project Loom 就是 Java 的协程我的项目：http://openjdk.java.net/proje…。
次要有以下几个概念：
- Fiber，轻量级线程(用户态线程)，基于 Continuation 实现
- Continuation，指令执行单元，阻塞时调用 Continuation::yield，复原时调用 Continuation::run
- Scheduler，用户态 Fiber 调度器(ForkJoinPool)，应用无限 Workers 线程执行任意数量 Fibers
开发者能够应用 Fiber 来执行业务代码块，当遇到 LockSupport::park、socket io 等阻塞调用时，Fiber 中的代码单元执行会被阻塞，然而底层的线程并不会被阻塞。由此达到了开发同步模式代码，运行时达到异步执行的目标。
将来，ESAStack 服务框架会反对协程。目前 Restlight 框架曾经反对协程并在外部开始试用，ESARPC 也有反对协程的打算。框架提供的服务线程应用 Fiber 执行业务逻辑，业务实现中数据库申请、上游服务调用均在 Fiber 之中执行，其蕴含的 IO 等阻塞调用只挂起 Fiber 而不阻塞所在线程，从而防止了过多的上下文切换晋升 了吞吐量，达到了和异步模式一样的成果。