作者：宿何
微服务的稳定性始终是开发者十分关注的话题。随着业务从单体架构向分布式架构演进以及部署形式的变动，服务之间的依赖关系变得越来越简单，业务零碎也面临着微小的高可用挑战。利用高可用服务 AHAS (Application High Availability Service) 是经阿里巴巴外部多年高可用体系积淀下来的云产品，基于阿里开源流控降级组件 Sentinel，以 流量与容错 为切入点，从 流量管制、不稳固调用隔离、熔断降级、热点流量防护、零碎自适应过载爱护、集群流控、服务防抖动 等多个维度来帮忙保障服务和网关的稳定性，同时提供秒级的流量监控剖析性能。AHAS 不仅在阿里外部淘宝、天猫等电商畛域有着宽泛的利用，在互联网金融、在线教育、游戏、直播行业和其余大型政央企行业也有着大量的实际。
在分布式系统架构中，每个申请都会通过很多层解决，比方从入口网关再到 Web Server 再到服务之间的调用，再到服务拜访缓存或 DB 等存储。在高可用流量防护体系中，咱们倡议在流量链路的每一层都进行针对性的流量防护与容错伎俩，来保障服务的稳定性。上一期咱们介绍了如何在 Nginx/Ingress 网关层接入 AHAS Sentinel 来进行前置流量防护，本篇文章咱们来介绍一下在 Web 应用层进行细粒度的高可用流量防护。
Web Server 场景
AHAS 利用防护反对 Java/Go 等多语言原生接入，反对支流的 Web 框架与组件：
- Java 反对 Spring Web/Spring WebFlux/Spring Boot/Spring Cloud/Tomcat/Jetty/Undertow 等支流 Web 框架
- Go 反对 Gin, echo 等框架
每个服务都有一个能承载的最大申请容量，这个容量通常压测进行评估。在突发激增流量的场景下，咱们须要针对外围 Web API 配置流控规定，来保障系统流量处于无效的解决能力之内，防止被打垮。同时，Web 流量通常具备十分多的业务属性与参数，如 IP、用户 ID、商品 ID 等，许多申请都具备肯定的热点个性，比方一大波申请针对某个热点商品。因为流量具备不确定性、不可预测的个性，咱们无奈精确预知流量的量级、散布、热点拜访状况，很难针对性地针对某个突发业务提前预判并配置防护，因而自动识别热点申请能力也是十分重要的。
AHAS Web 场景流控 [1] 不仅反对 URL path 维度的流控，还反对针对 client IP、host、header、申请参数等进行细粒度热点流量管制。咱们只须要在配置 Web 流控规定时，指定针对哪个申请属性进行热点流控（如 key 为 UserId 的 header），那么 AHAS 就会主动剖析申请中对应申请属性的值（如 header 的 value），主动统计出 top N 热点拜访的参数并别离进行申请量管制。通过这种维度的管制，咱们能够在 Web 服务端实现 IP 防刷、热点商品防刷等一系列的细粒度高可用防护策略，甚至能够实现 每个用户每个 API 每分钟限度拜访 N 次 这种具备业务含意的流量管控策略。
Web Client 场景
除了 Web 服务端入口流量管制之外，AHAS Sentinel 还提供罕用 Web Client 的适配，如 OkHttp、Apache HttpClient 以及 Spring RestTemplate。基于 Web Client 适配模块，咱们能够针对 HTTP 客户端调用其余接口的机会进行防护，来保障调用端不会被慢接口或异样接口拖垮：
- 当 Web 调用端调用某个接口十分慢，且申请量很大时，若不加以控制，那么慢调用会挤占整个连接池，导致其余失常服务的调用也被阻塞，本身解决申请的能力也被拖垮。此时能够利用并发管制规定 [2] 通过管制 API path 的并发线程数（即同时发动调用的数目），来保障调用端的可靠性，避免连接池被占满。
- 当 Web client 调用的某个接口继续呈现慢调用或异样，也能够利用 AHAS 熔断规定 [3] 进行进一步的爱护。熔断规定提供熔断器的能力，在某个 API path 呈现慢调用或继续异样达到肯定比例后，在一段时间内，主动熔断针对该接口的调用，并间接返回预设的降级信息。通过熔断机制，一方面能够避免调用端被不稳固第三方接口拖垮，另一方面也给不稳固接口一些复原的工夫，防止继续调用导致服务进一步劣化。
- 当 Web Client 调用接口时呈现偶现的超时等非致命性谬误时，能够通过主动重试规定 [4] 来保障业务成功率，防止业务产生抖动。
熔断规定与并发管制规定是保障调用端稳定性的无效伎俩，无论在 Web client 场景还是慢 SQL 场景都十分实用。
疾速玩转 AHAS Web 场景防护
第一步，咱们将 Web 服务接入 AHAS 流量防护。AHAS 提供多种疾速便捷的无侵入接入伎俩：
以一般 Spring Boot Web 服务为例，接入 AHAS 胜利后，只有触发服务调用 / 接口拜访，即可在 AHAS 控制台 [5] 看到本人的服务，并能够在 Web 场景页面看到本人的 Web 接口。默认 Spring Boot 利用接入会提取 controller 中的 URL path 作为资源名称：
咱们能够在监控页面十分直观地观测各个接口的实时流量与响应工夫状况，以便于咱们评估零碎的稳定性。
第二步，咱们给其中一个接口配置 Web 流控规定[6]。在咱们的示例中，咱们针对 /hello 这个 API，配置热点参数流控。流控的申请属性为 name 这个申请参数（URL params），流控策略为每个热点参数别离限度每秒访问量最多 1 次。AHAS 会主动提取每个 /hello 申请中的 name 参数对应的值，主动剖析出其中 top K 频次的热点值，而后别离对每个热点值进行管制，不超过规定中的拜访次数。
成果示例：假如申请中有许多针对 /hello 接口的拜访，其中 /hello?name=A 和
/hello?name=B 两个 name 参数的拜访频次十分高，被 AHAS 统计统计为热点值。那么下面的流控规定会针对 name=A 和 name=B 这两个参数值的申请，别离限度每秒访问量不超过 1 次。
第三步，咱们给下面的 Web 流控规定绑定一个 fallback 行为[7]，即指定触发该规定后，Web 接口的返回内容。咱们能够在页面中自定义 Web 返回行为。以下是一个返回 429 状态码的 JSON 返回配置示例：
配置实现后，咱们能够在流程页面抉择咱们创立的 fallback 行为，而后保留，这样咱们的规定就会实时失效了。
第四步，咱们发动针对 /hello 接口的流量，并给 name 参数带上不同的值，能够从控制台的监控下面看到申请触发了流控：
同时被流控的热点申请返回值也与咱们在控制台定义的 fallback 返回绝对应：
在生产环境，咱们这些参数的值可能十分多，比方商品 ID 可能有上千万个。在热点申请被流控后，咱们通常心愿可能晓得有哪些 top 参数被限度，不便咱们理解业务的申请状况。AHAS 近期新上线热点监控性能，提供热点参数可观测的能力，联合 top 参数热力求，能够十分直观地在控制台理解实时业务状况：
以上就是一个简略的 Spring Boot Web 场景流控的示例，欢送大家在 AHAS 控制台体验，无关 Web 场景防护的更多信息能够点击浏览原文，查看参考文档。
相干链接
[1] AHAS Web 场景流控：
https://help.aliyun.com/document_detail/337922.html
[2] 并发管制规定
https://help.aliyun.com/document_detail/146242.html
[3] 熔断规定
https://help.aliyun.com/document_detail/101078.html
[4] 主动重试规定
https://help.aliyun.com/document_detail/194976.html
[5] AHAS 控制台
https://common-buy.aliyun.com/?commodityCode=ahas_001#/buy
[6] Web 流控规定
https://help.aliyun.com/document_detail/337922.html
[7] fallback 行为
https://help.aliyun.com/document_detail/201863.html