简介：阿里云 AHAS Chaos：利用及业务高可用晋升工具平台之故障演练

利用高可用服务 AHAS 及故障演练 AHAS Chaos

利用高可用服务（Application High Availability Service）是阿里云一款专一于进步利用及业务高可用的工具平台，目前次要提供利用架构探测感知、故障注入式高可用能力评测和流控降级高可用防护三大外围能力，通过各自的工具模块能够疾速低成本地在营销流动场景、业务外围场景全面晋升业务稳定性和韧性。

图 1：AHAS 服务体系

故障演练 AHAS Chaos 是一款遵循混沌工程试验原理并交融了阿里巴巴外部实际的产品，提供丰盛的故障场景实现，可能帮忙分布式系统晋升容错性和可恢复性。故障演练建设了一套规范的演练流程，蕴含筹备阶段、执行阶段、查看阶段和复原阶段。通过四阶段的流程，笼罩用户从打算到还原的残缺演练过程，并通过可视化的形式清晰地出现给用户。

图 2：故障演练流程

AHAS Chaos 的实用场景

掂量微服务的容错能力

通过模仿调用提早、服务不可用、机器资源满载等，查看产生故障的节点或实例是否被主动隔离、下线，流量调度是否正确，预案是否无效，同时察看零碎整体的 QPS 或 RT 是否受影响。在此基础上能够迟缓减少故障节点范畴，验证上游服务限流降级、熔断等是否无效。最终故障节点减少到申请服务超时，估算零碎容错红线，掂量零碎容错能力。

验证容器编排配置是否正当

通过模仿杀服务 Pod、杀节点、增大 Pod 资源负载，察看零碎服务可用性，验证正本配置、资源限度配置以及 Pod 下部署的容器是否正当。

测试 PaaS 层是否强壮

通过模仿下层资源负载，验证调度零碎的有效性；模仿依赖的分布式存储不可用，验证零碎的容错能力；模仿调度节点不可用，测试调度工作是否主动迁徙到可用节点；模仿主备节点故障，测试主备切换是否失常。

验证监控告警的时效性

通过对系统注入故障，验证监控指标是否精确，监控维度是否欠缺，告警阈值是否正当，告警是否疾速，告警接管人是否正确，告诉渠道是否可用等，晋升监控告警的准确性和时效性。

定位与解决问题的应急能力

通过故障突袭，随机对系统注入故障，考查相干人员对问题的应急能力，以及问题上报、解决流程是否正当，达到以战养战，锤炼人定位与解决问题的能力。

AHAS Chaos 的性能劣势

灵便的流程编排

AHAS Chaos 将故障演练的环节分为了筹备、注入、查看以及复原四个阶段，每个阶段除了零碎初始化实现的必要节点之外，用户也能够依据须要增加本人的流程节点。
AHAS Chaos 反对一次演练定义蕴含多个故障场景，同时用户能够定制这些场景的运行形式，抉择顺次进行故障注入或同时注入多个场景，通过不同的策略配置来达到不同的故障注入成果。

丰盛的故障场景

丰盛的故障场景也是 AHAS Chaos 的一大特色，包含以下场景：

• 常见的基础设施资源例如 CPU、内存、磁盘等。
• 利用级别的故障注入，目前反对 Java 利用，后续将陆续推出对于 NodeJs 和 C ++ 的利用故障注入。
• 云原生畛域的演练场景。

无论用户是须要设置集群级别的大规模故障还是利用级别的申请级别细粒度故障，都能够在 AHAS Chaos 找到适宜的场景，下图是 AHAS Chaos 提供的局部故障场景。

图 3：AHAS Chaos 提供的局部故障场景

多样的专家教训

AHAS Chaos 将阿里外部多年的故障演练教训稀释成了专家教训，专家教训具备以下长处：

• 专家教训都来自于阿里外部常常演练的场景，保障了演练场景的真实性以及实用性。
• 专家教训岂但包含了可执行的演练流程，还形容了专家教训试图解决的问题以及针对的零碎架构弱点。
• 专家教训极大地晋升了演练创立的效率，用户能够基于专家教训配置好的流程一键生成本人的演练。

平安的演练防护

在爱护用户的演练安全性上 AHAS Chaos 也做了十分多的防护措施：

• 在演练的任意一个环节，用户都能够随时终止演练，每一个终止操作都会主动复原注入的场景。
• 用户能够一键终止所有正在运行当中的演练。
• 用户能够配置演练的主动复原工夫，避免因演练工夫过长而遗记复原演练引发不必要的问题。
• 用户能够通过全局复原性能来配置主动复原的策略，当某个指标合乎某个要求时主动复原演练。

深度集成的阿里云产品

AHAS Chaos 和阿里云的许多产品如 ARMS、SLS、EDAS、OTS 以及架构感知服务等做了深度集成，通过受权用户能够实现以下性能：

• 对依赖的阿里云组件进行故障注入。
• 基于接入的阿里云监控零碎数据如 ARMS 来丰盛演练检查和复原的伎俩。
• 通过 RAM 服务来受权不同账号的演练权限，晋升演练的安全性。

演练实际

网络不稳固对业务零碎的影响

教训形容：通过注入多种网络故障，来检测网络不稳固对系统造成的影响，以及零碎的应答状况。
背景：网络环境不好，可能会对业务造成比拟大的影响，特地是零碎依赖较多的内部服务，比方缓存 Redis、消息中间件等，因而须要通过网络层面的故障注入来考查零碎的超时解决能力。
架构弱点：1. 对第三方零碎的调用超时设置不合理；2. 不足对依赖超时时候的重试能力；3. 不足对依赖超时问题的兜底策略，比方异样解决、性能降级等措施。
评测：1. 零碎设置了正当的超时工夫，不会因为依赖零碎的网络不稳固导致申请超时；2. 针对第三方调用超时或者失败的状况，系统配置了监控，并且具备肯定的重试能力。

java 利用产生 oom 异样

教训形容：1. 通过填满 jvm 的内存空间，来触发 fullgc 和 oom 异样，使得利用的响应工夫变长，甚至无响应，来察看业务的解决效率以及监控的发现状况；2.oom 存在肯定危险无奈主动复原，须要重启利用。
背景：新生代是 jvm 外部一块重要的内存区域，因为新建对象过多等因素导致该区域内存被占用到肯定额度，会触发 MiniGc 操作进行回收，然而如果新建的对象始终被援用，那么会导致 MiniGc 无奈回收，进而回升到老年代，如果老年代也被占用满，那么就会触发 fullgc，频繁的 gc 操作会导致利用的 cpu 以及申请响应都变得很高，对业务利用造成比拟大的影响。
架构弱点：1. 监控缺失，当利用产生 fullgc 之后，无奈及时定位问题，特地是当初很多的 jvm 监控零碎都采纳了 metric 的标准，通过利用提供的 http 接口来获取监控数据，一旦利用无响应，那么会导致监控数据无奈及时获取，进而不能触发报警；2. 不能及时下线问题机器，因为频繁的 gc，利用曾经无奈响应业务申请，因而须要及时下线掉问题机器。
评测：1. 当利用产生了 fullgc，问题机器迅速被隔离掉，不再承受业务申请。2. 当利用产生了 fullgc，监控零碎能够迅速报警并且定位问题。

总结

故障演练 AHAS Chaos 作为 AHAS 的一部分，在其中承当了问题发现、问题验证、高可用教训积淀的作用，并与 AHAS 其余性能组成了一套欠缺的高可用保障服务，能够帮忙用户实现包含架构、业务、人员的全面高可用晋升。

作者：SRE 团队技术小编 - 小兰
原文链接
本文为阿里云原创内容，未经容许不得转载