关于阿里云:只需半分钟ARMS-帮你配置出高质量告警

作者：图杨

背景

某位资深运维工程师 A：“一天不收个几十条告警，我都感觉心里不虚浮”。运维工程师 B：“我那几个告警天天告，我的利用一点问题都没有，然而我又不敢关”。运维工程师 C：“我每天都要花大量的工夫，整顿曾经产生的告警：查它们是什么起因导致的，是故障还是误报，要不要解决，要不要屏蔽。”运维工程师 D：“要不咱们给告警数配置一个告警吧，一天收 100 条告警是失常的，哪天告进去 200 条预计就是有问题了”。会呈现这样的对话不是因为这几位运维工程师不业余，实际上，误告警泛滥，真告警被吞没，就是大多数团队，甚至顶尖的互联网企业的运维团队的现状。想要配置出“零碎无异样时不误告，有异样时及时告”的“高质量”的告警规定是十分具备挑战性的。

所以这些告警都是些什么？为了保证系统和利用的稳定性，工程师们会搭建监控零碎以实时地采集比方 RT(响应工夫)、QPS(调用次数)、Error Rate(错误率)、HTTP 状态码、Full GC 次数等要害指标，并对外围利用的要害指标进行实时地巡检，当检测到指标以后值超出“失常水位”时，相干的工程师就会收到对应的告警。

那这些误告警又是怎么产生的呢？传统的告警规定次要是动态阈值告警，当某指标的理论值超出用户设定的阈值，就认为是零碎呈现了异样。然而，想要疾速选定适合的阈值，配出“高质量”告警，是很难的。阿里云利用实时监控服务 ARMS 通过对近百位用户的访谈与调研，发现均匀每个用户每天收到 1275 条告警。而且，咱们对 6 万条对于响应工夫和错误率突增的告警进行了剖析，发现其中只有 3.05% 的告警是“真”告警，剩下的 96.95% 都是因为阈值设置不当引发的误告警。

为什么配出”高质量“告警很难？

传统的告警规定是动态阈值告警，工程师们会对每个指标设定一个固定的阈值来定义指标的“失常水位”，当指标的理论值超出阈值时，对应的工程师就会收到告警。比方当利用的 RT 超出 1s，就算是异样。然而适合的动态阈值，是很难定义的。因为：

1. 同一指标，不同利用，不同接口的“失常水位”不同。

现实生活中，SRE(运维工程师)须要对很多利用、很多接口配置告警。即便是同一个指标，不同利用，不同接口的“失常水位”都是是不一样的。下图是同一家公司，不同利用的错误率指标。

下图是同一利用，不同接口的均匀响应工夫指标：

SRE 须要为每一个利用、每一个接口的每一个指标来设定“失常水位”。这对于有几百个利用、几十条要害指标的公司来说，仅靠人力来一直地设定和保护指标的“失常水位”须要破费大量的工夫。

更可怕的是，随着业务的倒退，代码一直变更，各项指标的“失常水位”会一直地变动。这意味着 SRE 要一直地调整告警阈值。

v2. 有的指标，不同时段的“失常水位”不一样

比方某工作网站的访问量，在 10：00-18：00 时段内，访问量低于 1000 是异样的；然而在夜间，比方 22：00-6：00，访问量超过 1000 可能是收到了攻打。在这种场景下，指标的“失常水位”会随着工夫变动而一直变动。如果咱们硬配置一个阈值，比方低于 1000 就告警，那整个早晨都会受到告警的打搅。

有的 SRE 可能会示意，那我早晨主动吧告警关掉就好了，然而现实生活中，这种起伏不定的指标，很难有像“1000”这么规整的阈值，现实生活中的调用量指标是上面的样子，就是会有一些令人意想不到的“大毛刺”。

3. 告警阈值的合理性难以及时验证

SRE 们配好一个告警阈值之后，也很难验证这个阈值是不是正当的。运维工程师们往往会一直地被打搅，他们要一直地调整阈值，能力失去一个较高质量的告警。当指标的失常水位随着业务变动而变动之后，周而复始，从新调整阈值。

业界是怎么帮助用户配置出”高质量“告警的？

如何无效地帮忙客户配制出“高质量”的告警规定，是每一个 APM(利用性能监控)厂商关注的问题。为了解决这个问题，支流的 APM 厂商都提供了智能告警服务。次要思路就是用统计学算法或者机器学习算法，提取指标的特色，上面介绍业界如何解决下面提到的问题：

问题 1：同一指标，不同利用，不同接口的“失常水位”不同

为了解决阈值难配的问题，一些 APM 厂商给出了动态阈值举荐的性能。个别地，他们用算法为各个接口、各个利用，依据对于指标的历史数据学习指标特色，联合指标历史均匀水位以及稳定状况给出一个倡议阈值。

然而，厂商给的是通用算法，SRE 很难评估算法举荐的阈值是不是合乎他的业务，是不是真的“高质量”的阈值。

问题 2：有的指标，不同时段的“失常水位”不一样

对于稳定型指标，一些厂商推出了动静阈值 (也称区间检测) 性能。在这个场景下，指标的理论值不再和繁多的动态阈值比拟，而是和一个工夫序列做比照。具体地，算法会依据指标历史数据学习其稳定特色，并对将来一段时间指标失常变动范畴进行预测。比方每天 00：00 对将来一天的指标“失常水位”的高低边界进行预测，等采集到理论值时，比方 10：00 时，将理论值与之前的预测值进行比拟，理论值超过了边界就被断定为异样。上面是一个动静阈值性能的示意图，绿线是指标的理论值，蓝色暗影是算法计算出来的，指标在失常状况下的高低边界。

这里的毛病在于：算法对用户来说是黑盒，SRE 们不敢把要害的业务指标释怀地交给算法。另外，这些算法是通用的，不肯定合乎 SRE 的理论业务需要。而且，很多 APM 厂商没有关注到这一点，没有给用户调节动静阈值的性能。

问题 3：告警阈值的合理性难以及时验证

一些 APM 厂商给出了阈值和指标过来一段时间理论值的比照图。然而，SRE 们往往没有工夫对每个利用、每条指标、每个接口都浏览一遍来设置正当的阈值。

另外，对于动静阈值的性能，很少有厂商给出比照图。SRE 没有足够的信息来对告警阈值进行调整，只能一直地受到告警打搅再调节阈值。这样，有了几次误告警之后，SRE 们就会把这些“金玉其外; 败絮其中”的 AI 性能关掉。

ARMS 是怎么帮用户实现半分钟配出”高质量“告警的？

为了解决这些问题，为了给用户提供“通明的”、“易用的”、“所见即所得”的智能化告警体验，ARMS 对利用性能监控告警性能进行了全面降级。上面咱们介绍 ARMS 如何解决“高质量”告警难配的问题。

问题 1：同一指标，不同利用，不同接口的“失常水位”不同

实际上，对每一条指标配置一个适合的阈值其实都不算难，难的中央在于每个利用、每个接口、每种指标类型适宜的阈值都不一样。SRE 要遍历所有的指标，为他们设置适合的阈值，这是须要消耗大量工夫的中央。

对于配动态阈值这种反复的工作，ARMS 决定交给代码来做。用户只须要抉择要配告警的利用、接口和指标类型。

而后点击“填入 P4 倡议阈值”，ARMS 就会主动拉取每个利用、每个接口对应指标的历史 3 天数据，而后用 N -sigma 算法，计算每个指标历史 3 天的均值和方差。当业务没有发生变化，咱们默认指标遵从一个正态分布，它偏离它的冀望 N 倍标准差的概率很小。依据这个原理，咱们给出一个举荐阈值。这里的 ”P4″ 是示意的是最不重大的告警，这个倡议阈值仅仅示意指标有些许异样。

当用户的业务产生了变动，利用失常水位也产生了变动，那么用户也只须要编辑一下告警规定，再点一次“填入 P4 倡议阈值”即可。真正做到了一次配置，随处失效。

问题 2：有的指标，不同时段的“失常水位”不一样

因为动态阈值告警难以满足如 RT、QPS 等稳定型指标的监控性能，咱们举荐动静阈值，也叫区间检测性能。这里咱们会主动依据指标 7 天历史数据，预测指标将来高低边界。用户能够依据高低边界配置告警，当指标理论值超出上边界或下边界，触发告警。

ARMS 次要应用了 Meta(Facebook)公司 2018 年颁布的 Prophet 算法 [ 1]。算法会先依据指标历史 7 天数据，用工夫序列合成算法，将指标分解成节令项、趋势项和残差项。举个例子 [ 2]，对于上面图 1 中的工夫序列，Prophet 算法会将它分解成有法则的趋势项 (图 2) 节令项 (图 3) 和没有法则的残差项。

图 1

图 2

图 3

既然趋势项和节令项是有法则的，咱们就能够对将来一段时间指标的值进行预测。然而还有残差项的存在，所以如果咱们对指标的变化趋势预测失去的是一个区间，能够看图 1 中蓝色暗影局部。Prophet 是一个无畛域的，时序预测通用算法。咱们对该算法做了一些试验之后，发现把它利用到 APM 畛域，还须要大量的革新。

当用户配置区间检测工作之后，ARMS 会在后盾以每 24h 一次的频率，学习指标历史 7 天数据的特色，提取指标趋势性、季节性等特色，失去指标将来 24h 的预测曲线。再依据指标本身的稳定状况，也就是误差方差的大小，为将来一天指标的数据做出一个预计区间。用户在配置区间检测告警中，能够对算法计算出来的高低边界进行预览。下图中，蓝线是指标的理论值，绿色的暗影是高低边界。

与动态阈值举荐性能不同的中央在于，当用户业务变动导致指标失常水位发生变化，用户不须要通过手动编辑告警规定的形式来更新阈值。这是因为 ARMS 继续地在以每天一次的频率学习指标的特色，并只预测将来一天的高低边界。SRE 们不须要再一遍一遍来回地调整阈值。ARMS 区间检测告警，一次配置，自适应学习指标特色，长久无效。

问题 3：告警阈值的合理性难以及时验证

为了帮忙用户及时地验证告警的合理性，使得用户可能依据本身业务调整算法举荐的阈值，ARMS 推出了如下的性能：

1. 为了不便用户依据本人的理论数据对阈值进行调整，咱们给出了指标理论值和阈值的比照图

这里的 P1、P2、P3、P4 的阈值代表着不同的重大水平，当用户配置好各个阈值之后，ARMS 会用不同的色彩标识出 4 个不同等级的阈值。

2. 提供了告警数预测性能

咱们会依据指标历史 24h 数据，计算指标会超出每个阈值的次数来预测在该设定下告警的数量。并且，ARMS 提供了指标详情信息，用户能够看到具体是哪些时刻，指标的理论值超出了以后的阈值。用户能够依据这些信息调整阈值，以适配理论业务需要。

3. 无论是动态阈值还是举荐阈值，ARMS 都反对用户手动调节举荐阈值

在动态阈值配置的界面下，用户能够按需地批改阈值；在区间检测性能中，用户能够滑动灵敏度按钮，从 0 到 200 筛选任意整数作为灵敏度。并且，图中标识着指标高低边界的绿色区间也会随着灵敏度的变动而变动。

总结

为了帮忙用户疾速配出“高质量“告警，ARMS 提供了“动态举荐阈值”来帮忙用户疾速地计算指标的“失常水位”；并且，针对不同时间段“失常水位”不一样的指标，ARMS 提供了“区间检测”性能。另外，ARMS 提供了告警数预测性能，使得运维工程师们能够及时地评估告警规定的合理性。也让他们有足够的信息，依据本身业务来调节告警阈值以及区间检测中的灵敏度，一次性配出“高质量”告警。

运维工程师 D 示意：” 用 ARMS 的确比给告警数配告警靠谱哈 ”，运维工程师 A、B、C：“连忙上阿里云开明 ARMS 吧，我再也不想中午被告警电话吵醒了”。

参考文献：

[1] Prophet 算法

Taylor S J, Letham B. Forecasting at scale[J]. The American Statistician, 2018, 72(1): 37-45.

[2] 举个例子https://zhuanlan.zhihu.com/p/52330017