共计 4269 个字符，预计需要花费 11 分钟才能阅读完成。
作者：董善东、陈昆仪
引言
某位资深 SRE 同学示意“一天不收个几十条告警，我都感觉不安心”，“告警天天告，咱们的利用一点事件都没有”。这都反映了一个十分广泛的景象 — “ 误告警泛滥 ”，而“真”告警容易被吞没。ARMS AIOps 团队对超过 6 万条对于响应工夫和错误率突增的告警进行了剖析，发现其中只有 3.05% 的告警是“真”告警。同时发现误告警泛滥本源在于单靠现有告警产品的能力很难配置出卓有成效的告警规定。因而，ARMS 基于托管版 Grafana 推出智能告警插件——Smart Metrics，用算法帮忙用户解决 ” 告警配置难、保护难 ” 的问题。
本文从两类常见的有效告警规定动手，剖析无效告警配置难，误告警泛滥的起因，介绍 Smart Metrics 是如何帮忙用户解决告警难配的问题的，并介绍一些最佳实际。最初，欢送退出 SmartMetrics 交换群，钉钉群号 25125004458。
告警现状剖析
误告警泛滥
咱们通过对 ARMS 告警数据及用户访谈进行剖析，发现许多用户一天收几百条告警，但其中真正有用的只有几条。更可怕的是，那几条“真”告警往往被吞没在大量误告警中，导致用户没能在第一工夫对实在故障做出解决。这些误告警往往是由一些不良的告警配置习惯造成的，比拟典型的有上面两种：
“一刀切”式配告警形式：
比方一位 SRE 同学要治理很多接口，但为了节俭告警配置工夫，所以抉择对所有利用 / 接口的响应工夫、错误率和调用量配置对立且固定阈值。然而，不同利用 / 接口失常状态下的响应工夫、调用量和错误率指标的失常水位自身就不雷同，成千盈百的利用 / 接口应用同一阈值天然会产生大量误告警。
“疏于打理”的告警阈值：
有的告警规定在利用起初是没有问题的，但随着业务增长，响应工夫、调用量等业务指标，以及 CPU 使用率等机器指标的均匀水位线已发生变化。但 SRE 没有及时更新阈值，导致系统失常时也会一直产生告警。
一般而言，只有针对上述两种告警策略进行优化，就能够无效防止大量误告警。但实际上，它们的优化并不简略。起因在于现有告警产品往往只反对用户应用动态阈值配置告警。
咱们先来看一下典型告警配置页面：它提供了很多罕用聚合算子：均值、最大值、最小值、差分等，用户能够用这些算子自定义告警规定。
咱们再来看看实在的运维指标，比方 qps(每分钟调用量)，发现它长这个样子：
那么，当初应该 min\max\avg 什么？阈值该设置成多少？
无效告警配置难、保护难的起因
面对实在多变的运维指标，即便是经验丰富的运维专家也很难配出无效告警。咱们总结无效告警配置难、保护难的次要起因：
1. 许多运维指标起伏不定，很难设定适合的动态阈值。
它们往往呈现出以小时、天、周为周期的季节性特色。这些指标自身就起伏不定，导致动态阈值、同比阈值都不好配。
2. 同一指标，不同利用 \ 接口 \ 主机阈值不同。
以 RT 指标 (响应工夫) 举例，有的接口失常时 RT 在 200ms 左右，那么当 RT 大于 300ms 时，能够断定为异样。然而，有些接口长期访问量大，整体指标在 500ms 左右失常稳定，适合的告警阈值可能是 600ms 左右。而一个利用可能有几百个接口，运维同学要对所有接口配置适合的阈值，工夫老本十分高。
3. 指标的失常水位会随着业务的增长变动。
随着公司业务倒退、新利用上线，一些指标失常状态水位会一直变动。如果没有及时更新阈值，就很容易产生大量误告警。
综上，靠现有告警产品中依赖动态阈值形式，须要 SRE 同学投入大量工夫老本且难以获得较好成果。为解决这个问题，ARMS 推出基于 Grafana 的智能告警插件——SmartMetrics，用算法来帮忙用户配置无效告警。
更简略的告警配置形式 -SmartMetrics
SmartMetrics 是一款“智能、易用、成果可见”的告警插件，可能从历史指标数据学习指标的特色，并对将来一段时间内指标失常变动范畴做出预测，生成高低边界。这里的高低边界围成的区间默认就是 90 置信区间。也就是依照后面几天的趋势，指标没有产生异样的话，有 90 的概率，它将来的值会落到咱们预测失去的高低边界中。
SmartMetrics 反对 Grafana 原生告警性能，可利用 SmartMetrics 生成的高低边界作为配置告警的阈值。简略的配告警策略能够是当指标超过上界或低于下界时收回告警。也能够配置更多简单策略，如原始曲线高于上边界 1.5 倍且过来一小时内没有呈现过高于上边界的状况下才收回告警等。
目前，SmartMetrics 已在托管版 Grafana 上线，将来还将作为附加性能嵌入到 ARMS 的告警能力中。
SmartMetrics 如何生成高低边界
SmartMetrics 通过多模型交融形式为不同类型指标计算高低边界。SmartMetrics 先通过 Smart-PLR 算法捕获指标要害特色，并利用分类算法确定该指标曲线类型；依据其类型来抉择最适宜时序预测模型与最佳参数；最初生成高低边界。
SmartMetrics 在采取业界热门开源算法 Prophet、STL、ARIMA，BiLSTM 根底上，基于阿里云外部大数据实际进行单周期 / 多周期辨认、趋势辨认、异样点辨认、毛刺辨认、变点辨认等优化，最终交融成一套多模型 Smart-Prophet 算法计划。SmartMetrics 具备以下几个特点：
a. 准确性：算法在阿里云外部进行多场景经验过验证，领有精准、全面的异样点发现能力。配合告警持续时间，起到精准告警成果。
b. 通用性：算法对于业务指标和根底指标有比拟好反对，对于周期性、趋势性、波动性指标进行比拟好的曲线分类和模型参数配置。
c. 免保护：应用 SmartMetrics 的用户无需随业务变动对算法进行动态化调参，算法可自适应通过对指标变动的法则学习，从而适应业务变动。
SmartMetrics 如何解决无效告警配置难、保护难的问题
1. SmartMetrics 如何应答起伏不定的运维指标配置无效告警的需要
SmartMetrics 会主动依据 7 天历史数据预测曲线在将来 1 天内曲线在失常状态下的高低边界，并实时地写入指标理论值。用户能够利用 Grafana 自带的告警能力配置告警：当指标理论值超出高低边界时，或是理论值超出上边界值 1.5 倍时，收回告警。用户可自定义多种告警规定，更多最佳实际能够参考 SmartMetrics 的官网文档。
2. SmartMetrics 如何应答同一指标，不同利用 \ 接口 \ 主机告警阈值不同的场景
对不同利用 \ 接口 \ 主机的指标调配用 SmartMetrics 生成高低边界，SmartMetrics 会主动学习各自特色，生成适宜的动静基线，用户不须要再手工输出动态阈值。
3. SmartMetrics 如何应答因为业务倒退带来的动态阈值保护难的问题
SmartMetrics 默认每天更新模型，主动学习因为业务变动带来的指标失常水位线变动，免人工保护。
SmartMetrics 最佳实际
步骤 1. 创立动静阈值工作
- 抉择适合的数据源
- 抉择所须要动静监控的指标
留神：目前只反对 1 条指标的工作，因而须要明确指标中的 label value，或者通过算子如 sum，count，实现单个指标查问。多指标配置目前布局中，根据用户反馈决定是否上线。
- 抉择实现后，执行 Run Query，能够查问到对应的指标曲线。
- 设定适合的模型参数，选则灵敏度等，倡议应用默认配置。
- 填写正确的名称及形容。
- 点击创立预测，实现创立。
步骤 2. 查看指标
- 创立胜利工作之后，能够点击返回工作列表。
留神：创立工作后，工作立刻启动，实现数据拉取，计算，存储等工作，该过程须要期待 1-2 分钟左右。
- 点击查看大盘，查看具体的指标和对应高低边界状况。
- 大盘提供了原始指标工夫序列数据和对应的高低边界组合成的失常区域。指标值在边界之内则能够了解为算法断定失常，超出高低边界则能够了解为算法断定异样。
- 点击 Edit，进入编辑页面。
- 以后指标和高低边界对立保留在 promenthus 数据源 cloud_product_prometheus_cn-hangzhou_aiops_userId 中。指标名称即为创立工作时的名称，对应的 label：smart_metric 取不同的值（actual，upper，lower），则对应着（原始指标，上边界指标，下边界指标）。例如：如果用户想独自查看上边界，则只须要在对应的数据源 cloud_product_prometheus_cn-hangzhou_aiops_userId 中查找对应的指标。
步骤 3. 异样检测 & 配置告警
- 在查看指标大盘页面中，点击 Edit，进入编辑页面
- 在 Query 页面，能够查看 D 查问指标中，默认预置了超过上边界的指标查问：
tuyang_test{smart_metric=”actual”} > ignoring (smart_metric) tuyang_test{smart_metric=”upper”}
- 在 grafana 下方 tab 页面，进入到 Alert 页面，并 Create Alert
- 配置 NULL 的状况下，为 OK，同时配置告诉人和告诉信息
其余查问玩法请参考：超出上边界：
test{smart_metric="actual"} > ignoring (smart_metric) test{smart_metric="upper"}超出下边界：
test{smart_metric="actual"} < ignoring (smart_metric) test{smart_metric="lower"}超出上 / 下边界：
test{smart_metric="actual"} > ignoring (smart_metric) test{smart_metric="upper"} or test{smart_metric="actual"} < ignoring (smart_metric) test{smart_metric="lower"}超出上边界阈值比例 20%：
test{smart_metric="actual"} > ignoring (smart_metric) test{smart_metric="upper"} *1.2步骤 4. 告警告诉
- 对于产生的告警，能够在配置的告诉形式获取到告警，点击链接并跳转到 grafana 中进行查看。
步骤 5. 工作治理
- 对于不须要的动静阈值检测工作，能够在工作列表中进行删除。
欢送退出 SmartMetrics 交换群
Last but not least，欢送退出 SmartMetrics 交换群并提出更多的需要与领导意见！！
钉钉搜寻群号：25125004458
首月收费，点击此处立刻体验！