一. 背景
在蚂蚁团体智能监控畛域，时序异样检测是极重要一环，异样检测落地中，业务方参考业界规范输入 Metrics 指标数据，监控不同业务、利用、接口、集群的各项指标，蕴含 Metrics 指标（总量、失败量、耗时等）和零碎服务指标（CPU、MEM、DISK、JVM、IO 等）。晚期的时序异样检测是由 SRE 联合长期运维教训通过配置专家规定来实现，随着 AI 技术的遍及，异样检测逐渐 AI 化，在事实场景中，AI 算法经常面临如下挑战：
- 每日不同时段，业务时序曲线出现不同的部分均值 / 方差个性；
- 非凡日期如大型节假日、大促日，时序数据与日常差别微小，甚至与今年同期也存在不小差别；
- 每日或距离几日固定时间段中随机时刻产生的偏定时事件；
- 海量监控业务，很难针对独自指标一一建模；
下图是一组耗时指标时序数据，按分钟采样，存在显著日周期性，在每日不同时段，均值 / 方差差别显著；凭专家教训按时间段强行设置阈值，难度大准确度低；应用回归模型拟合数据分布，精度高，但难以泛用到其余指标。
图 1 耗时时序曲线
本文基于 CNN 神经网络方向进行了一些摸索，在保障检测准确率与召回率的同时，也能保障 模型有较好的泛用性。
二. 算法调研
下图整顿出局部时序数据异样检测波及算法，这里不一一详述，有趣味自行查问相干算法原理。
图 2 异样检测相干算法
从是否依赖标注训练样本的角度看，算法次要分为有监督和无监督两个方向（半监督这里就不介绍了）。无监督算法免去了标注样本消耗的大量人力，适宜冷启动，但最终还需算法开发人员继续调参去寻找最优分类决策立体，在调参过程中还需兼顾不同监控业务的本身特点；有监督算法则相同，但往往模型可解释性较差，日常运维中用户会常常询问：为啥告警 / 为啥没告警，运维人员这时可能会风中凌乱，同时不同业务 owner 对异样评判的规范是存在差别的，如果不能在 异样评判的规范 上达成统一，应用有监督算法往往需为不同的评判规范保护多套样本集。
CNN 的卷积层在提取异样波形特色上有显著的劣势，复杂度适合的全连贯层实践上也可拟合出所有的非线性关系；还有一点，网络结构的设计是一件灵便的工作，算法工程师有较大的施展空间，而非仅仅波及调参。
三. 算法原理
此章从特色工程，样本加强，神经网络设计三局部介绍基于 CNN 模型计划，还是以耗时指标为例进行阐明。
3.1 特色工程
不同样本的均值 / 方差 / 趋势差别显著，须要将原始时序数据映射到对立量纲的空间。
模型原始输出为 5 组输出通道：
- 当日数据：前 n 分钟到以后预测工夫点时序数据；
- 同比数据（前 1 天）：1 天前以后时刻为参考点，前 n 分钟到后 m 分钟内时序数据；
- 同比数据（前 2 天）：2 天前以后时刻为参考点，前 n 分钟到后 m 分钟内时序数据；
- 同比数据（前 7 天）：7 天前以后时刻为参考点，前 n 分钟到后 m 分钟内时序数据；
- 同比数据（前 14 天）：14 天前以后时刻为参考点，前 n 分钟到后 m 分钟内时序数据；
同比数据时段抉择前 n 分钟到后 m 分钟，是因为某些周期性事件并非在一个固定工夫点产生，而是在一个固定时间段中随机取值。在作者实际中 n=60，m=30。
次要解决问题：
- 打消了不同日期时序数据水位差别带来的影响；
- 打消了不同日期时序数据抖动幅度差别带来的影响；
- 打消了不同指标的值域范畴差别带来的影响；
整个数据处理流程按如下几环节程序进行。
3.1.1 方差标准化
方差体现了时序数据在统计时段内的抖动激烈水平，在实在样本中，当日方差与往期同比时段方差可能存在较大差别，如果不做标准化解决，会导致抖动激烈的时序数据很容易产生误报。
图 3 解决前后比照
3.1.2 去均值
均值体现了时序数据在统计时段内水位，在实在样本中，当日均值与往期同比时段均值是不相等的，须要对齐水位。对每组输出通道中时序数据取中位数，以中位数为 0 点进行平移，留神是中位数不是统计均值。
图 4 解决前后比照
对于为何应用中位数，而不应用统计均值，应用均值会呈现下图所示问题，没达到对齐成果。
图 5 中位数和统计均值差别
3.1.3 提取趋势基线
滑动均匀，滚动窗口提取参考时段内的趋势基线，须要对窗口内数据集进行肯定比率的去噪。
图 6 提取趋势基线
3.1.4 去趋势
做个简略的映射操作，实在值 - 趋势基线值，提取进来趋势后的残差时序。
图 7 去趋势
3.1.5 标准化
对残差时序做一个标准化操作。
图 8 标准化
3.1.6 数据截取
通过上述几个步骤，将当日与往期共 5 个通道时序数据映射到了新的空间；在进行异样检测时，因为只需检测以后时刻是否异样，所以送入神经网络的当日时序输出只需截取最近 c 分钟即可，在作者实际中，c=7。
3.2 数据加强
模型训练前，能够做适量的数据加强，不仅能晋升模型泛用性，还能在训练收敛过程中更容易提取到异样波形特色，对精确 / 召回率有比拟大的晋升。数据加强在特色工程之后。
- 替换往期参考日输出通道的数据，如下例中就替换了 y7 和 y14 通道的输出；
图 9 替换通道输出
- 批改异样样本以后时刻值，随机设置到指定阈值之下，把一个异样样本变成一个失常样本；
图 10 批改以后时刻值
- 批改异样样本中当日输出通道的向量，向量整体做大尺度负向平移，把一个异样样本变成一个失常样本；
图 11 批改当天输出向量
- 模仿周期事件，随机抽取几个往期通道，在输出时序中生成与今日异样波形类似的数据；
图 12 模仿周期事件
3.3 神经网络设计
相比于简单的图像识别，异样波形的图像特色要简略的多，在满足准召率的前提下，尽可能用更少的隐层，更少的参数去解决问题，模型构造中有 2 个关键点：
- 每个输出通道 共享雷同卷积层，因为每个通道需提取的波形特色是统一的，共享卷积层能够节约计算性能；
- MaxPool 层本质对每个通道做的是一个取向量最大元素操作，所以不论 Input 层输出向量长度如何变动，MaxPool 层输入数据结构都是固定的，所以在模型做预测时，输出通道是可灵便输出 不同的长度时序数据；
模型 Keras 定义代码：
模型构造打印：
图 13 网络结构
四. 成果评估
4.1 标注样本集评估后果
以后在 10000+ 训练样本集上准确率可达 98.9%，因为打标数据中有一些不置可否的标注数据，不同的业务人员判断很难达到对立，通过进步模型复杂度去强行拟合训练样本集，这样可能会影响模型的泛用性。
4.1 线上预测评估后果
最近一期评审数据：精确 78%，召回 96%，误报次要起因剖析：
- 局部业务人员断定持续时间较短的毛刺为误报，但训练样本集中是存在这种毛刺异样标注，能够增加一条简略的后置规定对异样继续时长进行过滤；
- 在当日原始输出为 1 小时左右的时长跨度中，异样波形较显著，但拉长时轴，在更长的时间跨度下看涨跌幅度失常；能够通过给原始输出更久时序数据缩小此类误报，或者基于历史数据离线统计出一些适合的最小涨跌阈值进行过滤；
- 小数据 / 稠密数据模型体现较差；
- 周期性差，当日走势和历史差别极大；
一些发现的异样，红色为异样点。
图 14 检测的异样
五. 以后面临的一些问题和思考
随着接入的监控业务一直增多，不同的业务间，咱们发现异常规范定义很难达到齐全对立，业务人员 A 认可的异样在业务人员 B 眼中是失常景象，这意味着应用有监督计划须要保护多份训练集，这在实际操作中是不太事实的。同时这种计划在实时预测时会产生大量时序数据查问申请，须要平台强力反对。在咱们的理论摸索中，发现繁多的算法解决不了所有问题，不同算法都有其劣势及有余，都有其符合及难堪的场景，适合的办法才是最好的办法。
作者介绍
王睿，花名汴南，蚂蚁团体技术专家，始终从事 AIOps 算法相干钻研工作。目前是蚂蚁团体智能监控团队算法组负责人。
对于咱们
欢送来到「蚂蚁智能运维」的世界。本公众号由蚂蚁团体技术危险中台团队出品，面向关注智能运维、技术危险等技术的同学，将不定期与大家分享云原生时代下蚂蚁团体在智能运维的架构设计与翻新方面的思考与实际。
蚂蚁技术危险中台团队，负责蚂蚁团体的技术危险底座平台建设，包含智能监控、资金核查、性能容量、全链路压测以及危险数据基础设施等平台和业务能力建设，解决世界级的分布式解决难题，辨认和解决潜在的技术危险，参加蚂蚁双十一等大型流动，通过平台能力保障整体蚂蚁零碎在极限申请量下的高可用和资金平安。
对于「智能运维」有任何想要交换、探讨的话题，欢送留言通知咱们。
PS：技术危险中台正在招聘技术专家，欢送退出咱们，有趣味分割 techrisk-platform-hire@list.alibaba-inc.com