乐趣区

关于人工智能:分布迁移下的深度学习时间序列异常检测方法探究

jiezi

前言

本篇文章咱们有幸邀请到了 东京大学在读博士生 、云智慧智能研究院算法钻研实习生房同学作为本期主讲人，为咱们带来《 散布迁徙下的深度学习工夫序列异样检测办法探索》的分享，上面就让咱们一起来围观吧~

散布迁徙问题

什么是散布迁徙？监督式的机器学习与深度学习都基于一个假如：训练集与测试集的数据分布必须是一样的。如果散布不一样，就会导致在训练集上训练进去的模型在测试集上成果不好。上面举两个较典型的散布迁徙例子：

  1. 类不平衡问题，如下图所示的二分类问题，目标是训练算法模型能够主动将猫与狗的照片进行分类。在图（a）训练集中猫的图片数量要远多于狗的图片数量（类不平衡），而在图（c）测试集中猫和狗的图片数大抵是平衡的（类平衡），这就是一个类不平衡的散布迁徙问题。
  2. label noise 问题 ，艰深点了解就是 数据标注谬误，比方猫的图片标签却标成了狗。其实 label noise 问题在理论生存中也常常遇到，比方一些众包平台在理论打标的过程中呈现的很多谬误。label noise 问题的训练集和测试集的散布也不一样，如图（b）训练集中存在一些标签谬误的数据，然而在图（d）测试集中所有的数据都是打标正确的。

散布迁徙是一个由来已久，且近些年十分广泛、重要且炽热的钻研问题。散布迁徙问题在生活中普遍存在，并且对机器学习与深度学习算法是十分大的挑战。比方，用于主动驾驶的算法，训练集的数据可能是在晴天收集到的，因而算法模型就只在晴天的数据上进行训练。但部署此算法模型的汽车在驾驶中会遇到雨天的状况，而晴天与雨天收集到的数据的散布存在很大不同，因而该车在雨天行驶时就可能会导致十分重大甚至是车毁人亡的结果。

智能运维畛域中宽泛存在的散布迁徙问题

  1. 运维数据和数据标签噪声 。在对理论运维场景中的数据进行标注时，可能会存在 打标谬误 的问题，并且数据自身也有可能存在噪声，这些潜在问题都可能会导致散布迁徙，影响算法的成果。
  2. 不同运维数据的散布可能不同 。一个算法模型可能须要在一种数据上进行训练，而后在另一种数据上检测其成果。若上述 两种数据分布不同，则易于导致模型在后者成果不好。
  3. 历史数据与将来数据的散布迁徙问题 。算法在历史数据上训练失去算法模型及参数，而后用于将来数据。如果 历史数据与将来数据的散布差别较大，则模型在将来数据上的体现可能较差。
  4. 数据收集过程中的散布迁徙问题。 通过传感器收集数据的过程中，温度、湿度等环境因素会对所收集数据产生重要影响，这些影响很可能会扭转算法的成果。

下图是 Gartner Research 2020 发表的中国技术倒退的冀望趋势图[1]。其中对将来智能运维（AIOps）平台的预期（红色标记）有所降落。这阐明 从业人员现阶段曾经步入了智能运维的深水区，面临很多行业问题和挑战，比方散布迁徙问题。解决此问题对于 AIOps 的倒退有重要意义。

迁徙学习的基本思路

迁徙学习（transfer learning）是解决散布迁徙问题的无效伎俩 。下图论述了其思路，左侧蓝框代表 源域（Source domain），指大量有标数据的数据集 ，如 MNIST 数据集；右侧橙框代表 指标域（Target domain），即钻研关注的存在大量无标数据的数据集， 如 SVHN 数据集。此处工作（Task）是在 SVHN 数据集上的 10 分类问题。迁徙学习的思路是算法模型通过在源域数据集上训练 （手写数字数据 MNIST 的 10 分类问题） 失去的可用常识，去解决指标域的问题（门牌号码数据 SVHN 的 10 分类问题）。

迁徙学习分类

  1. 基于实例的迁徙（Instance-level transfer）

实例迁徙的基本思路是给每个数据赋予不同的权重以缓解散布迁徙的问题。如下图所示，通过投票的形式解决问题，专家权重较大，非专家权重较小。相似状况是，在模型训练过程中，权重越大示意这个数据点在迁徙学习中越重要，因而这个数据对算法训练模型的奉献也会越大。

按重要性加权学习法（importance weighting）[2]是解决散布迁徙十分经典的办法 ，很多散布迁徙的工作均基于此办法。按重要性加权学习法次要有两个步骤： 第一步计算权重 （测试数据与训练数据分布的密度比），即每个训练数据的重要性水平。 第二步是把第一步计算出的权重利用到分类中训练加权的分类器，权重大的数据会在分类工作中奉献更多。

  1. 基于特色的迁徙（Feature-level transfer）

特色迁徙心愿算法模型学习到从源域到指标域不变的特色 。一种办法是 通过最大化域混同损失 使得算法模型分不清数据是来自源域还是指标域。另一种办法是 基于反抗学习，下图是基于反抗学习的经典办法[3]：首先在源域上进行监督学习的训练。而后应用源域和指标域的无标签数据训练判断器，对数据进行二分类（是来源于源域还是指标域）。最初通过应用第二步中对指标域数据的特征提取器，即能够实现对于指标域数据的分类工作。

异样检测概念及分类

运维畛域中的 工夫 序列异样次要分为点异样（point anomaly）、上下文异样（contextual anomaly）与连续性异样（collective anomaly）。比方心电图曲线数据，人们忽然遇到心仪的男 / 女神时，产生的心动即点异样，如图（a）；心律不齐的病人产生的异样体现是上下文异样，如图（b）；死而复生的短暂休克是连续性异样，如图（c）所示。

基于深度学习的异样检测办法

深度学习是近些年衰亡的 数据驱动的算法。在大数据时代，各个领域利用场景的数据量微小且模式简单，故钻研基于深度学习的算法是十分必要的。

  1. 基于生成模型

生成反抗神经网络（ GAN ）与 自编码器 （ Autoencoder ）是两种典型的生成模型。下图是自编码器在异样检测畛域的原理图[4]：先通过最小化重建损失（reconstruction loss）训练自编码器，从失常的数据中学到失常的模式；在测试阶段，当出现异常数据时，模型仍将它视作失常，此时比照输出与输入后失去的重建损失值十分高。于是 重建损失值可用于检测数据是否异样。

  1. 基于 one class classification

One class classification[5]训练算法学习可包围住失常数据分布的最小超平面 / 超球面。 下图的神经网络通过非线性变换将原始数据映射到特色空间中，算法在此特色空间中学习上述超平面 / 超球面；在测试阶段通过计算数据与上述模型的间隔来断定该数据是否异样。

散布迁徙下的深度学习工夫序列异样检测办法探索

目前 对于散布迁徙下深度学习工夫序列异样的检测钻研较为无限 。下图的钻研思路中，首先 对源域和指标域的数据进行预处理 ，随后 在预处理后的源域数据上进行基于深度学习异样检测算法的训练 ，获得称心成果后， 探索利用迁徙学习办法把上述常识迁徙到指标域的可行计划。

咱们在将来钻研中拟用如下三种数据集：

  1. 随机注入异样的人工有标数据，其特点是信噪比和数据量均可控；
  2. 模拟系统 MicroSS 产生的无标数据，其特点是模仿实在业务场景，且数据量大；
  3. 实在运维场景数据，其特点是数据品种丰盛且具备重要商业价值。

基于以上形容，咱们 期待迁徙学习钻研工作在相干数据集上的探索，可为智能运维中的异样检测及其他场景落地赋能，并最终纾解运维从业人员的工作痛点。

参考文献

[1] K. Ji et al. Hype cycle for the Internet of Things, 2020. Gartner Research, 2020.

[2]H. Shimodaira. Improving predictive inference under covariate shift by weighting the log-likelihood function. Journal of Statistical Planning and Inference, 90(2):227–244, 2000.

[3] E. Tzeng et al. Adversarial discriminative domain adaptation. In CVPR , 2017.

[4]C. Zhou and R. Paffenroth. Anomaly Detection with Robust Deep Autoencoders. InKDD, 2017.

[5]Ruff et al. Deep One-Class Classification. In ICML, 2018.

写在最初

云智慧 AIOps 社区是由云智慧发动，针对运维业务场景，提供算法、算力、数据集整体的服务体系及智能运维业务场景的解决方案交换社区。该社区致力于流传 AIOps 技术，旨在与各行业客户、用户、研究者和开发者们独特解决智能运维行业技术难题，推动 AIOps 技术在企业中落地，建设衰弱共赢的 AIOps 开发者生态。

飞鱼平台 (FlyFish) 是云智慧公司自主设计、研发的一款低门槛、高拓展性的低代码利用开发平台，为数据可视化开发场景提供了高效的一站式解决方案。飞鱼提供丰盛的组件和利用模板库，可通过利落拽的模式实现数据可视化开发，零开发背景的用户也可实现数据可视化开发工作。同时，飞鱼也提供了灵便的拓展能力，反对组件开发、自定义函数与全局事件等配置，面向简单需要场景可能保障高效开发与交付。

可视化编排平台 -FlyFish：

Github 地址：https://github.com/CloudWise-…

Gitee 地址：https://gitee.com/CloudWise/f…

您能够增加小助手（xiaoyuerwie）备注：飞鱼。退出开发者交换群，可与业内大咖进行 1V1 交换！

也可通过小助手获取云智慧 AIOps 资讯，理解 FlyFish 最新进展！

退出移动版