在SLS中快速实现异常巡检

29次阅读

共计 4808 个字符，预计需要花费 13 分钟才能阅读完成。

一、相关算法研究

1.1 常见的开源算法

  • Yahoo：EGADS
  • FaceBook：Prophet
  • Baidu：Opprentice
  • Twitter：Anomaly Detection
  • Redhat：hawkular
  • Ali+Tsinghua：Donut
  • Tencent：Metis
  • Numenta：HTM
  • CMU：SPIRIT
  • Microsoft：YADING
  • Linkedin：SAX 改进版本
  • Netflix：Argos
  • NEC：CloudSeer
  • NEC+Ant：LogLens
  • MoogSoft：一家创业公司，做的内容蛮好的，供大家参考

1.2 基于统计方法的异常检测

基于统计方法对时序数据进行不同指标（均值、方差、散度、峰度等）结果的判别，通过一定的人工经验设定阈值进行告警。同时可以引入时序历史数据利用环比、同比等策略，通过一定的人工经验设定阈值进行告警。
通过建立不同的统计指标：窗口均值变化、窗口方差变化等可以较好的解决下图中（1，2，5）所对应的异常点检测；通过局部极值可以检测出图（4）对应的尖点信息；通过时序预测模型可以较好的找到图（3，6）对应的变化趋势，检测出不符合规律的异常点。

如何判别异常？

  • N-sigma
  • Boxplot（箱线图）
  • Grubbs’Test
  • Extreme Studentized Deviate Test

PS：

  1. N-sigma：在正态分布中，99.73% 的数据分布在距平均值三个标准差以内。如果我们的数据服从一定分布，就可以从分布曲线推断出现当前值的概率。
  2. Grubbs 假设检验：常被用来检验正态分布数据集中的单个异常值
  3. ESD 假设检验：将 Grubbs’
  4. Test 扩展到 k 个异常值检测

1.3 基于无监督的方法做异常检测

什么是无监督方法：是否有监督（supervised），主要看待建模的数据是否有标签（label）。若输入数据有标签，则为有监督学习；没标签则为无监督学习。
为何需要引入无监督方法：在监控建立的初期，用户的反馈是非常稀少且珍贵的，在没有用户反馈的情况下，为了快速建立可靠的监控策略，因此引入无监督方法。
针对单维度指标

  • 采用一些回归方法（Holt-Winters、ARMA），通过原始的观测序列学习出预测序列，通过两者之间的残差进行分析得到相关的异常。

  • 针对单维度指标

    • 多维度的含义（time，cpu，iops，flow）

    • iForest（IsolationForest）是基于集成的异常检测方法

      • 适用连续数据，具有线性时间复杂度和高精度
      • 异常定义：容易被孤立的离群点，分布稀疏且离密度高的群体较远的点。

    • 几点说明

      • 判别树越多越稳定，且每棵树都是互相独立的，可以部署在大规模分布系统中
      • 该算法不太适合特别高维度数据，噪音维度维度和敏感维度无法主动剔除
      • 原始 iForest 算法仅对全局异常值敏感，对局部相对稀疏的点敏感度较低

1.4 基于深度学习的异常检测

论文题目：《Unsupervised Anomaly Detection via Variational Auto-Encoder for Seasonal KPIs in Web Applications》（WWW 2018）

  • 解决的问题：针对具有周期性的时序监控数据，数据中包含一些缺失点和异常点

  • 模型训练结构如下

  • 检测时使用了 MCMC 填补的技术处理观测窗口中的已知缺失点，核心思想根据已经训练好的模型，迭代逼近边际分布（下图表示 MCMC 填补的一次迭代示意图）

1.5 使用有监督的方法做异常检测

  • 标注异常这件事儿，本身很复杂？

    • 用户定义的异常往往是从系统或者服务角度出发，对数据进行打标，所关联的底层指标、链路指标繁杂，无法从几个维度出发（更多的是系统的一个 Shapshot）
    • 在进行架构层设计时，都会进行服务自愈设计，底层的异常并未影响到上层业务
    • 异常的溯源很复杂，很多情况下，单一监控数据仅是异常结果的反应，而不是异常本身
    • 打标样本数量很少，且异常类型多样，针对小样本的学习问题还有待提高

  • 常用的有监督的机器学习方法

    • xgboost、gbdt、lightgbm 等
    • 一些 dnn 的分类网络等

二、SLS 中提供的算法能力

  • 时序分析

    • 预测：根据历史数据拟合基线
    • 异常检测、变点检测、折点检测：找到异常点
    • 多周期检测：发现数据访问中的周期规律
    • 时序聚类：找到形态不一样的时序

  • 模式分析

    • 频繁模式挖掘
    • 差异模式挖掘

  • 海量文本智能聚类

    • 支持任意格式日志：Log4J、Json、单行（syslog）
    • 日志经任意条件过滤后再 Reduce；对 Reduce 后 Pattern，根据 signature 反查原始数据
    • 不同时间段 Pattern 比较
    • 动态调整 Reduce 精度
    • 亿级数据，秒级出结果

三、针对流量场景的实战分析

3.1 多维度的监控指标的可视化

具体的 SQL 逻辑如下：

* | 
select
   time,
   buffer_cnt,
   log_cnt,
   buffer_rate,
   failed_cnt,
   first_play_cnt,
   fail_rate 
from
   (
      select
         date_trunc('minute', time) as time,
         sum(buffer_cnt) as buffer_cnt,
         sum(log_cnt) as log_cnt,
         case
            when
               is_nan(sum(buffer_cnt)*1.0 / sum(log_cnt)) 
            then
               0.0 
            else
               sum(buffer_cnt)*1.0 / sum(log_cnt) 
         end as buffer_rate, 
sum(failed_cnt) as failed_cnt, 
sum(first_play_cnt) as first_play_cnt , 
         case
            when
               is_nan(sum(failed_cnt)*1.0 / sum(first_play_cnt)) 
            then
               0.0 
            else
               sum(failed_cnt)*1.0 / sum(first_play_cnt) 
         end as fail_rate 
      from
         log 
      group by
         time 
      order by
         time
   )
   limit 100000

3.2 各指标的时序环比图

具体的 SQL 逻辑如下：

* |
select 
    time,
    log_cnt_cmp[1] as log_cnt_now,
    log_cnt_cmp[2] as log_cnt_old,
    case when is_nan(buffer_rate_cmp[1]) then 0.0 else buffer_rate_cmp[1] end as buf_rate_now,
    case when is_nan(buffer_rate_cmp[2]) then 0.0 else buffer_rate_cmp[2] end as buf_rate_old,
    case when is_nan(fail_rate_cmp[1]) then 0.0 else fail_rate_cmp[1] end as fail_rate_now,
    case when is_nan(fail_rate_cmp[2]) then 0.0 else fail_rate_cmp[2] end as fail_rate_old
from
(
select 
    time, 
    ts_compare(log_cnt, 86400) as log_cnt_cmp,
    ts_compare(buffer_rate, 86400) as buffer_rate_cmp,
    ts_compare(fail_rate, 86400) as fail_rate_cmp
from (
select 
      date_trunc('minute', time - time % 120) as time, 
    sum(buffer_cnt) as buffer_cnt, 
    sum(log_cnt) as log_cnt, 
    sum(buffer_cnt)*1.0 / sum(log_cnt) as buffer_rate, 
    sum(failed_cnt) as failed_cnt,  
    sum(first_play_cnt) as first_play_cnt ,
    sum(failed_cnt)*1.0 / sum(first_play_cnt) as fail_rate
from log group by time order by time) group by time)
where time is not null limit 1000000

3.3 各指标动态可视化

具体的 SQL 逻辑如下：

* | 
select 
    time, 
    case when is_nan(buffer_rate) then 0.0 else buffer_rate end as show_index,
    isp as index
from
(select 
    date_trunc('minute', time) as time, 
    sum(buffer_cnt)*1.0 / sum(log_cnt) as buffer_rate,
    sum(failed_cnt)*1.0 / sum(first_play_cnt) as fail_rate,
    sum(log_cnt) as log_cnt,
    sum(failed_cnt) as failed_cnt,
    sum(first_play_cnt) as first_play_cnt,
    isp
from log group by time, isp order by time) limit 200000

3.4 异常集合的监控 Dashboard 页面

  • 异常监控项目的背后图表 SQL 逻辑
* | 
select 
    res.name 
from ( 
    select 
        ts_anomaly_filter(province, res[1], res[2], res[3], res[6], 100, 0) as res 
    from ( 
        select 
            t1.province as province, 
            array_transpose(ts_predicate_arma(t1.time, t1.show_index, 5, 1, 1) ) as res 
        from ( 
            select
                province,
                time,
                case when is_nan(buffer_rate) then 0.0 else buffer_rate end as show_index
            from (
                select 
                    province, 
                    time, 
                    sum(buffer_cnt)*1.0 / sum(log_cnt) as buffer_rate, 
                    sum(failed_cnt)*1.0 / sum(first_play_cnt) as fail_rate, 
                    sum(log_cnt) as log_cnt, 
                    sum(failed_cnt) as failed_cnt, 
                    sum(first_play_cnt) as first_play_cnt
                from log 
                group by province, time) ) t1 
            inner join ( 
                select 
                    DISTINCT province 
                from  ( 
                    select 
                        province, time, sum(log_cnt) as total 
                    from log 
                    group by province, time ) 
                where total > 200 ) t2 on t1.province = t2.province  
        group by t1.province ) ) limit 100000
  • 针对上述 SQL 逻辑的具体分析

具体的 SQL 的语法分析逻辑可以参照之前的文章：SLS 机器学习最佳实战：批量时序异常检测

四、参考文档

4.1 相关文章链接

  • SLS 机器学习介绍（01）：时序统计建模
  • SLS 机器学习介绍（02）：时序聚类建模
  • SLS 机器学习介绍（03）：时序异常检测建模
  • SLS 机器学习介绍（04）：规则模式挖掘
  • SLS 机器学习介绍（05）：时间序列预测
    • *
  • 一眼看尽上亿日志 -SLS 智能聚类 (LogReduce) 发布
  • SLS 机器学习最佳实战：时序异常检测和报警
  • SLS 机器学习最佳实战：时序预测
  • SLS 机器学习最佳实战：日志聚类 + 异常告警

4.2 DrillDown 文章链接

  • 下钻分析

4.3 相关算法介绍

  • https://github.com/linjinjin123/awesome-AIOps
  • https://github.com/topics/aiops

本文作者：悟冥

阅读原文

本文为云栖社区原创内容，未经允许不得转载。

正文完
group-by 机器学习 监控 算法
发表至：无分类
2019-09-02
 0