乐趣区

explianitcisco2019sigmod

causation 理论的一点应用。证明分值不是偶然发生的

RCA 的工具一般可以 query and classify anomalies,相关性分析(causal probabilistic gaphical models)

  • spurious correlations。当 dimensionality 比 data points 数量多
  • 交互式查询,target metrics of interest(Y), 正常和异常时间段,specificity metrics for control(可选 Z),search space of metrics(可选 X)=》TOP 20 root-cause insearchspace:scores(Xi)<-assoc(Y,Xi|Z)

原理

causal bayesian network。嗯,可以用带条件的两个变量关系去构造复杂的关系。

 - ExplainIt!– A Declarative Root-cause Analysis Engine for Time Series Data
 - Why? The above approach offers three main benefits. 
 - First, the formalism is a non-parametric and declarative way of expressing dependencies between variables and defers any specific approach to the runtime system. 
 - Second, the unified approach naturally lends itself to multivariate dependencies of more complex relationships beyond simple correlations between pairwise univariate metrics. 
 - Third, the approach also gives us a way to reason about dependencies that might be easier to detect only when holding some variables con- stant; 

1.feature family(可以按照 host 聚合,类似 group by。比如某个 feature family 是 75th 延时,当前 clusterjobs 数量)

2.ranking 假设(X,Y,Z)=》给出 Xi 的排序
单变量 Z 空 score:X 中每个 Xi,Y 中每个 Yj,Pearson product-moment coorelation 的均值和最值 coorMean=meani,j|pi,j|。
多变量 Z 空,线性回归(random projection 降维)+loss function 计算 R 方
Z 不空:回归 Y~Z,X~Z. 得到 RY;X.,RX;Z. 回归两个 R 计算 R2(Y;X|Z)
当 X 中 predictors 很多,observations 很少时。用 Ridge penalty 达到了和 adjusted R2 一样的效果。见后文。

实验是否能够补全图

评估

打分方法的评估:
ranking accuracy:cause 是第 r 个,1/r
success rate: cause in topk 得 1,否则 0

理论

PC/SGS 算法 use pairwise conditional independence=>full causal structture.also considering a joint set of variables.
rarely requires the full causal structuew

给出了过拟合 用 radj。当一个 score 至少大于 s 是意外正常发生的概率和 n,p 的关系。当 s 小于这个值时不可信的。

退出移动版