共计 2659 个字符，预计需要花费 7 分钟才能阅读完成。
7. 数据智能
一、序
在有了实时离线的数据之后，咱们终于能够应用数据进行业务剖析了，根本解决了数据 what 阶段。对于一个指标咱们能够清晰的在数据上发现数据的变动，反馈业务的变动状况。然而往往业务是简单的，常常会有如下这样的疑难：
场景 1 ：明天的领取订单减少了，到底是哪个业务维度、品类维度、城市维度所带来的增长呢？
场景 2 ：以当初的用户增长率、订单增长率，将来的某段时间咱们用户量会达到多少？订单是多少？
针对场景 1 的离线场景，咱们开发了一套离线根因剖析零碎，来帮忙用户疾速的定位到造成数据变动的根本原因，进步数据分析的效率。
针对场景 2 的实时场景，咱们开发了一套基于时序预测的零碎，依据以往的历史数据实时预测将来的数据，并反对预测数据与实在数据实时进行比照剖析，用来判断数据是否存在异常情况等。
接下来将别离大抵介绍一下，离线根因剖析、实时预测零碎的设计原理与一些实际尝试的教训，来解决数据 WHY 的问题。
二、离线根因剖析
离线根因剖析的办法很多，能够做的很简单也能够做的很简略，比方：
1、咱们简略计算每个维度的变化率，依据变化率倒序排序找出指标变动具体是受哪个维度的影响；
2、基于决策树等机器学习模型来疾速的剖析进去引起数据变动的最大的维度组合；
而咱们采纳了一个基于基尼系数来判断维度变动状况的形式来进行维度的剖析，首先咱们先理解一下什么是基尼系数，以下解释来自百度。
基尼系数（英文：Gini index、Gini Coefficient）是指国内上通用的、用以掂量一个国家或地区居民收入差距的罕用指标。
基尼系数最大为“1”，最小等于“0”。基尼系数越靠近 0 表明支出调配越是趋势平等。国际惯例把 0.2 以下视为支出相对均匀，0.2-0.3 视为支出比拟均匀；0.3-0.4 视为支出绝对正当；0.4-0.5 视为支出差距较大，当基尼系数达到 0.5 以上时，则示意支出迥异。
基尼指数最早由意大利统计与社会学家 Corrado Gini 在 1912 年提出。
基尼系数是依据洛伦兹曲线判断支出调配偏心水平的指标，在根因剖析的我的项目里咱们加以批改，用于掂量各维度内维度值变动的偏心水平。在支出调配的情景下，应用用户数占比作为 X 轴，支出占比作为 Y 轴。而在本我的项目中，应用维度值占比作为 X 轴，变动值占比作为 Y 轴。
整体剖析步骤如下：
1. 数据读取
从元数据信息管理系统中获取指定指标信息，从而拿到对应的以后工夫和比照工夫数据
2. 生成维度值比和变动值比
维度值比 =（以后值 + 对比值）/ 总值，总值为每一个维度的以后值和对比值的总和
变动值比 =（以后值 - 对比值）/ 变动总值，变动总值为每一个维度的变动值之和
3. 依据变动值比倒排
依据基尼系数的结构形式，须要将每个群体的支出占比从小到大排序，最终能力结构出洛伦兹曲线。所以在本我的项目中，将变动值占比从小达到排序，最终取得已排序的变动值比的数组，以及对应的维度值比数组。
4. 基尼系数计算
计算基于极限原理，在 X 轴距离足够小的时候，更趋近于实在值。计算结果比实在值偏小，X 轴距离越大，偏差水平越大。其中波及到一些非凡异常情况下异样值的解决，来更加正当的计算解决维度对应的基尼系数。
依据各个维度的基尼系数，咱们能够很容易得出维度对变动的影响，而后再依据各个维度下的值的变化率等其余指标来找出维度下具体哪个维度影响的大小。如下图，咱们确定维度 C 下的具体值 1 影响最大，怎么找出其余维度的组合呢，就是限度维度 C 的值等于值 1 的状况下，对其余维度进行剖析，用了找出维度与维度组合的最终起因。
整体上该计划适宜多维状况下的根因剖析，最终成果根本满足日常剖析需要。
三、实时预测告警
场景
目前有很多实时指标用于监控业务状态，如何精确、及时地发现实时数据异样，并剖析异样起因，是本我的项目须要解决的问题。
- 及时：在数据出现异常时，尽快发现异常，可能最大水平减小损失。
- 精确：频繁误报会使相干人员对告警失去信赖，从而不能及时处理。
异样识别方法
在异样的断定中，最罕用的就是应用同比或环比，但这两种形式都有一个显著的缺点。
- 同比：以后值和上一周期的值进行比拟，如果当天数据整体上涨或降落，那么会有十分频繁的告警。
- 环比：以后值和上一个值进行比拟，如果数据呈现周期性稳定，也会呈现误报，并且环比变动最大的，也不肯定就是异样的数据。
- 同比 + 环比：即使独自应用同比或环比都不行，那么把两个联合起来一起应用是否能够呢？实践上来说是可能解决肯定问题的，然而加权均匀的权重如何确定？这也是一个难以获得精确后果的问题。
在同比或环比的判断中，仅应用了前一个点或前一个周期点两个工夫点的数据，并没有充分利用整个工夫序列的变化趋势，所以为了解决这类问题，咱们采纳工夫序列预测算法三次指数平滑来预测数据，并与实在值进行比拟来达到异样告警的目标。
时序预测 - 三次指数平滑
应用时序预测模型之前，咱们要依据本人的数据特定来抉择适宜的模型，咱们能够先察看数据是否有趋势性、周期性等。
Hot-Winters 是指数平滑法，属于和谐均匀的一种形式。历史数据工夫越久，对以后预测值的影响比重呈指数递加，但所有的历史数据都会对以后预测值产生影响，这样就可能利用整个工夫序列的变化趋势。
实际上咱们只须要依据业务调整 α β γ 三个参数，使整体预测数据与实在数据的均方差最小即可，最终咱们的值别离取（0.8，0.2，0.2），能够依据预测数据的个性，应用不必的参数值来预测数据。
预测区间与异样判断
失去预测值与实在值之后，咱们须要判断数据是否异样。因为预测数值存在肯定的误差，所以咱们容许实在值在肯定范畴内稳定，因为预测区间基于误差值取得，当误差较小的时候，预测区间很小，会造成肯定水平的误报。依据对预测后果进行剖析，当计算出来的误差预测区间为[a* 实在值, b* 实在值] 时，最终抉择的误差预测区间为[min(-0.06,a)* 实在值, max(0.06,b)* 实在值], 来放大误差较小状况下的预测区间，缩小误报的状况。
在发现数据异样之后，咱们须要实时剖析进去实时数据异样的起因，这里咱们预设了一些指标的剖析维度，采纳同比、环比等简略的形式疾速剖析可能的起因。
总结
基于以上实践，咱们大抵解决了离线的根因剖析与实时数据异样告警剖析。每个公司业务和资源的不同能够采纳不同的分析方法，能够依据资源应用简略的形式，也能够应用机器学习等等绝对简单的剖析方法。具体实现并不是越简单越好，简略的形式办法也可能比拟精确高效。
当前可能有更多的数据智能化场景，整体都离不开降本增效，晋升数据应用效率，大道至简。
上一篇《数据系统架构 -6.BI 数据展现平台》
