一、背景介绍目前实时数仓提供的投放实时指标优先级别越来越重要，不再是独自的报表展现等性能，特地是提供给上游规定引擎的相干数据，间接对投放经营的广告投放产生间接影响，数据提早或者异样均可能产生间接或者间接的资产损失。
从投放治理平台的链路全景图来看，实时数仓是不可或缺的一环,能够疾速解决海量数据，并迅速剖析出无效信息，同时反对投放治理平台的手动控盘。实时节点事变，将可能导致整个投放链路无奈失常运行，另外，投放规定引擎是自动化操作，服务须要24小时运行，所以须要配置及时无效的数据品质监控预警，能疾速辨认到稳定异样或者不合乎业务的数据，从而打算引入混沌工程，心愿能够通过被动注入故障的形式、尽可能提前感知危险、发现潜在问题，并针对性地进行防备、加固，防止故障产生时所带来的严重后果，进步实时数仓整体抗危险能力。
二、演练范畴为了能更粗疏反馈出混沌演练状况，依据演练的内容不同，将实时数仓混沌分为两局部：技术侧和业务侧。
技术侧混沌：基于中间件、数据库、JVM、根底资源、网络、服务等注入常见的异样，依据理论业务中梳理的利用外围场景进行混沌演练，测验零碎的脆弱性和应急响应能力，从而晋升团队的稳定性保障解决能力。
业务侧混沌：对于电商流动密集型的公司来说，各种达到率、曝光率，以及更加宏观的 GMV、用户拉新数、用户号召数等，都能体现出业务的衰弱水平，在理论生存中，为了形容一种稳固状态，咱们须要一组指标形成一种模型，而不是繁多指标。无论是否采纳混沌工程，辨认出这类指标的衰弱状态都是至关重要的，所以要围绕它们建设一整套欠缺的数据采集、监控、预警机制，当业务指标产生稳定较大时，咱们能搞疾速感知、定位、修复止血。
过往数仓混沌工程均是技术侧，此次在投放链路已搭建实现主备链路的前提下，冀望通能够通过多轮业务侧混沌，进步零碎整体的数据异动感知能力。
三、演练打算工欲善其事，必先利其器，在执行混沌演练前，须要筹备好前置工作，制订正当的演练SOP、计划、打算，对演练环境、脚本、数据、工具，场景及爆炸半径等进行可能性评估，在确认可行性ok的状况下，约好关联方工夫，再进行实际操作。
本篇次要和大家分享基于业务侧的实时数仓混沌演练过程：
1.编写演练SOPSOP是一种规范的作业程序，就是将某一事件的操作步骤和要求，进行细化、量化及优化，造成一种规范的操作过程，对于业务侧混沌，尤其是实时数仓数据相干的演练，咱们也是第一次做，目前在业界也没有找到相干的演练领导参考，处于摸索阶段，为了不便我的项目进度的顺利进行及后续演练操作更加标准、高效，在演练后期大家通过沟通、探讨后，项目前期梳理的SOP演练模板，如下：
2.演练计划调研先收集实时数仓投放链路外围指标范畴，在此基础上，拉取一段时间内的历史数据进行剖析，找到每个指标对应的衰弱稳定阀值，从而在配置相应的DQC规定监控，对于稳定不在衰弱阀值的异样指标，在分钟级别（预期15min）内及时告警，并疾速排查响应。为此，在演练后期，咱们经验过一系列的计划调研、摸索，如下：
「下文提供的计划，指标数据都是以设施激活数为例进行剖析」
计划一: 依照天维度，收集最近一段时间，同一天每个整点设施激活数，占当天大盘占比，统计出最小值、最大值，作为该指标的衰弱稳定阀值;
计划二: 依照天维度，收集一段时间内，同一天相邻整点指标稳定数据找法则，比方每天上午9点到10点的稳定数据，而后别离通过一系列的数学散布办法进行数据统计，从而心愿找一个绝对稳固的稳定区间；
计划三: 依照天维度，收集一段时间内，相邻天整点指标稳定数据找法则，比方昨天上午9点到前天上午9点的稳定数据，而后别离通过一系列的数学散布办法进行数据统计，从而心愿找一个绝对稳固的稳定区间；
计划四:在后面三种计划的根底上，指标在工作日和周末的稳定可能不一样，所以咱们在日维度统计的根底上，咱们也调研了周维度同比稳定散布状况，比方每周一上午9点到上午10点的稳定数据，而后别离通过一系列的数学散布办法进行数据统计，从而心愿找一个绝对稳固的稳定区间；计划五:同理，咱们也调研了周维度环比稳定散布状况，比方本周一上午9点到上周一上午9点的稳定数据，而后别离通过一系列的数学散布办法进行数据统计，从而心愿找一个绝对稳固的稳定区间；计划六：基于主备链路，在source源雷同的状况下，通过实时数仓计算出的指标，在同一段时间两条链路sink进去的后果数据，失常应该是保持一致，或者稳定较小，比方10分钟提早的主备链路，稳定不超过10%，均匀差别做到一致性做到90%以上。计划1到5，都尝试过一遍，每个计划场景数据通过最大值、最小值、平均值、各百分位散布、方差、标准差等统计进去的数据分析，很难找到一个相当稳固的稳定法则，也无奈框定指标具体的阀值区间，理论演练过程，如果设置的稳定告警阀值过大，实在生产上业务数据稳定异样时，无奈及时告警发现；设置过小，将导致告警频繁，对其准确性、有效性可能存在质疑，而且，实时投放的外围指标有几十个，每个指标对应的衰弱阀值都不一样，要收集、剖析老本十分高，从演练的成果上看，也不是很显著。
整体评估下来，演练次要采纳的是计划六：波及到的实时投放外围指标数共收集29个，一段时间内（15min），主备链路指标稳定差别不超过10%。
3.演练形式红蓝反抗演练，将团队分为红（防）蓝（攻）两组。
测试人员组成蓝军：负责制订混沌演练计划，执行指标零碎故障注入，具体记录演练过程；
实时数仓开发为红军：负责发现故障、应急响应、排除故障，同时验证零碎在不同故障场景下的容错能力、监控能力、人员响应能力、恢复能力等可靠性能力。
四、演练流程整体演练过程，大抵分为三个阶段：筹备阶段、攻防阶段及复盘阶段。
1.筹备阶段计划筹备完评审通过后，确认好链路打算；蓝军按计划依据当时制订的攻打计划，提前准备好相应的测试数据、脚本；红军按计划依据当时制订的攻打计划，在演练前，提前确保环境可用，并进行监控进攻、应急响应措施。2.攻防阶段蓝队依据当时制订的攻打计划，模仿实在的攻击行为，依照约定的工夫在演练链路（备用链路）进行攻打，进行故障注入，同时记录好相应的操作步骤，不便后续报告梳理；红队在蓝军攻打后，通过飞书/邮件告警等告诉形式实时关注监控零碎运行状况，如有异样告警，需第一工夫进行问题排查定位，在评估修复计划；在攻防反抗的过程中，蓝军可依据红军的进攻措施进行调整和改良攻打策略，尽力冲破零碎的进攻并达到既定目标，同时红军也可剖析蓝军的攻打手法和行为模型，不断改进进攻措施来增强进攻。3.复盘和改良阶段在混沌演练完结后，进行总结和评估，剖析红队和蓝队的体现，评估零碎的安全性和抗攻击能力；总结经验教训，总结胜利的进攻措施和失败的攻打手法，以便于改良零碎的安全策略；依据评估后果和总结经验，制订改良打算，修补零碎中的破绽和薄弱点，晋升零碎的抗危险能力。五、攻防实战本次演练共计有29个指标稳定case，整体演练操作大同小异。
以其中case17 “召回商品珍藏uv在某个渠道下整点稳定异样”为例，具体的演练操作流程如下。
1.数据筹备通过后盾数据库，拉出生产主(备)链路，某个渠道（如media_id = '2'）下某个整点（如hour = 10）下，召回商品珍藏uv对应的整体统计值N。--渠道小时整点维度下，商品珍藏uv汇总数据 select `指标名称`, `日期`, '2' as `指标ID`, `小时段`, sum(`指标值`) from table_a where date = date_format(now(), '%Y%m%d') and `指标名称` in ( '商品珍藏uv' ) and `小时段` = 10 AND `指标id` = '2' GROUP BY `指标名称`, `日期`, `小时段` order by 指标名称;拉出备用链路，某个渠道（如media_id = '2'）下某个整点（如hour = 10）下，具体的一条明细数据，记录商品珍藏uv对应的值为n,把n改为n+0.1N,后续注入进备用链路，从而使得主备稳定差别在10%。-- 明细数据 select t.指标名称,t.账户id,t.打算ID,t.设施类型,t.指标值 from ( select `账户id`, `打算id`, `指标名称`, `指标值`, `设施类型` , row_number() over (partition by 指标名称 order by 指标值 desc ) as rn from table_a where date = date_format(now(), '%Y%m%d') and `指标名称` in ('商品珍藏uv') and `设施类型` = '召回' and `小时段` = 10 AND `指标id` = '2' ) t where t.rn = 1 ORDER BY 指标名称;整顿后失去须要注入的数据数据，见标黄局部。
...