陈雷 | DataPipeline 合伙人 & CPO
曾任 IBM 大中华区认知物联网实验室服务部首席数据科学家、资深参谋经理。十年治理教训，十五年数据迷信畛域与金融畛域教训。综合交通大数据利用技术国家工程实验室产业翻新部主任，西安交通大学软件学院大数据智能翻新核心主任，中国电子学会区块链专委会委员。
上周咱们公布了“实时数据交融之道，博观约取，价值驱动”，文章提到实时数据既要全面笼罩能被利用的各类数据，也要基于价值分清先后顺序；既要高效开释数据价值，也要选好抓手、切入点。而触客业务因为间接与支出相干，无疑成为实时数据最好的切入点。也正因为其重要性和敏感性，所以大家更为关注实时数据交融过程中的稳固高容错。
不论是绝地求生还是企业级零碎，稳固输入都是最重要的。
上下游不稳固时，你得稳固
实时数据在获取与加载过程中，上下游节点个别都是注册机制而不是纳管机制，零碎很难实时感知到上下游节点的理论状态和产生的问题，在理论企业环境中，实时数据交融的上下游节点往往在业务连续性和服务级别上高于实时数据交融零碎，因而，实时数据的解决须要遵循上下游节点的管理机制，例如认证形式、平安加密形式、连贯时长、最大连接数，甚至于日志模式也须要你来适应，更不用说上下游节点可不止一种类型，在充沛调研筹备和依赖管理机制之外，须要实时数据交融具备足够的策略配置与容错机制来应答上下游零碎不稳固带来的不确定性，从而保障本身的稳定性。
构造不稳固时，你得稳固
上下游节点咱们稳住之后，你就须要思考节点外部对象不稳固的问题了，也就是所谓的 DDL 问题，起因同上，可能在一些信息化程度较高的企业中，任何的数据结构调整须要首先在数据管控平台进行影响剖析，告诉所有上游零碎联调测试后对立上线切换，可这毕竟是他人家的孩子，到了本人家，还有各种各样的起因会呈现。上游系统结构变动是在你意想不到的时候呈现的，而上游零碎嗷嗷待哺，定责分锅那是前面的事，先得保障业务不能停，因而就要求实时数据处理须要可能提供欠缺的构造变动应答策略，而针对不同的数据节点类型和增量获取机制，构造变动的感知形式也不尽相同，有的简略高效，有的老本极高，这又须要实时数据交融可能依照不同的场景进行取舍与配置，从而保障本身的稳定性。
流量不稳固时，你得稳固
一开始解决实时数据时，咱们往往把实时数据与交易数据，行为数据等时序数据挂钩，而在理论企业环境中，往往会呈现局部零碎某些状况下大面积更新操作，上游增量会忽然增大，平时他宁静得像山间的小溪，一转脸它变成了壶口的黄河，所以实时数据的流量往往和上游利用零碎、数据模型、数据管理机制的设计无关，而不能仅仅基于交易量进行评估，在准确的容量评估与资源筹备之外，还须要思考资源的利用率和老本问题，因而就要求实时数据交融领有弱小的反压解决机制和灵便的读取、写入限度配置，能够通过管制读取速率、并行度、批次大小的形式，实现增量数据反压的解决，从而保障本身的稳定性。
环境不稳固时，你得稳固
一般来说，企业级环境中网络、存储、计算设施的稳定性还是能够保障的，但我敢保障，就像每个谢顶的程序员都有那么几个加班的夜晚一样，每个运维工程师都能讲几个零碎莫名其妙出问题又莫名其妙就复原了的灵异故事，因而就要求实时数据处理可能提供预设策略在无打算的网络不可用、呈现未知异样等状况下进行从新连贯，重置线程乃至重启工作等自动化操作，从而保障本身的稳定性。
——好稳呀，不过领导，这么多配置，这得搞多长时间呀？
——工夫？工夫是没有的。咱们什么时候有过工夫？所以你再往下看。
下一期咱们将从配置便捷、部署便捷、分层治理、按需服务四个方面详谈“ 实时数据交融之法，便捷可治理 ”，请大家继续关注！