12 月 17 日，由中国信息协会大数据分会主办的“2021 中国大数据技术利用大会”在北京圆满闭幕。来自中国信息协会、中国工程院、国家信息中心、中国软件评测核心、中国金融认证核心等的权威专家、知名企业代表缺席本次大会，对大数据的需要、利用和产业倒退进行了深度探讨。大会重磅公布“2021 中国大数据利用样板 100 例”，「DataPipeline 助力山东城商行联盟构建企业级数据库准实时数据采集零碎」案例胜利入选。
《2021 中国大数据利用样板 100 例》意在表彰 2021 年度施行的重点大数据标杆案例，案例信息将被呈报到国务院各直属机构信息中心、各省市经济和信息化主管部门、各大央国企等龙头企业、国家及省级产业联盟协会等，为相干部门提供数字化转型计划利用范本及决策参考，并起到行业示范引领效应。
实时数据管理，业务翻新倒退必然保障
作为全国惟一持有金融牌照的中小银行金融科技服务公司，山东城商行联盟为中小银行提供全方位的信息科技解决方案以及多元服务，致力于打造赋能中小银行、凋谢共享的金融科技生态平台。
山东城商行联盟认为，中小金融机构是普惠金融的次要力量。以后经济社会互联网化、数字化水平正在疾速加深，普惠金融的生产模式和金融服务供应模式正在产生粗浅变动的局势下，只有借助金融科技的力量，实现传统普惠金融服务与治理、经营模式向数字化普惠金融的转变，能力无效获客、无效管制传统模式下难以管制的金融风险，能力进步普惠金融的服务触达范畴和能力，进而实现普惠金融的可继续倒退。
通过 10 多年的电子化倒退、信息化建设，山东城商行联盟积攒了海量的数据，如何利用好这些数据成为了联盟应答新局势挑战、谋求转型倒退的重要课题。绝对于大型商业银行，升高经营老本、晋升客户体验、进步营销能力等转型工作对于以山东城商行联盟为代表的的城市商业银行在科技翻新倒退上更为要害。
随着数据利用的深刻，成员行业务部门一直提出更简单的实时数据加工需要，新需要的加工复杂度继续升高、应用场景继续扩大、交付效率继续放慢、经营品质要求继续晋升。为晋升实时数据撑持能力，山东城商行联盟开始启动实时数据体系建设。该体系须要实现综合业务零碎 CBUS、外联业务解决平台 XBUS、ESB 服务总线、电子银行等零碎的数据实时采集、同步、散发。如何买通 Oracle、IBM DB2、MySQL、Kafka 等多种数据管理技术，实现每日产生的数亿条数据的整合，成为联盟亟待解决的问题。
携手 DataPipeline，构筑全域数据管理根底平台松软底座
山东城商行联盟在过往服务成员行过程中，业务端在取数时，首先须要将各数据源通过 CDC 模式将数据实时同步至两头库；其次，源端数据同步至两头库后，通过 CDC 实时下发至各个上游用数方。在该过程中，因为上游发版频繁，两头库的数据结构均须要相应变动，数据同步过程中系统维护工作量较大地影响了数据利用方的取数时效性。为了可能更好地服务联盟成员行，山东城商行联盟须要从新构建对立的数据库准实时数据采集零碎，实现通过数据流平台近实时地向各外围零碎供数的目标，进而及时高效地反对成员行的经营、市场、销售等实时业务需要。
企业级数据库准实时数据采集零碎架构图
山东城商行联盟通过产品调研、可行性剖析、POC 验证，抉择 DataPipeline 数见科技作为合作伙伴共同完成数据库实时数据采集零碎我的项目的施行。其次要起因为：DataPipeline 企业级实时数据交融平台可实现数据的秒级实时采集，产品具备对立易用的人性化操作界面，丰盛的配置策略可实现对资源的高效充分利用，产品同时具备标准化遵循与前瞻性判断前提下的凋谢可扩展性，当然最重要的是其金融级的稳固高容错能力。DataPipeline 助力山东省城商行联盟构建的企业级数据库实时数据采集零碎对于推动联盟实现数字化转型、数据规范化和集约化治理、赋能企业经营及加强其长久外围竞争力具备重要意义。计划技术亮点包含：
>> 稳固高容错
具备足够的策略配置与容错机制来应答上下游零碎不稳固带来的不确定性。
1. 提供欠缺的构造变动应答策略，可能依照不同的场景进行取舍与配置，从而保障本身的稳定性。
2. 领有弱小的反压解决机制和灵便的读取、写入限度配置，能够通过管制读取速率、并行度、批次大小的形式，实现增量数据反压的解决，从而保障本身的稳定性。
3. 提供预设策略在无打算的网络不可用、呈现未知异样等状况下进行从新连贯，重置线程乃至重启工作等自动化操作，从而保障本身的稳定性。
>> 便捷可治理
具备配置便捷，部署便捷，分层治理，按需服务的可治理个性。
1. 配置式链路定义，无代码工作构建，运行治理，运维治理配置化，从原有的研发模式转变为系统配置管理模式。
2. 容器化部署、系统资源注册、负载平衡机制和高度配置化的系统资源分组治理。
3. 对数据节点注册、数据链路配置、数据工作构建、零碎资源分配等各个环节可能分档次、分用户进行解耦。
4. 将数据获取的范畴、数据工作的生命周期、系统资源投入的多寡等配置交给应用数据的人员。
>> 凋谢可扩大
凋谢可扩大的前提在于标准化的遵循与技术趋势的前瞻性判断。
1. 适应不同的数据管理技术，为用户提供基于开放式、国内通用规范的自定义数据节点。
2. 反对不同类型数据节点标准化语义定义，多元异构语义交融，用户能够自定义节点间语义转化关系，保障实时数据交融过程顺利无效。
3. 将三类配置解耦，能够在不扭转根本逻辑架构的状况下，实现配置和性能的良好扩大。适应实时数据交融管理机制的一直倒退。
向实时数据要效益，激发经营与治理数智化再降级
自我的项目施行以来，零碎实现 Oracle、IBM DB2、MySQL、Kafka 等多种数据库近实时的数据采集性能，并对数据源建设高效的治理性能，实现对数据源、目的地的数据连贯对立治理治理，通过界面进行数据源与目的地注册，删除数据源，同时依据需要一直迭代反对新的数据库。
利用解析数据库归档日志的形式，零碎实现秒级的数据变更捕捉，将解析的变更记录传送到数据目的地中，包含日志中提取数据变更的增、删、改等 DML 操作记录，以及新增表、删除表、增加字段、删除字段等主动同步到目的地中。
全域数据实时交融的价值愈发重要，是减速数据流通、从而晋升经营效率构建差异性竞争劣势的重要伎俩。该我的项目平台实现各零碎的买通与关联，笼罩多层次客户服务体系，强化了线上业务服务和资产配置等综合实力。该项目标施行晋升了几十家成员行的获客能力和精准个性化服务水平，助力成员行经营与治理数智化再降级。同时，简略易用的数据同步机制能够升高应答各种实时数据利用场景的老本，进步数据的复用度，高效开释数据价值。
山东城商行联盟数据库准实时数据采集零碎的施行是保持市场驱动和翻新驱动，充分发挥技术和数据因素价值的具体体现，在业界又创建一个数据管理榜样并造成了可复制教训。将来，联盟也将进一步施展全域数据管理根底平台劣势，以“赋能中小银行，简略金融科技”为使命，判若两人为金融机构提供全方位、高水平的信息科技服务。
点我理解 DataPipeline 更多信息并收费试用