起源 / 民生银行总行科技大数据管理部
转载 / 中国电子信息产业倒退研究院赛迪网
近日，由中国电子信息产业倒退研究院领导，赛迪传媒、大数据产业生态联盟主办的 2021（第六届）中国大数据产业生态大会圆满落幕。会上重磅公布了“《2021 中国数字化转型生态建设百佳案例》（以下简称《百佳案例》）”，「DataPipeline 助力民生银行构建实时数据管理体系」案例胜利入榜。
《2021 中国数字化转型生态建设百佳案例》笼罩数字政府、金融科技、智能制作等多个行业，旨在甄选集结具备先进性、创新性和示范带头作用的企业数字化转型倒退和利用优良案例，凝练数字化转型的胜利先进经验，建立行业典型。作为各中央政府深入数字化转型重点行业利用的备选库, 此次提拔的《百佳案例》将呈报国家相干主管部门, 为其提供决策参考根据, 全力撑持中央政府数字化转型工作的推动。
拥抱实时数据管理，是数字化翻新降级的必然选择
诞生于 1996 年的中国民生银行，曾经在 24 年的历程中实现了规模与效益的迅猛发展。民生银行实现高速增长，这与由上至下保持数字化转型策略密不可分。
民生银行是国内第一批发展数据仓库建设的商业银行，从 2013 年开始又启动了基于 Hadoop 平台的数据利用体系建设。民生银行具备较为成熟的批量数据处理能力，具体表现在架构清晰和分工明确的批量剖析体系，针对批量数据处理场景的数据采集、计算、任务调度、存储、下发、开掘、数据服务各环节，已具备了成熟的技术计划和欠缺的标准。近年来，经营治理部门对大量的经营指标和客户视图等信息的获取、反欺诈和反洗钱等重点畛域的决策分析，都对数据管理提出了从批量降级到实时、准实时的要求。为解决上述重难点问题，民生银行大数据管理部于 2017 年启动实时数据体系建设，以无效撑持监管、风控、营销、经营剖析等利用场景。
随着数据利用的深刻，行内业务部门一直提出更综合的实时数据加工需要，新需要的加工复杂度继续升高、应用场景继续扩大、交付效率继续放慢、经营品质要求继续晋升。为晋升实时数据撑持能力，民生银行开始从“平台、数据、利用”三个方面进行实时数据体系建设。该体系须要交融 IBM DB2、MySQL、Kafka、Redis、GaussDB、SequoiaDB、HDFS 在内的多种数据根底组件，实现对次要交易系统每日产生的数亿条数据的整合。
构建灵便高效的实时数据平台，最大化数据价值开释
民生银行采纳数据分层模式进行实时数据处理，将实时数据分为源数据层、规范层、应用层三层。源数据通过荡涤、转换、格式化、维度补充等操作进入规范层 Kafka 队列，实时工作生产规范层的数据进行指标计算或事件加工，写入后果层对应的 Kafka 队列，这样就将外围业务逻辑与源端数据解耦，外围指标计算和决策分析逻辑的开发就能够应用民生技术体系中提供的低代码组件实现，这样能够大幅度降低开发门槛，晋升响应速度。
在实时数据预处理和应用层数据同步方面，民生银行通过产品调研、可行性剖析、POC 验证，抉择 DataPipeline 数见科技作为合作伙伴共同完成实时数据同步管道组件的施行，次要起因为：一是，目前金融行业进入了一个基础设施疾速迭代的期间，民生银行也正在踊跃验证引入各类开源和商业化根底组件满足数据方面需要，DataPipeline 数见科技是一家专一于提供企业级异构数据交融解决方案的公司，可能继续跟进行业内计算资源、操作系统、数据库、中间件等方面的变动，继续对合作伙伴的需要进行反对；二是，DataPipeline 企业级实时数据交融平台的性能和性能，可能很好地满足民生银行以后在实时数据预处理和同步方面需要，产品除了反对丰盛的数据源，在工作的资源管制、状态监控、异样解决和复原等方面设计正当，易于与行内已有数据管理和集中监控系统集成。以 DataPipeline 产品为根底，绝对基于开源组件自研的计划能够减速我的项目施行、降低成本。
民生银行最终构建起数据全面精确、治理麻利智能、链路稳固高容错的实时数据管理平台。该平台被形象为“数据节点、数据链路、交融工作及系统资源”四个根本逻辑，无代码工作、业务导向构建，实时数据需要的研发交付工夫从以天计到以分钟计。同时，平台具备限度配置与策略配置两大类十余种高级配置，能够轻松应答简单的实时数据运行场景需要。其具备以下技术劣势：
- 多元异构
采纳基于日志的增量数据获取技术（Log-based change data capture），为各类数据翻新利用、数据中台、主数据管理、数据仓库、大数据平台，提供实时、精确的数据变动。 - 批流一体
通过对立平台同时治理异构数据节点实时同步与批量数据处理工作的定义，部署，执行、监控。提供对立的谬误队列治理、预警机制、日志治理。 - 分布式计算
容器化集群提供读写拆散的资源组定义、治理、调配，可动静扩缩容，所有组件均反对高可用，可程度垂直动静扩大。
实时数据管理平台架构
民生银行存储在多种数据库中的异构数据被买通，海量的数据被汇聚、散发。近百个实时数据工作将客户行为等实时数据进行标准化补全并散发到生产计算方，用于各类实时数据加工场景。同时，搭建根底平台的研发老本与运维老本大大降低，工夫精力与优质资源可充沛投入到数据价值开释与商业价值实现下来。
以后及将来一段期间，数据都是银行最为重要的资产之一，是反对精细化治理、实现差异化服务、增强业务翻新、晋升危险剖析能力的根底。为放慢撑持业务数字化转型，民生银行将以业务指标为驱动，以数据利用效力为优先思考因素，通过数据与技术驱动金融产品服务翻新，为业务提供立体化的疾速反对，直面客户、赋能场景。
点我理解 DataPipeline 更多信息并收费试用