关于程序员:民生银行场景化数据中台是如何炼成的

7次阅读

共计 4141 个字符,预计需要花费 11 分钟才能阅读完成。

简介: 数据中台的建设是一项系统性工程,从组织架构、撑持技术到流程标准,既要有宏观的顶层设计,又要有强有力的落地执行,数据中台的建设没有一劳永逸的方法,企业须要从策略层面进行更多思考,再配合抉择适合的数据中台服务商,方能在数据中台建设之路上走得稳当。

引言

银行是传统行业中非常重视信息化的,而且起步早,信息化水平高,然而因为技术的高速倒退,互联网思维的冲击使得银行纷纷面临数字化转型的挑战,这里的转型不仅是业务转型,也有技术转型。

现在,许多业务不必跑去网点、柜台,人们通过银行的手机客户端,动动指尖就能实现转账汇款、购买理财产品等,这些便捷的操作形式正是得益于银行的数字化转型。当然,数字化转型转并不只是外表上看到的业务转型,还有其背地的技术、组织架构和人的思维的转型。

银行始终是新技术的实验场,因其具备资金劣势和丰盛的客户类型,对于技术利用而言,有良好的用户根底,并能支撑住研发的资金投入。然而银行业面临的痛点也很显著,国内银行业同质竞争十分重大,业务类型、监管规范、客户群体都高度重叠,然而流程却各不相同,因为流程的背地是组织构造和部门利益,各个银行之间部门设置和职责边界都是有差异的,这种差异会间接体现在系统结构上。银行都在谈转型,但真能大刀阔斧改革,并不容易。

民生银行场景化数据服务中台就是在数字化转型的大背景下诞生的,正因为此次中台实际的胜利, 民生银行场景化数据服务中台也被云计算开源产业联盟选为“2020 云原生利用十大优良案例”。

银行为什么要建数据中台?

一般来说,数据中台是指通过数据技术对海量数据进行采集、计算、存储和解决,同时统一标准和口径,造成全域级、可复用的数据资产核心和数据存储能力核心,造成大数据资产层,进而为客户提供高效的服务。

数据中台构建的服务具备“可复用性”,每项服务都像一个积木,能够随便组合,灵便高效地解决前台的个性化需要。其核心理念是“让所有业务数据化,所有数据业务化”。与传统数据平台相比,数据中台着眼于业务的积攒和积淀,构建了从数据生产到生产、生产后数据返回到生产的闭环过程。

银行为什么要建数据中台?

近年来银行经营压力继续增大,为了寻求新的增长点,各条业务线提出了诸多个性化数据分析和服务的诉求,在没有数据中台时,要满足诸如个金、私银、小微、公司、供应链、资管等诸多业务线的数据需要,数据分析师和工程师须要在后盾数据仓库上实现 T + 1 的数据加工,而后将数据文件推送给各个业务前端零碎,每个业务前端零碎都维持一个小规模的数据团队,专门负责将数据文件转化为本人畛域内的数据服务,实现业务需要。这种模式下有几个显著的痛点:

痛点 1: 存储节约大。数据以文件形式散发到各个上游零碎,均须要占用大量贵重的存储空间,特地是通用数据(例如用户属性标签等)的存储和服务,亟需集中化的存储和服务撑持,并且须要“云化的异构存储能力”撑持。

痛点 2: 传递效率低。文件式数据利用链路以 T + 1 批量为主,全量数据“一股脑”加载进本地利用库,数据获取的效率远低于通过服务“按需”调用获取指定内容,数据中台为了反对前端各具业务特色的数据利用场景,须要“微服务”撑持。

痛点 3: 人力投入大。尽管每个业务前端零碎只维持一个小规模的数据团队,但银行前端业务零碎泛滥,整体投入不容忽视,并且很多方向并没有对应的数据团队,因而很多业务数据上的一些思路和诉求,迭代较慢,在技术上须要“云化的部署经营能力”撑持。
**
痛点 4:** 管控力度弱。目前的文件式数据利用形式,文件传送进来后,短少无效的管控伎俩,无奈精确答复数据如何应用、应用频次等问题,数据的价值很难评估,这就须要思考“云化的合作治理能力”建设。

“微服务”、“云化的异构存储能力”、“云化的部署经营能力”、“云化的合作治理能力”是数据中台解决目前金融业数据利用痛点的思路,将数据服务集中进行开发和解决,盘活数据,让数据在线。

数据中台体系技术计划

民生银行数据中台体系采纳“微服务 + 云化技术”作为根底技术架构选型,外围运行模式由 Engine 引擎体系、Service 服务体系、Open 路由体系、Plus 管理体系各类专项组件协同运行实现:

联合民生银行现阶段业务经营的迫切诉求,阿里云从技术平台和数据交付两个层面为民生银行制订了架构设计路线。

在技术平台层面,通过微服务架构实现数据及模型的服务化,便于间接在零碎上高效对接,联合技术组件特点和场景特点实现服务的标准化,造成规范的交付模式,进一步在技术上造成可配置化的服务框架,疾速生产场景数据服务。在底层技术上,因为中台数据服务的集中化建设,底层采纳分布式以及云化的相干技术实现根底层建设,让服务更高效牢靠地公布、运行并可管控。

在交付的内容层面,将团队组织架构配合场景数据规范分区,造成小队麻利的交付模式,进步业务交付效率。在对立的平台工作规范和模式下,积淀共性数据内容,畛域内造成工具、数据的复用,做到在灵便高效交付的同时,实现降本增效。

民生银行数据中台外围运行模式如下图所示。

数据中台外围模块运行模式

首先,由 Engine 引擎体系实现对数据能力、模型能力的形象封装,以应答不同场景的智能数据需要。

其次,Service 服务体系实现引擎形象能力与理论业务数据的联合利用,通过微服务模式灵便搭配,打造具备业务属性的数据服务产品。

第三,通过 Open 体系(OpenAPI、OpenFILE、OpenMSG、OpenCFG)实现对业务零碎与业务人员的疾速赋能。最初,Plus 管理体系实现微服务云化治理、数据资产目录、数据可视化等对立治理性能,并通过 DevOps、容器、高性能数据拜访缓存等前沿技术组件实现数据服务高并发、高可用、弹性部署等技术能力的晋升。

引擎、服务、路由协同运行,兼顾治理,独特打造了场景化金融数据服务能力。从数据指标、数据决策、智能举荐、智能模型等多个层面提供了立体化的疾速反对,为金融业务数字化、智能化转型降级的重要撑持。

异构分级存储计划

数据中台撑持的金融业务场景多样,民生银行联合数据利用特点、数据存储组件能力、运维服务级别等因素,构建了一套异构大数据存储组件的分级利用体系,在大数据存储组件服务能力和业务场景诉求间获得均衡,舍短取长,依据场景抉择适合的存储组件,灵便组合、插拔式应用。

以惯例的数据分级存储计划为例,如下图所示,引入 Redis 作为对立缓存,屏蔽上级组件服务性能稳定,通过数据业务日期进行宰割,近期数据存储在 MySQL,提供 7*24 小时的运维服务保障撑持,历史数据存储在 HBase&SDB 等大数据存储组件,提供弱小的服务能力和程度扩大能力。

数据中台云原生利用实现两个“易”

金融畛域里,数据中台云原生应用服务的特点绝对明确:

一是让业务需求方真正可能感触到数据“易用”,数据可能间接输入到零碎、可能在线闭环、可能疾速麻利迭代开发。

二是在技术平台层面,集中的平台要面对不同业务条线、业务零碎以满足他们的数据服务诉求,平台本身也具备撑持多样化需要的能力。

1、技术平台上“易”

数据中台扭转过来数据以文件输入的模式,将数据、模型等服务化,可能直连场景,便于造成在线的数据闭环。针对不同的数据服务场景,联合技术分级,按分级造成规范交付模式。通过标准化后,在开发上也形象数据服务框架,联合“微服务 + 云化”撑持,以及配套 DevOps 体系欠缺,最初达到通过配置即可产生新的数据服务,提高效率,同时也便于品质管控。

2、交付内容上“易”

数据中台能够实现交付麻利化,疾速满足业务需要,数据经营和经营实质就是一个不停迭代往前的过程,通过标准化、配置化的技术平台,依照条线畛域配置矩阵式的人员交付工作模式。通过数据服务的集中开发和服务管控,通过集中监控去量化数据价值,精确理解数据应用的情况,并最终实现成绩共享化。

更多翻新摸索

民生银行数据中台体系在践行云化架构思维上,联合金融畛域数据服务特点,进行了三个方面的翻新摸索:

  1. 平台层面打造一站式的数据服务云化 DevOps 工作台

外围模块“数据服务云平台”与“场景化数据存储组件”联结打造具备服务场景化治理、技术框架灵便插拔、运维工具丰盛全面的“云化开发”、“云化存储”、“云化公布”、“云化运维”的一站式工作台。

  1. 治理层面提出一套场景金融服务治理计划

民生银行依据本身业务经营情况,采纳“场景分区 + 技术分级”计划,保证数据中台服务在业务场景高交付下做到可治理、可管制,可能长期有序运行。

  1. 组件层面提出一套异构组件分级利用计划

金融数据利用特点、数据存储组件能力、运维服务级别等因素,民生银行数据中台构建了一套异构大数据存储组件的分级利用体系,在大数据存储组件服务能力和业务场景诉求间获得均衡,舍短取长,并能依据场景抉择适合的存储组件,灵便组合、插拔式应用。

场景化数据中台的成果

数据中台是连贯前台和后盾的外围资源。通过为前台提供弱小的“能力炮火”反对,能够将后盾零碎中须要频繁变动或前台须要间接应用的业务能力“提取”到中台层,赋予这些业务能力更高的灵便度和更低的变更老本。

民生银行建设场景化数据中台的成果非常明显:首先是数据能力的晋升,围绕数据指标在线化、实时化,算法模型服务化,凋谢更多大数据能力,将数据利用形式由后盾向中台化、服务化演进,间接为业务赋能;

其次是交付效率的晋升,联合业务场景,将散布在不同模块和组件中的数据服务对立治理、布局服务形式和规范,对立服务调用形式,对立开发框架,对立缓存机制和辅助开发工具,缩短新产品开发周期,晋升了交付效率;

三是运维效力的晋升,采纳阿里云微服务 + 基于 Docker 容器的云化技术,利用的部署、启动、降级、进行、蓝绿公布、弹伸缩等运维操作一键化,实现性能及服务的灵便打包部署,构建地位通明的集群服务体系,升高畛域繁冗的数据利用运维老本。

最初是治理效力的晋升,在对立的平台工作规范和模式下,积淀共性数据内容,畛域内造成工具、数据的复用,做到在灵便高效交付的同时,丰盛了治理抓手,实现提效降本。

总结

数据中台的建设是一项系统性工程,从组织架构、撑持技术到流程标准,既要有宏观的顶层设计,又要有强有力的落地执行,数据中台的建设没有一劳永逸的方法,企业须要从策略层面进行更多思考,再配合抉择适合的数据中台服务商,方能在数据中台建设之路上走得稳当。

正文完
 0