共计 2739 个字符,预计需要花费 7 分钟才能阅读完成。
「咱们曾经用起来了」,是咱们最喜爱听到的话,简简单单几个字的背地代表着沉甸甸的信赖和托付。咱们将通过 「置信凋谢的力量」 系列深度案例分享,从业务的角度,看看一个数据库为各行业用户带来的业务价值。本篇文章将介绍 TiDB 在扩大浙商银行数据架构体系能力幅员的实际。
数据驱动决策,让金融服务更高效。
浙商银行股份有限公司(简称“浙商银行”)是 12 家全国性股份制商业银行之一,致力于打造平台化服务银行,为客户提供凋谢、高效、灵便、共享、极致的综合金融服务。在英国《银行家》(The Banker) 杂志“2020 年寰球银行 1000 强”榜单中,按一级资本和总资产计,均位列第 97 位。截至 2020 年 6 月末,浙商银行在全国 19 个省(直辖市)及香港特别行政区设立了 260 家分支机构,实现了对长三角、环渤海、珠三角以及局部中西部地区的无效笼罩。
业务挑战
随着浙商银行业务的倒退和数据量的激增,国外商业数据库的数据处理和存储能力短板逐步裸露,原有的数据架构体系不能满足新业务场景的需要。在行业政策提倡下,借鉴金融同业的应用教训,浙商银行将眼光转向互联网宽泛应用的分布式数据库产品,启动专项选型工作。
浙商银行的指标是寻找一款可能承载海量数据的 OLTP 型数据库,反对残缺的分布式事务,提供金融级的高性能、高并发、继续高可用能力;在架构上能够弹性程度扩大,平滑地应答各类业务流量;同时具备弱小的生态体系,反对连贯各类数据利用生态。通过多轮竞品比照测试与利用兼容验证后,TiDB 数据库在扩展性、海量数据规模下的查问性能、事务完整性等考查项问题当先,浙商银行抉择 TiDB 分布式数据库扩大数据架构体系的能力幅员。
TiDB 解决之道
面向远期两地三核心的建设思考,浙商银行在杭州区域内双数据中心部署 TiDB 分布式数据库集群,应用数据五正本形式,将来可进一步扩大。目前已上线和投产三项利用:电信欺骗事件危险链查问(简称:电信反欺诈)、外汇交易治理和高管驾驶舱,并将逐渐延长到全行 ODS、互联网 C 端查问交易场景等业务畛域。
电信欺骗危险事件查问零碎
电信欺骗危险事件查问零碎保留全国范畴的电信反欺诈数据,包含交易的账户和交易金额等具体数据。零碎反对对可疑的交易进行查问和监测,剖析交易金额、笔数、类型、工夫、频率和收付款方等特色,发现异常交易,须要及时采取交易暂停等措施或者通报公安机关。
电信反欺诈零碎的单表数据规模曾经超过 20 亿条,日新增数据百万条,原有的 OLAP 数据库从数据规模到业务查问性能上都无奈达到业务预期。TiDB 具备弹性伸缩的能力,只需简略减少节点,整个零碎的性能和吞吐能力都能够失去线性晋升,反对海量结构化数据的存储和查问,SQL 查问的返回工夫从几十秒缩短到几十毫秒。利用 TiDB Lightning 数据导入工具,可实现单次下发数据文件内上百万条数据记录的疾速导入,满足业务的操作窗口需要。
外汇交易治理
基于外汇监管的要求,外汇交易管理系统须要实现外汇交易数据的采集、导入、存储、统计分析和数据挖掘等性能,相干数据要求长期保留,预计将来几年内数据规模将达到十亿级别。原先采纳的 Oracle 数据库,须要应用分区表的计划,导致运维治理和开发成本的回升。TiDB 的分布式个性能满足数据规模的扩大须要,弹性扩容能力能够实现数据的主动再平衡,对于业务齐全通明,不须要运维人员染指。同时,TiDB 的高可用机制提供异地多活的高可用能力,复原过程不须要人工操作,集群可能主动地实现容灾和保障强统一的数据恢复,让运维人员没有后顾之忧。
高管驾驶舱
高管驾驶舱是为行内管理层提供实时经营指标的剖析零碎,通过突破数据隔离,实时反映各类业务的运行状态,将采集的数据形象化、直观化、具体化,实现指标剖析及决策场景落地。浙商银行利用数据同步工具实时地将上游 DB2 等异构数据库中的数据变动写入 TiDB,同时将 TiDB 中的实时变更数据同步到上游 Kafka,Flink 从 Kafka 承受音讯进行流式计算,整个体系造成一个高效、易用的实时计算平台,实现银行各类业务经营情况的实时统计,并在可视化大屏进行展示。通过海量金融数据变动的在线捕捉和实时剖析,为银行各级管理人员提供业务决策依据,晋升服务效率。
将来场景摸索
分布式实时 ODS
TiDB 数据库具备大规模数据平台的服务能力,在数据层面实现 OLTP 零碎与 OLAP 零碎的闭环,集成 TiFlash 列式存储引擎之后,曾经成为真正的 HTAP 数据库(在线事务处理 OLTP + 在线剖析解决 OLAP),既能够作为数据源的业务数据库,进行业务查问的解决,又能够作为实时 OLAP 引擎,进行剖析型场景的计算。浙商银行外部有多个 OLTP 异构数据库,以 DB2 和 MySQL 为主,还有局部的 Oracle 和 SQL Server,各类异构数据库之间短少高效的数据同步伎俩,逐步造成了数据孤岛的状态。为应答各类业务对实时数据的需要,浙商银行打算在现有平台根底上进一步扩大,基于 TiDB 构建分布式实时 ODS(Operational Data Store,即时操作型的数据汇合),实现异构数据库中各类数据的准实时同步。TiDB 的增量数据同步工具 TiCDC 能够为上游数据生产端提供实时、高吞吐、稳固的数据订阅服务,通过凋谢数据协定与 MySQL、Kafka、Pulsar、Flink、Canal 等多种异构生态对接,满足大数据场景中对各类数据的利用与剖析需要。
互联网查问交易
浙商银行面向政企用户提供代发工资业务,每个月须要集中处理几千万笔流水,原有的业务数据库难以满足更长的业务保留期限,一方面,查问速度慢影响客户体验,另一方面,无奈与其余数据联动,后续浙商银行也将思考选用 TiDB 进行试点和代替。
为什么抉择 TiDB?
在性能层面,TiDB 反对残缺的分布式事务,同时实现海量规模数据的在线事务处理与在线剖析解决,提供金融级别的高牢靠与高可用,任何一个数据中心宕机,整个集群能够主动实现业务无感知的切换与复原。在架构层面,作为一款 NewSQL 分布式数据库, TiDB 采纳存储计算拆散的架构设计,可能更加高效地解决传统关系型数据库无奈解决的数据扩容难题,具备更为宽泛的场景适配能力。在运维层面,TiDB 兼容 MySQL 协定使得人员学习与开发等隐性老本显著升高;为业务经营人员提供灵便的查问界面,易于监控与保护。
与客户同行,置信凋谢的力量
每次数据库架构改善与落地,无论是 TB 级还是 PB 级,都须要付出致力,但这也值得每一个企业去实际。在当下这个时代,不论企业的规模如何,都要学会借助开源的力量,防止去反复的造轮子。每一个看似轻松的背地都有鲜为人知的致力,每一个看似光鲜亮丽的背地,都有鲜为人知的付出。分布式数据库建设之路道阻且长,TiDB 愿与浙商银行及每个客户一起,携手并肩把事件做好。