共计 2274 个字符,预计需要花费 6 分钟才能阅读完成。
为表彰应用大数据、人工智能等根底软件为企业、行业或世界做出杰出贡献和微小翻新的标杆我的项目,星环科技自 2021 年推出了“新科技 星力量”星环科技科技实际案例评选活动,旨在为各行业提供更多的优良产品案例,彰显技术扭转世界的力量,目前已胜利举办两届,收到了来自各界的积极参与。
第二届星环科技科技实际案例评选活动新增了“年度信创先锋之星”,通过产业界、学术界专家联结评审,最终评比出了“年度信创先锋之星”、“年度科技向善之星”、年度价值奉献之星”、“年度科技前沿之星”、“年度技术革新之星”五大奖项,并特此进行案例巡展。
本期巡展案例为取得第二届“新科技 星力量”星环科技科技实际案例评选活动“年度信创先锋之星”的江西金融倒退集团股份有限公司基于星环科技分布式数据库的互联网金融业务零碎实际。
企业与我的项目
江西金融倒退集团股份有限公司(以下简称“江西金发”)于 2016 年经江西省政府批准设立,是补位江西传统金融服务的产融联合综合型金融科技平台,公司逐渐构建担保增信为主导的多元化金融服务体系,聚焦以产融联合的模式助力中央建设。
江西金发充分发挥混合所有制劣势,强化数字化转型先天基因,以多元金融服务体系为根底,制订数字化框架顶层设计,通过更大投入、更实动作、更优机制推动数字化转型,助推江西省金融服务模式由“找钱”的传统模式向“钱找”的智慧模式转型,为江西省数字经济倒退做出踊跃奉献。
随同着公司业务体量的晋升,对数据库性能要求和自主可控的要求也越来越高,金发公司打算将所有业务零碎进行革新,对立采纳国产高性能分布式数据库来提供服务,同时为了进步数据的利用率,施展数据的价值,打算构建数据仓库与数据湖一体零碎来代替之前的开源大数据平台 CDH,为业务部门提供数据撑持。
我的项目背景与需要
江西金发的互联金融业务采纳互联网开发的技术栈,应用开源的 MySQL 作为对立的数据库建设计划,蕴含 200 多个实例,构建了一套面向互联网用户的高并发信贷业务零碎,并通过大数据风控技术晋升业务的安全性。
随着业务的增长,业务互联网特色更加显著,对高并发、低提早以及稳定性有了更高的业务要求。同时,随同着交易的增多,对风控剖析、报表等实时查问剖析需要也进步了要求,反对基于历史数据的实时查问与批量解决等,超过了单机 MySQL 的解决下限。从金融业务的敏感性来讲,对业务开发过程中的技术安全性也迫切需要改良,采纳国产化软硬件是必由之路。
通过对分布式数据库成熟度、先进性和行业案例等维度评估,最终抉择了星环科技分布式交易型数据库 KunDB 和分布式剖析型数据库 ArgoDB 作为技术解决方案,保障了国产数据库替换的正确性和低迁徙老本的同时,实现了性能、可靠性、实时性等维度的晋升。
解决方案
为满足业务高速倒退和自主可控需要,江西金发联结星环科技制订了具体的国产化零碎革新降级计划和布局,制订了严格的业务革新开发、测试和上线流程,保障数据库变更前后的品质,并造成了分布式数据库革新开发标准。在整体业务方面,原业务零碎中前置业务(对接第三方互联网金融平台的流量)、中台、风控外围业务等跟对公业务强相干的模块,均对接了星环科技分布式数据库。
江西金发基于星环科技分布式数据库的互联网金融业务零碎
利用成果
金发业务零碎与数据平台别离联合星环分布式交易型数据库 KunDB 与星环分布式剖析型数据库 ArgoDB 进行了革新开发,低成本实现了原零碎的平滑迁徙,实现了从数据库到操作系统到硬件的全栈国产化革新,做到了自主可控,并且实现了性能、可靠性、实时性等维度的晋升。
平滑迁徙
星环科技 KunDB 高度兼容 MySQL,反对 MySQL 通信协议、方言和开发生态,配合星环科技自研的迁徙工具,实现了原开源 MySQL 零碎数据和业务的平滑迁徙,共实现了 14 个外围业务往分布式数据库的迁徙和业务革新,通过全量数据迁徙 + 增量数据迁徙的形式实现了在线不停服迁徙,累计迁徙了 2TB 的业务数据,满足将来 2 年业务增长的需要。
架构翻新
原先 MySQL+Hadoop 降级为星环科技 KunDB+ArgoDB 湖仓一体架构,用户能够基于对立拜访接口最大水平上升高数据湖、数据仓库、数据集市业务过程中业务接口的调整,升高用户开发成本,进步数据处理效率。对立的元数据管理能够在精准的 ACL 管制下,实现按需展现湖仓集内的相干元数据的对立查问,进步数据管理效率。对立存储管理,对使用者屏蔽不同数据源的数据存储,升高业务数据管理难度。
此外,基于星环科技分布式 AETP 技术,零碎可同时撑持 TP 与 AP 的高性能业务需要。基于容器化技术的部署实现了资源隔离,易于治理和公布,并为零碎稳定性提供了保障。同时,测试环境与生产环境互相不影响,且可实现 CI/CD,晋升了开发效率。
性能晋升
业务零碎中前置业务(对接第三方互联网金融平台的流量)、中台、风控外围业务等跟跟对公业务强相干的模块,均对接了分布式数据库,对高并发和大数据量的表进行了分表,实现了存储上的扩大和性能上的扩大,实时信贷交易的并发量为原来的 3 倍,基于分布式剖析型数据库 ArgoDB 的剖析业务响应效率晋升为原来的 5 倍。
零碎容灾程度晋升
业务零碎与分布式数据库均采纳冗余部署的容灾计划,通过 Loadbalance 组件实现动静负载平衡。故障时服务和数据库可主动选主,RTO<10s,RPO=0,提供 7 *24 小时继续服务,且不影响负载平衡的有效性。
自主可控
KunDB 和 ArgoDB 均为星环科技自主研发,并且与国产软硬件生态实现兼容适配,助力金发实现了从数据库到操作系统到硬件的全栈革新,实现了技术大幅降级,提前进入新的支流技术生态。