关于数据库:先行试点创新改造中信期货关键业务系统自主可控的实践之路

4次阅读

共计 3647 个字符,预计需要花费 10 分钟才能阅读完成。

文 / 中信期货金融科技委员会 李欣、农国苏

起源 / 金融电子化

 

2021 年 10 月 21 日,《证券期货业科技倒退“十四五”布局》正式公布,进一步强调“十四五”期间信息技术对证券期货业的撑持、翻新和引领作用。

中信期货有限公司(以下简称“中信期货”)作为中信证券股份有限公司的全资子公司,积极响应国家信息技术利用翻新产业的生态建设,率先制订实施方案,全面推动翻新试点工作。“中信期货员工综合治理平台信创革新”我的项目凭借创新性与先进性,荣获“2022 第十三届金融科技利用创新奖”。

 

两年整体规划,全面晋升信息技术自主可控能力

 

自 1993 年成立以来,中信期货始终重视信息技术投入,关注前沿技术趋势,激励业务翻新,信息技术利用翻新工作以“能用尽用、实用好用”为准则,在已发展的信息技术利用翻新工作根底之上,再制订新的两年实施方案——打算在 2022-2023 年实现多个零碎的革新或新建,从通用基础架构登程,在个别业务零碎、外围业务零碎等方面继续推动,保障各项指标落实,全面晋升信息技术自主可控能力,确保供应链平安。

通用基础架构方面。2021 年,中信期货建设了虚拟化云平台和分布式数据库平台。2022 年打算分为三个我的项目:一是虚拟化云平台扩容我的项目,2023 年继续扩容;二是容器云平台我的项目,打算 2022 年底一期建成投产,2023 年继续扩容;三是蓝光数据中心网络建设项目,打算 2022 年底一期建成投产,2023 年进行前期扩容。

个别业务零碎方面。 打算在 2022 年实现中信期货员工综合治理平台、资产治理投研业务支持系统、出入金治理平台等的革新适配工作;在 2023 年实现中信期货门户网站、对立音讯发送和解决平台、集中经营平台零碎的革新适配工作。

外围业务零碎方面。 打算在 2022 年发展飞马交易系统的革新适配工作;在 2023 年实现 APP(全功能版)、飞创 x-one 交易系统的革新适配工作,对于 CTP 综合交易平台,在测试环境进行信息技术利用翻新革新。

中信期货员工综合治理平台是提供企业员工外部治理的平台,次要包含人力资源管理、员工绩效考核治理、培训园地、会议室治理、企业信息管理、新员工成长治理、疫情防控平台等性能。日均拜访用户约 2000 人,非凡场景下并发数放弃在 1200 以上。该零碎的数据库适宜在 Windows 操作系统上运行,且软件商没有开源打算,对系统的自主可控和数据安全带来诸多危险。此外,通过多年积攒,该零碎所采纳的技术绝对老旧,不利于扩大和保护,零碎的全面降级势在必行。

综合以上思考,中信期货决定将员工综合治理平台作为试点,后行革新,不仅包含零碎架构、开发技术,还包含数据库,并决定将数据库降级至分布式数据库,逐渐构建自主可控的 IT 底层构架和规范,无力保障信息可控与数据安全。

 

分布式数据库选型指标

 

随着信息技术的迅猛发展,各行各业产生的数据量呈爆炸式增长,传统集中式数据库的局限性面对大规模数据处理时逐步露出,分布式数据库应运而生。分布式数据库是在集中式数据库的根底上倒退起来的,是分布式系统与传统数据库技术联合的产物,具备透明性、数据冗余性、易于扩展性等特点,还具备高牢靠、高可用、低成本等方面的劣势,可能冲破传统数据库的瓶颈。

中信期货在分布式数据库选型时看重以下四点:

第一,分布式数据库解决了传统集中式单机数据库扩大的问题,单机数据库面对海量数据在解决能力、存储能力、性能等方面都存在瓶颈;

第二,分布式数据库须要解决数据一致性的问题,数据跨的节点越多,危险就越高;

第三,分布式数据库的高可用能力保障不会因为单点故障而影响整体的可用性,这保障了金融、电信等对高可用需要较高业务的连续性;

第四,利用存在波峰波谷,分布式数据库通过灵便扩大的设计做到了老本优化。

联合以上四点,再从利用场景、性能、有无金融案例、市场占有率等因素综合思考,相较于其余分布式数据库,OceanBase 立足于 TP 畛域,一直强化 AP 能力,走向更全面的场景,这是一个要害的立足点。同时,这也是中信期货保持的设计理念,尽量把复杂性从用户侧向数据库侧转移,对外出现的是 OceanBase 对用户的利用兼容,包含语法、语义以及存储过程等高级能力的兼容,让用户疾速、通明迁徙至 OceanBase。

 

新老双系统同步翻新革新实际

 

员工综合治理平台的革新实现在新老双系统同步的前提下进行,须要满足分布式数据库(OceanBase)、传统数据库双数据库和操作系统(麒麟操作系统)、传统操作系统双操作系统模式下相互兼容,采取“鱼”和“熊掌”兼顾的策略,保障迁徙危险可控。

中信期货借助 OMS(OceanBase Migration Service,数据迁徙工具)一站式进行数据迁徙、实时数据同步和增量数据订阅。 OMS 具备可视化的 Web 管控平台,能够很轻松地实现数据传输我的项目的创立、工作配置和传输组件的监控运维。此外,多种形式的数据校检,确保中信期货在迁徙过程中的数据正确性。

联合员工综合治理平台现状以及思考将来其余业务零碎的可复制性,经设计,该零碎的数据库集群采纳“一核心三正本”的形式搭建,主从正本之间通过基于 Multi-Paxos 的分布式共识协定实现了正本之间数据的一致性。当主正本所在节点产生故障时,一个从节点会被选举为新的主节点并持续提供服务。同时,数据库应用物理备份的形式做数据库备份与复原治理,采纳 NFS 作为备份介质,从而保障数据库的高可用性。除此之外,该我的项目还有以下两大翻新点。

  • 翻新点一:零碎架构从 WebForm 调整为 WebAPI 实现应用程序跨平台部署

员工综合治理平台最早采纳的是 ASP.NET WebForm,是过后最风行、最前沿的技术架构。但时过境迁,目前不仅技术老旧,会这方面技术的人才很少,而且保护繁琐,工作量大,不易于扩大。通过屡次探讨和可行性研究,中信期货确定用 ASP.NET Core WebAPI,前端页面用 Razor 语法。之前的架构只能在 Windows 上部署,当初的架构基于.NET6,能够跨平台部署,并且做到了前后端拆散,将 API 剥离进去,能够做到网站、APP 和其余利用专用一套。

  • 翻新点二:数据拜访层采纳数据工厂模式,反对多数据源

数据拜访层用 ADO.NET 实现,未革新前只反对 SQLServer 数据库,革新后利用到数据工厂模式,中信期货对几个支流数据库都做了兼容适配,既能反对 SQLServer,也反对 OceanBase、MySQL、Oracle 等。这样把业务逻辑、数据源做隔离,互不影响,给之后的变更和扩大提供了更大的便捷与操作空间。

在该我的项目过程中,中信期货总结出一些切实可行的实践经验,供行业参考:

  1. 联合原我的项目理论状况和要实现的信息技术利用翻新指标,制订一个总体的革新计划,利用理论资源先做小型实例,全过程剖析、探讨,确保整体计划具备理论可操作性;
  1. 对系统做合成,如前端、后端、数据库,测试原零碎重要技术点,各个冲破,由点到面,确保所有点都有切实可行的革新计划;
  1. 若原零碎的代码能用得上,尽量不要全副颠覆,在原有的根底上革新即可,这样能缩小工作量;
  1. 革新过程中和革新实现后肯定要多测试,大量的问题都是在这个过程中发现的;
  1. 肯定要模仿上线,测试稳定性,并且最好是和原零碎进行比照。这样一段时间后,即可确保整体稳固没有问题。

 

试点成效显著,OLAP 性能晋升 5~6 倍

 

2022 年 11 月 30 日,历时 7 个月,该我的项目正式投产上线。依靠自主可控的服务器、操作系统、中间件、芯片、数据库终端及相干软件为次要载体,中信期货实现员工综合治理平台的分布式降级,通过对 IT 硬件、软件各个环节的重构,实现信息技术零碎全面自主可控,达成齐全自主化革新指标。此次革新,从根本上解决了过来员工综合治理平台旧有的安全性、可掌控性、可研究性、发展性等诸多威逼。

中信期货员工综合治理平台的数据库应用 OceanBase 分布式技术和无共享架构,数据能够主动扩散到多台数据库主机上。同时,采纳一般 PC 服务器作为数据库主机,能够自在地对整个分布式数据库系统进行扩大,既升高了老本,也保障了能够有限的程度扩大。

借助 OceanBase 原生分布式数据库引入 Paxos 协定,保障分布式事务的一致性,即数据库系统中数据以备份的形式存储于多台机器中,当其中一台呈现故障时,其余备份仍能够应用,并依据系统日志来复原故障前的数据。由此,中信期货实现了数据零失落。

性能方面,借助原生分布式架构,等同硬件环境下相比原数据库,中信期货实现 OLTP 性能晋升 1.9 倍、OLAP 性能晋升 5 ~ 6 倍、综合读写性能(Read Write)晋升 1 倍、TPC-H 查问性能晋升 5 倍等显著性能晋升。

中信期货作为期货行业首批信息技术利用翻新试点单位,切实参加信息技术利用翻新产业链的倒退。通过“中信期货员工综合治理平台信创革新”我的项目,以及其余业务零碎等场景进行信息技术利用翻新转型实际,中信期货为行业新增了一个又一个胜利案例。

将来,中信期货也将继续落实核心技术自主可控,踊跃成为重塑中国 IT 产业根底中坚力量的一份子。

正文完
 0