关于数据库:20000节点云数仓在大型商业银行的实践之路

73次阅读

共计 2438 个字符,预计需要花费 7 分钟才能阅读完成。

12 月 14 日至 16 日,第 13 届中国数据库技术大会(DTCC2022)在线上隆重召开。本次大会以“数据智能 价值翻新”为主题,邀请逾百位行业专家,重点围绕云原生数据库、实时数仓技术与利用实际、大数据平台等内容开展分享和探讨。

在 15 日举办的“金融行业数据库技术实际”专场,建信金融科技根底技术核心、龙趺 MPP DB 产品负责人陈晓新发表了《20000 节点数仓集群在大型商业银行的落地实际》宗旨演讲,分享了建信金科在超大规模 MPP 数据库实际利用和翻新改革。

陈晓新介绍,建信金科联结 HashData 等合作伙伴打造的龙趺 MPP DB 数据库,采纳元数据、计算、存储三层拆散的架构,在确保高性能计算能力的同时,还具备高并发性、高扩展性,以及灵便的资源动静调度和故障自愈能力。龙趺 MPP DB 弱小、稳固、高效的数据处理性能,为建行蓬勃发展的数据分析业务提供了灵便高效的外围数据仓库反对。

新技术趋势下的新挑战
近年来,随着云计算、大数据、人工智能和区块链等新技术新模式的日趋成熟,科技对于金融的作用一直被强化,创新性的金融解决方案层出不穷,“无科技不金融”逐步成为行业共识。

“十四五”倒退布局和 2035 年近景指标大纲指出,“稳当倒退金融科技,放慢金融机构数字化转型。”

中国建设银行作为地方治理的大型国有银行,在推动数字化转型、建设数字银行方面,始终走在国内商业银行前列。2018 年,建行成立了建信金融科技有限责任公司(简称“建信金科”),汇聚全行科研力量,构建金融科技新生态。

始终以来,银行业被视为数据库的“试金石”。宏大的用户规模、简单的剖析需要,对数据库的性能、稳定性及安全性提出了极高的要求。特地是随着 5G、挪动互联网技术的衰亡和遍及,网上银行、手机银行、电子领取等新业态不断涌现,高并发、海量数据、超高峰值等挑战接踵而至,导致数据资源存储、计算和剖析解决等需要大幅晋升。

传统的 MPP 架构数据库,应用的是存算一体的公有部署架构,这种架构导致了大量数据冗余、数据孤岛频发、资源和集群的运维管控难度大、网络和服务器资源耗费重大等问题。能够说,大型商业银行数据库架构的降级迭代势在必行。

云原生赋能银行利用翻新倒退
为了推动金融科技产业翻新倒退,2019 年 8 月,中国人民银行印发的《金融科技(FinTech)倒退布局(2019—2021 年)》明确提出,做好分布式数据库金融利用的长期布局,加大研发与利用投入力度,妥善解决分布式数据库产品在数据一致性、理论场景验证、迁徙保障标准、新型运维体系等方面的问题。摸索产用联结新模式,施展科技公司的技术与创新能力,独特研发新产品、倒退新产业、凝聚新动能。有打算、分步骤地稳当推动分布式数据库产品后行先试,造成可借鉴、能推广的典型案例和解决方案,为分布式数据库在金融畛域的全面利用探明门路。

陈晓新介绍,早在 2018 年,建信金科就十分有前瞻性的开始构建基于分布式计算的 IT 零碎架构,并联结 HashData、金山云等合作伙伴独特打造了实用于银行外围场景应用的金融级云原生数据库产品——龙趺 MPP DB 数据库。

龙趺 MPP DB 是基于 HashData 云数仓架构打造的公有云版本,采纳了云原生和存算拆散的架构设计,具备高可用、高并发、弹性伸缩和高扩展性等劣势。

相比传统 MPP 数据库,龙趺 MPP DB 的元数据服务分为调度层、无状态服务层、元数据长久层三个档次。通过共享存储架构,任何一个计算集群都能够去拜访同一份数据,所有集群共享同一份元数据,彻底消除“数据孤岛”和冗余。

面对数据日趋多元化的问题,在 MPP 并行计算架构上,龙趺 MPP DB 集成 GIS、Python 等组件,反对 SQL 剖析、机器学习、时空剖析等多种剖析模式。同时,通过丰盛的内部计算引擎连接器,龙趺 MPP DB 反对 Hive、Spark、Flink、Kafka 等第三方计算框架与引擎不便、高效地拜访数据。

此外,龙趺 MPP DB 反对湖仓一体模式,采纳对立的数据存储,造成企业级数据视图,以交融架构搭建湖、仓平台,实现湖仓业务数据和元数据真正交融。

陈晓新介绍,龙趺 MPP DB 自 2020 年 3 月上线以来,为建行包含监管报送、电子银行、信用卡、反洗钱等十余个利用提供了稳固、高效的数据处理剖析服务,保护了数据的高质量、权威性和一致性。截至目前,龙趺 MPP DB 节点规模超过 27000 个,结构化数据压缩后数据量达到 18PB,反对上百个业务场景,并且规模还在继续扩大。

在老本方面,龙趺 MPP DB 大幅升高了数据冗余,缩小数据存储需要 30%,节俭硬件资源 30% 以上;在运维方面,龙趺 MPP DB 实现了传统 MPP 数据库所无奈做到的动静扩缩容、故障自愈等性能,运维效率晋升 10 倍以上。

尤为重要的是,龙趺 MPP DB 从服务器到 CPU、存储、操作系统,均采纳国产品牌产品,达到了银行级的平安可控。

陈晓新示意,基于龙趺 MPP DB,建信金科胜利实现了超大规模数仓的建设与商用,达到了计算与存储拆散、数据不冗余、一键式部署、一键式运维等成果。

展望未来,陈晓新心愿通过大数据计算与存储技术,龙趺 MPP DB 可能实现安全可靠、服务不中断、数据不失落,能够高效接入、存储、治理和计算不同类型、不同格局的数据,具备多维度资源弹性伸缩、多租户负载管控、全场景故障隔离和主动复原等能力,“让金融科技尽其所能!”

对于 HashData
HashData 专一于云端数据仓库的研发与推广,外围团队次要由来自 Pivotal、Teradata、IBM、Yahoo!、Oracle 和华为等公司资深的云计算、分布式数据库和大数据专家组成。

凭借深厚的技术积攒和前瞻性的产品理念,目前,HashData 数据仓库已广泛应用于金融、电信运营商、政府、交通物流、能源和互联网等行业五十余家客户。

HashData 致力于提供持重、高效、凋谢、自主可控的数据基础设施,行业头部合作伙伴为咱们提供了当先贵重的实际与教训,咱们期待将它们推广迭代,与更多行业客户单干,赋能千行百业,升高数据分析门槛,助力企业充沛开释数据价值。

正文完
 0