关于oushudb-hawq:如何选择金融级云数据平台

36次阅读

共计 3495 个字符,预计需要花费 9 分钟才能阅读完成。

一个简略的银行转账操作会产生多少数据的流动呢?在用户转账行为的同时,思考到转账资金的安全性,银行可能会须要存储本次用户转账的工夫、金额、地位等数据,通过反欺诈利用零碎进行危险预警与交易阻断,当大量用户的转账行为同时产生时,会有大量并发的数据涌入。转账实现后短暂工夫里,交易单方会有转账相干信息的查问需要,确认资金正确的交易,银行可能会须要按用户需要提供局部时间段的交易流水信息。在一些较长时间的距离里,银行还可能会对用户的转账的数据进行剖析统计、进行用户画像,以便于银行相干的业务决策。在这个过程中波及到数据库的实时流解决、实时按需剖析、离线剖析等简单需要,如果没有高效的数据平台撑持,很难保障数据分析和利用的有效性和安全性,甚至会对企业对企业数字化策略造成重大影响。金融行业须要什么样的数据库?信通院于 2021 年公布了《金融级分布式数据库白皮书》,报告中指出金融行业广泛对数据库的安全性、可靠性、稳定性有着全行业最为严苛的要求,因而,满足金融行业需要的金融级数据库产品简直成为所有行业中的标杆。报告认为金融级分布式数据库是可能满足金融级要求的高可用、高性能、低成本、线性程度扩大、企业级平安、便捷性运维的分布式数据库。与一般数据库的区别?报告认为,尽管分布式数据库起源于互联网行业,然而金融级业务数据的价值较高,对数据库的高可用、强统一、低时延、可扩展性、高容灾性、供应链安全性等要求更为严苛。这也是金融级分布式数据库与一般分布式数据库的次要不同点。

那么,要达到金融级分布式数据库的要求,须要做到满足:数据强一致性的需要:金融级分布式数据库通常用于存储各行业的外围数据,其任意一笔数据错乱、失落将带来重大影响。因而即便在某些软件故障、硬件异样的状况下,数据库都应保证数据的强一致性。业务连续性和数据可靠性的需要:金融级分布式数据库服务于波及国计民生的重要业务零碎,其对运行连续性要求异样严格。此要求来自于金融业,也来自于政务、大型企业自身需要、监管机构要求和用户舆论压力等。数据库作为业务零碎的根底,其通用的可用性要求在 99.999% 以上。为确保在异常情况下数据不失落、不错乱,即便极其异常情况仍需确保数据的留存,金融级分布式数据库的可靠性通常要求在 99.999999% 以上。疾速扩大、麻利迭代的需要:在金融级场景中,存在短时间用户规模增大或业务迭代需要强劲的状况,金融级数据库要求适配上述场景,即数据库具备疾速扩大的能力,同时业务零碎要具备疾速匹配的麻利迭代能力。而在传统建设模型中,疾速扩大、麻利迭代简直是不可行的。因而分布式、微服务、规范开发框架等开始在金融级数据库中失去遍及与推广。低成本与云计算的需要:金融级业务品种繁多,随着工夫增长数据也会疾速减少,带来撑持性数据库变得越来越宏大。这意味着如果每个零碎都依照传统商用数据库建设规范来建设,会带来极高的老本。因而云计算环境的金融级数据库的粗放模式建设计划正逐渐成为支流趋势。高端服务器等供应链危险:受国内政治格局影响,洽购国外高端服务器(芯片)等存在诸多不确定性。一旦呈现国外服务器(芯片)断供,可能导致重大的结果。而短期内,国内对于芯片的供给可能仅在 28nm 或者更低的程度,繁多服务器的算力有余会对金融业务建设零碎带来诸多问题。OushuDB—云原生数据库新锐准独角兽理解了金融行业的需要,以及金融级数据库产品的定义,咱们来看看云原生数据库新锐准独角兽偶数科技如何通过 OushuDB 逐条破解难题。什么是 OushuDB?OushuDB 是由偶数科技自主研发的新一代极速云原生架构的分布式数据库,反对高并发,高吞吐,高性能的弹性计算。OushuDB 兼容国产软硬件平台,符合国家信创规范,反对各大公有云和公有云。通过计算存储拆散架构解决了传统数据库高老本、低性能、高门槛、难保护、难扩大的问题。OushuDB 具备哪些特点?云原生:采纳计算存储拆散架构,利用云服务器、分布式存储,对数据基础设施的可扩展性进行深度优化,充沛满足云端利用高度弹性、有限扩容的要求。反对腾讯云、阿里云、华为云、金山云、微软 Azure、AWS 等支流云平台。高性能:面向 PB 级大数据的简单查问,相比 MPP 和 SQL-on-Hadoop 快一个数量级。全新设计的执行器让性能晋升 5~10 倍,显著升高批处理和即席查问所需的工夫。强兼容:具备欠缺的 SQL 规范和 ACID 个性,反对 HDFS 和多种对象存储的增删改查、以及偶数自研的 Magma 存储。兼容基于 Oracle,PostgreSQL,Greenplum 开发的数字利用,用户能够轻松实现不同数据基础设施的安稳迁徙。自主可控:OushuDB 由国内顶尖数据库内核研发团队自主开发,符合国家信创规范。偶数研发团队曾主导国内顶级的数据库开源我的项目。利用广:OushuDB 已在金融、电信、政府、制作、互联网等行业的数百家头部企业失去广泛应用,助力各类企业实现数字化转型。能够说,OushuDB 数据库所具备的高可用、高性能、低成本、易扩大、自主可控的个性,完全符合金融级分布式数据库的定义,并满足金融行业的业务需要。借助 OushuDB 作为底座,更能够疾速搭建偶数科技的湖仓一体和实时湖仓计划。基于 OushuDB 的实时湖仓一体计划什么是湖仓一体计划呢?在企业进行湖仓一体化摸索时,可能对原有的 IT 零碎和平台产生门路依赖,从而抉择采纳湖仓分体的技术模式,即湖是湖,仓是仓,而这个各自独立部署,数据通过 ETL 的形式买通,即业内经常提到的 Hadoop+MPP 模式。这种形式只管在逻辑上能够为用户提供对立的数据管理能力,但在物理层面数据湖和数据仓库依然是拆散的,同一份数据可能别离存在于多个存储集群中,从而不可避免的造成数据孤岛。而在企业克服湖仓分体模式带来的种种弊病的过程中,又可能进一步催生 ETL 逻辑简单、数据变更艰难、数据不统一等一系列施行与运维问题,最终不仅无奈最大化湖仓性能,还极大减少了治理运维老本。偶数科技研发的 OushuDB 创新性的采纳了存算拆散的云原生架构,冲破了传统 MPP 和 Hadoop 的局限,将计算和存储部署在不同的物理集群中,使得计算和存储资源能够独立的弹性伸缩;通过构建虚构计算集群,OushuDB 能够在数十万节点的超大规模集群上满足高并发需要,造成了对立的数据体系,不仅使得湖仓更适应云环境,还升高了用户的老本;通过反对分布式表存储 Magma,OushuDB 的计算引擎便于实现快照视图,可能高效实现实时查问需要,从而在性能和事务方面的反对更加欠缺。

(偶数科技湖仓一体化解决方案)为了同时满足实时流解决、实时按需剖析和离线剖析需要,偶数科技独创性的摸索出了 Omega 全实时数据处理架构。Omega 架构通过流解决零碎 WASP 实现实时间断的流解决或批流一体解决,并通过存储于实时数仓的快照视图实现实时查问,从而解决了传统 Kappa 架构落地艰难、Lambda 架构难以保证数据一致性的问题,并极大简化了数据架构。

(Omega 架构逻辑图)满足用户“既要也要”的要求,偶数科技的突破性技术和前瞻性观点并非海市蜃楼,而是以多年的行业实际和用户洞察为根底支点造成的教训积淀。偶数科技正在赋能用户的过程中一直实现自我迭代,摸索最佳实际。结语作为企业数字化转型的先锋行业,银行业自 80-90 年代起就曾经开始了信息化摸索,在自手工统计到信息化再到数智化的较长技术倒退过程中,大多数的银行造成了较为简单的技术体系。偶数科技率先洞察到了银行面对大数据时代的高性能、安全性、可靠性、稳定性需要,早在 2020 年就与建设银行成立了高性能大数据联结实验室,独特摸索金融级数据平台的施行门路。银行业是所有行业中对利用的自主可控、高可用、高可靠性的要求最高的畛域之一,偶数科技解决方案在银行业的落地正是其技术实力和对用户痛点理解力的明证。除了银行业以外,截至目前,偶数科技的产品和解决方案已在非银金融、电信、政府、能源、制作和互联网等行业中被宽泛的部署和利用。同时,其商业模式的可行性与成长性也失去了资本的认可,间断取得了国内顶级投资机构红杉中国、腾讯、红点中国与金山云的四轮投资。而随着将来物联网、工业互联网的逐渐建设,大数据畛域将面临越来越广的数据起源、越来越大的数据量、越来越多的非结构化数据、越来越丰盛的利用场景和越来越简单的技术栈,大数据处理和剖析的难度将进一步晋升。汇合了泛滥组件的弱小能力,OushuDB 未然成为企业打造金融级数据库平台的最佳抉择之一,将会继续的为包含金融在内的等泛滥行业用户提供更加优良的数据服务。

正文完
 0