关于oceanbase:乘势而上OceanBase推动数字支付精益增长

7次阅读

共计 5121 个字符,预计需要花费 13 分钟才能阅读完成。

依据麦肯锡相干报告显示,2020 年寰球领取业支出 11 年来首次降落。黑天鹅事件让领取行为产生重大转变,现金使用量大幅降落,商务服务从线下疾速转移至线上,这些转变为领取参与者带来了新的机会与挑战。

2021 年,领取业支出指标疾速修复反弹,其中,数字领取在面对危机时展示进去的敏捷性成为推动经济更快复苏的重要因素之一。如菲律宾电子钱包 GCash 在 2022 年 Q1,注册用户数首次超过 6000 万,达到笼罩菲律宾 83% 成年人口的里程碑。

在此轮疾速修复与暴发增长中,企业间的竞争劣势之战也拉开帷幕。整个领取业开启二次改革,由多场景繁多服务向全场景数字化经营转变,数字领取从便当抉择变为根本服务,为数字化经济和产业互联网注入新的生机。

局部企业曾经通过基础设施降级、技术架构迭代和新技术的引入,通过科技翻新伎俩晋升了老本控制能力、进步了服务质量、优化了单位成本生产效益,持续扩充本身劣势和市场规模。

对于作者

作者:周贵卿

OceanBase 解决方案架构师、分布式数据库布道者。领有近十年基于传统 Oracle 的开发教训,曾主导电信行业 BOSS 外围零碎技术架构,参加制订 IETF RFC8543 规范,翻译出版 O’Reily《ZooKeeper, Distributed Process Coordination》书籍,对分布式一致性协定有着深刻的钻研;曾就任 CNNIC,作为“互联网域名治理技术国家工程实验室”骨干,推动国家域名外围零碎分布式革新;前京东云 IaaS 架构师,主导多个行业解决方案的设计施行。是分布式技术的拥趸者和狂热者。

数字领取面临新挑战

数字领取的技术架构通过多年的倒退,已从单体架构逐步倒退为微服务、单元化等分布式架构,但鲜有企业采纳原生分布式数据库,在最外围的数据底座上短少业务倒退的强有力撑持。

晚期数字领取的传统数据库架构大多采纳单机数据库,因为其简略易用,且强 ACID(Atomic 原子性,Consistency 一致性,Isolation 隔离性,Durability 持久性),帮忙领取企业疾速积攒了肯定市场规模。

随着业务增长,单机数据库的容量、性能很容易达到下限,利用架构开始降级为分布式架构。与此同时,基于中间件的分库分表计划应运而生,这种形式短期内无效解决数据激增、高并发等问题,但实质还是单机数据库的横向组合,与之也带来一系列其余的问题,制约了企业在新一轮增长期的倒退。

业务连续性难保障

保障业务连续性是数字领取的重中之重,次要包含高可用、高容灾。高可用须要数据库在机房断电、网络异样、磁盘静默等故障,甚至是光纤断掉等极其状况下,依然能保证数据 0 失落,业务失常运行;高容灾则是指在地震、火灾、洪水等本地数据库遇到劫难时,备灾数据库能疾速承当起本地数据库工作的能力。

传统的单机数据库遇到故障后,业务可能长时间中断,甚至数据失落;即便能做到高可用、高容灾,也依赖于操作系统、存储硬件、数据库等多组件的整合分级实现,与业务本身利用的配合度低,切换要求高、难度大,不足以保障数字领取企业的业务连续性。

频繁分库分表效率低下

数字领取企业的业务初期,数据量不大时,采纳单机数据库架构往往就能很好地失常运行。但当业务倒退到肯定规模时,随同数据量激增,要么抉择一直减少单机数据库;要么分库分表,分库分表也就意味着要做技术改造,这对整体架构设计能力的要求甚高,略微有设计不合理之处,都将可能使零碎的整体性能、可用性大打折扣。

此外,分库分表也就意味着要在肯定工夫内进行业务,对运维人员来说则是大量的数据清理、拆库拆表的繁琐工作。大量的数据库实例,也将导致运维的复杂度直线回升,造成整体运维效率低下。

存储老本日益昂扬

毋庸置疑,随着多年的倒退和积攒,导致数据量的激增,数字领取企业的数据库老本会越来越高。

  • 一是监管要求的热数据存储周期要求,以及监管审查的全量数据存储要求;
  • 二是业务增长导致一直减少的数据库的硬件老本;
  • 三是分库分表的多实例的资源利用率低,造成计算资源节约;
  • 四是累积的海量数据存储导致存储老本的回升。

因而,数字领取企业的存储老本广泛高于其余对数据保留工夫要求较低的企业。

高并发时稳定性差

随着挪动互联网的到来,海量高并发场景的背地都须要数字领取企业做稳固撑持,如直播带货抢购时、超低折扣商品秒杀时须要同时调用第三方领取的接口,保障用户的交易、领取等行为失常;如通过技术手段将银行、第三方领取等多种领取整合于一体的聚合领取,每天都面临着大量高并发的场景。

传统数据库架构须要依据业务倒退提前布局容量,不反对动静扩缩容,不具备突发流量的承载能力。面对短时间大量的领取、交易等 SQL 申请,如果每一条 SQL 都减少 1 毫秒的提早,用户将会有延时期待的不佳体验,数据库也很有可能间接宕机。

大数据分析过程漫长

中国的数字领取无论在市场规模还是增长速度始终引领寰球领取市场,也基于一直的业务翻新,包含场景数字化经营转变。不论是第三方领取还是聚合领取,都有从面向 B 端商家进行大数据分析的场景,如商家查问近期交易的汇总数据、分润数据统计分析等;到面向 C 端的用户画像的精准营销场景,如领取收单与银行数据联动等。

因为传统架构通常将 OLTP 和 OLAP 分为两套数据库,当遇到须要大数据分析的场景时,往往须要将负责 OLTP 数据库的数据同步至 OLAP 数据库,再由 OLAP 数据库进行大数据分析,大多统计分析时效为 T+1,影响商业决策时效性,也制约了业务模式的翻新和倒退。

数字领取亟需底层基础设施降级

数字领取侧面对新一轮时机与挑战,面对一直攀升的数据老本,亟需数据库最根基的底层基础设施降级。

从单机数据库到基于中间件的分库分表数据库,没有从根本上解决问题。随着数据爆发式增长,不仅稳定性无奈无效保障,性能降落也间接带来了服务体验降落,同时数据库相干的硬件、存储等老本也会越来越高,但计算、运维等效率却并没有相应晋升。局部领取企业引入原生分布式数据库,实现了数据底座的高可用、高扩大、高性能等架构降级。

除了将价格昂扬的单机数据库替换为老本更低的一般 PC 服务器,原生分布式数据库与传统数据库在底层有着实质的区别,能无效解决数字领取企业遇到的以上种种挑战。

第一,原生分布式数据库在设计之初,就是假设硬件是不牢靠的,数据会被零碎主动打散存储在不同的正本中,这些正本能够存储在不同的机柜、机房、地区,实现了城市级的无损容灾需要。 多正本之间通过分布式一致性协定保障全局数据一致性,数据批改后其余正本保障胜利提交,因而具备高容灾能力。

在高可用方面,原生分布式数据库也有其外围劣势。如原生分布式数据库 OceanBase,基于分布式选举协定在故障产生时可进行自主选举,当少数派节点产生宕机时疾速无损主动切换,达到 RTO=0,RTO<30 秒,达到国家标准定义的最高等级容灾规范;且内置多种强校验机制,能主动发现多正本数据不统一、网络数据谬误、磁盘静默谬误等,保证数据强统一。

第二,原生分布式数据库可能在一般 PC 服务器上实现有限程度扩大,实现计算、存储资源的线性扩大能力,数字领取企业无需再进行繁琐的人工扩容、简单的分库分表建设,无效升高运维复杂度,晋升运维效率。 如原生分布式数据库 OceanBase 的一张表即可扩容至 PB 级、千亿条记录以上,数字领取企业可按需配置算力资源,灵便扩大、膨胀资源。

在有限程度扩大的根底上,原生分布式数据库解决了分库分表的全局一致性、跨库事务、简单关联查问、负载平衡等问题,实现了超级数据库计算集群,如原生分布式数据库 OceanBase 理论案例中单个集群超 1000 节点,整个集群通过 MVCC、全局索引,保障全局一致性和高性能。

第三,从低廉的单机数据库到一般 PC 服务器,硬件老本就曾经大幅升高。 此外,原生分布式数据库在存储空间、计算资源的利用率上也更上一层楼。如原生分布式数据库 OceanBase,因其齐全自研存储引擎,能无效施展基于数据变长 - 定长的存储压缩技术、基于数据编码的存储压缩技术、基于数据日志拆散的低成本存储技术。

与 MySQL 和 Oracle 数据库相比,同一业务的数据存储量,OceanBase 大概是后者的 1/4~1/3,能无效升高 70%~90% 的存储老本。

第四,分布式数据库的弹性伸缩能力,可能帮忙数字领取企业安稳迎接高并发。 如原生分布式数据库 OceanBase,基于线程加协程的技术,具备超高的连接数,单点连接数是其余数据库的 5~8 倍,集群的连接数可依照节点数线性增长。

此外,OceanBase 具备提前解行锁(ELR)能力,让业务在面对大促、秒杀等高并发场景,优化分布式事务响应能力,晋升零碎的整体吞吐能力。如同等规格下,MySQL 热点行更新 3000TPS,OceanBase 通过 ELR 可达到 3500~10000TPS。

第五,HTAP 是近年来数据库畛域的新兴趋势,旨在突破原有 OLTP 和 OLAP 的壁垒,让事物解决和决策分析更高效。 相较于传统数据库只能别离进行 OLTP 和 OLAP,分布式数据库人造具备将这二者相结合的能力,大幅缩短数字领取企业大数据分析的时长。

如原生分布式数据库 OceanBase,能将 OLTP 和 OLAP 部署在同一套数据库集群,通过数据整合防止信息孤岛,真正做到一份数据既能做事务处理又能实时剖析,为数字领取企业提供更快、更准的数据分析。

分布式降级后,降本提效效果显著

一、利楚商服:存储老本降落 74%,分润统计工夫缩短近 1 倍

利楚商服是聚合领取的领军企业之一,旗下领有聚合领取中台“扫呗”、商户轻  SaaS“赋佳”、全域营销中台“有域”3 大产品体系。其中,“扫呗”位居聚合领取行业规模前二。作为创新型互联网企业,利楚商服亲密关注新兴技术发展趋势并踊跃投入实际,为稳固撑持将来业务的持续增长,抉择进行分布式降级。

聚合领取企业的数据库每天都要撑持海量的交易场景、领取场景,与日俱增的数据导致利楚商服的存储老本继续攀升。降级至分布式数据库 OceanBase 后,基于 LSM-Tree 的存储架构和自适应高级压缩技术, 利楚商服某业务从 MySQL 迁徙至 OceanBase 后,整体存储老本降落 74%。

利楚商服每天的订单量十分大,如面向代理商等场景,波及到汇总清理和分润剖析,所以在进行联机交易的同时也有不少实时统计分析的需要。以分润统计分析为例,利用 OceanBase 之前,分润统计通常须要 30~40 分钟能力剖析实现,利用 OceanBase 之后, 只需 15 分钟即可统计分析结束,工夫缩短近 1 倍,商家满意度也由此大幅晋升。

同时局部 T+1 的统计分析依赖其余列存数据库,利用 OceanBase 后,依附 HTAP 引擎,实现了准实时数仓剖析的能力,同时也简化了架构的复杂度。

二、GCash:运维效率大幅晋升,数据压缩比近 90%

GCash 是菲律宾电信公司 Globe Telecom 旗下的小额领取零碎,截止 2022 年 Q1,曾经领有超 6000 万的注册用户,超 500 万的入驻商家,超 17 万家存取款站点,目前曾经成为菲律宾国内第一大电子钱包。随着业务的爆发式增长,GCash 的 MySQL 集群已达存储下限,须要频繁进行人工拆分清理数据;大量的数据库实例,让 DBA 陷入低效循环等一系列问题呈现。于是,GCash 决定降级至全新的分布式数据库架构。

通过 OceanBase 提供的迁徙服务,GCash 在不停机的状况下施行全站业务向分布式数据库的残缺迁徙, 并采纳三可用区高可用架构,保障任意可用区级别故障业务不中断。

GCash 原有上百个 MySQL 实例呈现问题时都须要独自解决,运维老本昂扬,借助 OceanBase 的多租户能力,资源池化后仅用 10 余套集群全副包容。此外,OceanBase 提供运维管理工具(OCP),包含数据库组件及相干资源的全生命周期治理、监控告警,性能诊断、故障复原,备份复原等,大幅晋升运维效率及 DBA 幸福感。

GCash 原有单数据库的数据近 5T,迁徙至 OceanBase 后压缩至不到 500G,数据压缩比近 90%, 增量数据迁徙也有根本靠近的数据压缩比,数据存储空间因而显著晋升。同时,这也意味着很长一段时间运维同学不须要进行数据归档、数据荡涤,能够将精力放在更重要的事件上。

结语

数字领取将会驱动数字化产业模式降级,通过对多元场景的笼罩,促成产业互联网场景协同性进步,深刻商户企业的供应链、金融链等,将商户企业的资金流、信息流和物流买通,驱动商户企业业务模式的改革降级。

面对新一轮的时机与挑战,数字领取不仅在须要商业模式上与时俱进,也须要在基础设施和技术架构上更新迭代,淘汰过期或两头台的技术,引入多元化的包含人工智能、原生分布式等新技术,升高运维老本,进步生产效益,充沛夯实基础设施能力,一直坚固深入数字领取的当先劣势。

正文完
 0