OceanBase 2.0让百万支付不是梦?

24次阅读

共计 2500 个字符,预计需要花费 7 分钟才能阅读完成。

小蚂蚁说:
你们都很关心的“OB 双 11 大促实战分享”专题来啦!本系列将为你系统性的介绍 OceanBase 支撑蚂蚁双 11 背后的技术原理和实战分享。从平台到架构,再到实现,一起来探索蚂蚁双 11 这场神秘的技术之旅吧!

​背景
伴随着蚂蚁业务的蓬勃发展,特别是每年双 11 大促不断创造新的高峰,交易支付核心链路提出了未来实现百万笔支付 / 秒的能力。为了实现这个宏伟目标,特别是提高数据库层面分布式扩展能力,如原生 sharding/ 分布式事务优化,OceanBase 2.0 分布式数据库应运而生。
百万支付
传统数据库扩容方案,主要是依赖分库分表拆分进行水平扩容,蚂蚁数据库初期也是同样思路,通过 LDC 单元化改造,核心表按用户 UID 维度拆分成百库百表。
但是随着业务发展,特别是 2017 年的双 11 大促,峰值需求已经远远超过单库单机的最大容量。针对这个问题,我们使用弹性架构,即在大促前,新增两套弹性数据库,多套库共同支持大促峰值。弹性架构虽然解决了大促容量需求,但是也存在一些缺陷,业务在数据路由、后期维护及数据配套设施都非常复杂繁琐。有没有更优雅的分布式数据库解决方案,即只使用一个库,就可以支持百万甚至更高的支付峰值,OceanBase 2.0 分区提供了完美的解决方案。
OceanBase 2.0 整体架构
原理分析
OceanBase 2.0 分区方案思路和传统的分库分表拆分一样。我们在交易支付核心库上,在原有百库百表的基础上继续按用户 UID 进行更深层次拆分,每个分表再拆分成多个 partition,应用端只看到一张表,在用户无感知的前提下把数据拆分到无限多的机器上,突破单机性能瓶颈,自动负载均衡,从而实现百万支付的能力。
同时为了极致性能,OceanBase 2.0 提供了 partition group 功能,将业务使用的多张逻辑表(table_1、table_2、… table_n),按共同的 partition 聚合在同一台服务器上面,从而避免了分布式事务带来的额外开销。
OceanBase 2.0 分区方案

关键点:

APP 端请求 SQL,带上包含分区的字段—UID 信息(如 payment_id 列 )。
SQL 如果没有分区信息,则在 OBServer 端并行计算优化。
OBClient 负责分区计算及路由,确保第一跳准确定位到对应分区所在服务器,避免远程执行。
OBServer 端基于生成列 partition_id 进行内部分区,不侵入业务。
OBServer 端约束描述多维度分区,实现分区裁剪功能。

优点:

业务友好:不改变 SQL 语义,应用代码不感知分区信息。
架构通用:约束功能,实现分区裁剪;OBServer 提供兜底访问能力。
高性能低成本:使用低配置服务器,自动负载均衡,资源利用率高。

OceanBase 2.0 性能优化

分布式事务消除:partition group 方式,事务涉及所有表的 partition 按照分区键存储至同一物理机。
两阶段提交协议优化:结合事务与日志,事务 prepare 成功后内存不用持久保存状态,按需从日志中查询;commit 状态持久化转换成后台批量完成。
Commit 异步化:异步化后 Worker 不等待继续执行队列中下一个请求,日志持久化成功后会异步回调。
内存分配器优化:组织了两层映射关系,既要提升性能又要支持大量分区。
存储优化:数据编码技术实现高压缩。

优化结果:
整体性能 OceanBase 2.0 版本较 OceanBase 1.4 版本性能提升 50%,存储空间节省 30%。
总结
2018 天猫双 11 全球狂欢节成交额超过 2135 亿,OceanBase 2.0 成功经受住了考验,全面支撑了支付宝核心链路,平稳抗住 0:00:00 时的峰值压力,夯实三年战略“百万支付”的底盘能力。
OceanBase 2.0 还有很多重要特性,比如分布式全局索引、分布式全局一致性快照、分布式存储过程、索引实时生效、Flashback 闪回功能等,这些新功能将强有力支持企业不同业务场景下的持续创新。
加入我们
【数据库智能化开发】
岗位描述:
1、负责蚂蚁金服数据库智能运维平台应用架构设计和实施落地,使系统体系化并具有前瞻性,能快速发现异常和风险隐患,自动识别原因并修复故障源 / 风险点,实现 self-healing、self-scaling、self-tuning 的自治数据库目标;
2、负责构建数据库统一技术风险、业务容量和稳定性的数据模型,以数据为支撑驱动诊断、容量、高可用、业务最佳实践等核心问题的数据库智能运维发展;
3、独立完成大型项目的系统分析设计,并负责核心模块研发,完成系统 Code Review 的任务,提供相关性能以及安全的建议。
【数据库平台前端开发】
岗位描述:
负责蚂蚁金服数据库 DevOps 平台产品的前端研发,通过专业的前端技术能力为整套数据库产品提供优秀的前端解决方案。
【数据库平台后端开发】
岗位描述:
1、负责蚂蚁金服数据库基础平台、容器化、高可用体系等领域的平台研发;
2、通过平台化思路,持续优化系统维护工作效率,把控技术风险,用工程的思路解决遇到的问题;
3、负责蚂蚁金服数据库智能平台应用架构设计和系统实施,使系统体系化并具有前瞻性,能快速发现业务风险和及时管控;独立完成大型项目的系统分析设计,并负责核心模块研发;负责完成系统 Code Review 的任务,确保相关代码的有效性和正确性,并能够通过 Code Review 提供相关性能以及安全的建议。
【数据库 SRE】
岗位描述:
1、负责数据库高可用平台体系、基础设施的开发和建设,追求 100% 的服务持续可用、秒级故障恢复能力;
2、负责数据库成本优化,通过新技术、新产品、新方案全方位地优化系统性能;
3、负责数据库相关平台和工具产品的建设,持续改进业务研发和系统维护效率,用工程的思路解决遇到的问题;
4、负责数据库架构设计,基于高可用、高性能、防资损等视角,与业务团队一起进行数据架构设计;
5、负责公司重大业务活动(如双 11/ 双 12)数据库保障,致力于让用户感觉丝般顺滑;
6、负责数据库新技术的探索及落地,如存储计算分离、数据库容器化等。
可直接发送简历到 qijie.tianqj@alibaba-inc.com,我们等的就是你!

正文完
 0