关于mysql:PolarDBX-开源分布式数据库在韵达科技的应用实践

3次阅读

共计 2639 个字符,预计需要花费 7 分钟才能阅读完成。

本文整顿自韵达科技业务中台总监李波澜,在 2022 阿里巴巴开源凋谢周上的分享。本篇内容次要分为三个局部:1. 企业背景 2. 利用实际 3. 将来瞻望。

一、背景:企业介绍 业务诉求

韵达次要面向国内外提供快递、快运、供应链、仓储服务等,目前领有 4 万多家快递服务网点,3000 多家快运服务网点,200 多家加盟商,以及 100 多家分拣核心,其中包含 4200 条快递支线,1000 多条快运支线,150 家城市配送站,业务笼罩了 100 多家重点城市,遍布寰球 30 万个国家和地区,领有 200 万平米仓储面积,从业人员 30 多万。

韵达每日订单量高达几千万,每个订单有多种标签信息,因而数据量微小。其中上游业务方有各大电商平台、订单核心、大客户、智橙网、财务核心、店配团、物流团等。

打标平台次要提供了订单标签根底服务、查问统计服务、音讯推送、CSV 文件推送、订单标签解决等。其中数据存储是外围业务,数据量较大,而且是高并发拜访场景。数据存储波及到 Kafka、CSV、Redis、MySQL 分库分表。

上游次要为业务赋能,有韵图、智能外联、大掌柜、数据中台、结算团、韵达超市、揽派零碎等一共 30 多个零碎。二、利用实际:架构降级 外围能力

韵达原先的业务架构存在较多痛点:

1、数据无奈充分发挥业务价值:传统的分库分表计划短少数据全局视角,对简单查问的限度较多,须要人工进行解决。
2、历史数据清理繁琐:数据并不需要长期存储,对于业务场景而言个别只需存储 1 年。但因为分表较多,数据清理较麻烦,同时为了防止对在线业务产生影响,常常须要在业务低峰期比方凌晨,与 DBA 团队单干对历史数据做手动清理。
3、随着业务回升导致性能衰减:数据减少当前查问能力降落。另外,计算存储资源固定,难以扩容。

因而,韵达采纳了阿里云开源 PolarDB-X 云原生分布式数据库对业务架构进行了降级,使架构性能失去了极大的晋升:
1、经营老本升高:反对灵便设置历史数据的存储周期,能够升高存储老本。通明分布式使得应用、运维方面的老本也得以降落。高兼容 MySQL 语法对开发团队而言,学习老本也失去了升高。
2、进步弹性扩大能力:计算存储拆散架构提供了弹性能力,可随时扩缩容,资源能够按需分配,进步了资源利用率。
3、高可用能力晋升:引入了强统一协定,克服了主备脑裂问题。另外,多正本技术的加持使得数据更加安全可靠。

上图为降级后的基于分布式数据库的业务架构。与老架构的次要差异在于,将原先基于 MySQL 的人工分库分表应用 PolarDB-X 进行了替换,架构上并未有大调整。

此外,开发团队并不需要了解 CN 节点,也不须要与 CN 节点打交道,他们看到的只是一个 PolarDB-X 数据库,能够了解为一个大型的 MySQL 实例,不存在额定的学习老本。

PolarDB-X 提供了两种数据库模式,别离是 Auto 模式和 DRDS 模式。官网举荐应用 Auto 模式,它具备较好的性能个性,咱们也采纳了该模式。

Auto 模式分区灵便,反对主动、手动分区,单机 DDL 语法无需改变,能够间接在 PolarDB-X 上应用。高度兼容了 MySQL,无需额定的学习老本。反对分区级决裂合并,解决了数据热点问题。

Auto 模式下的数据库建表语法与 MySQL 的建表语法完全一致,无需指定分区定义,主动采纳 Primary Key 做分区,十分不便。另外,PolarDB-X 反对多种表类型,比方传统单表、播送表、分区表,且能够通过简略 DDL 语句进行灵便的转换,比方分区表通过 partition-by 即可做哈希分区,可通过 pratition 参数指定分区数,能够创立 broadcast 播送表,也能够通过 outtable 将单表转换为分区表,十分方便快捷。

PolarDB-X 也提供了数据生命周期治理。

通过 Local Partition By Range(create_time) 指定 TTL 表的物理工夫分区列,在物理表上的数据会以此列做工夫分区。能够通过 startwith 指定初始工夫分区,intervial month 意为指定数据分区距离为一个月,也能够按天或者按年进行分区。Expire after 指每个分区 12 个月会主动清理,清理工作不再须要开发与运维在凌晨手动实现,Pre allocate 能够指定提前创立分区的数量。

TTL 在 PolarDB-X 后盾通过定时工作来主动解决,节俭了开发与运维的老本。

韵达订单打标我的项目为双活部署,每天订单打标数据量 2 亿 +,接口查问量 8000 多万。目前标签分类有 80 多种,随着业务倒退和用户需要,标签分类可轻松扩大。赋能 30+ 业务利用,提供了 API 查问、统计分析、音讯推送、CSV 等。

数据进行了温热分级存储,其中 Redis 存储三个月数据量,PolarDB-X 存储一年的数据量。有些数据除了统计分析用处以外,还有财务对账等回溯需要,因而会被导入 PolarDB-X,以便进行方便快捷地查问。因为数据量较大,咱们采纳 ProtoBuf 对数据进行了压缩。

PolarDB-X 为韵达订单打标我的项目带来了诸多益处:
1、不再须要人工进行分库分表,能够通过创立来全局二级索引对打标数据进行灵便统计解决,疾速满足业务方面的需要。
2、能够主动清理过期数据,开释空间,进步数据库操作效率,不再须要人工干预。
3、反对程度与纵向扩缩容,能够轻松应大促场景。
4、PolarDB-X 兼容 MySQL 协定,升高开发人员的学习曲线,可疾速从此前的人工分库分表计划迁徙到 PolarDB-X 数据库。
5、反对 online schema change,增加二级索引不锁表。
6、多正本数据备份计划,保障了数据安全性。三、将来瞻望:社区奉献 畛域摸索

PolarDB-X 提供了很多优良的性能个性,在韵达的很多场景里能够进行推广应用。韵达存在大量高并发、海量数据存储的业务场景,因而,后续会在韵达公司外部进一步做 PolarDB-X 的推广应用。

另外,也会进一步在 HTAP 畛域进行摸索。PolarDB-X 提供了 TP 和 AP 的解决能力,因而咱们打算应用 PolarDB-X 替换原先 MySQL +Elasticsearch 提供的能力。同时,也会将 PolarDB-X 与韵达已有的周边生态进行交融。

社区建设方面,PolarDB-X 官网举荐部署在 K8s 平台上,提供了开源的数据库,也提供了开源的监控能力。后续韵达将基于 Prometheus 与 Grafana 做监控能力的进一步晋升,比方与公司金融平台、钉钉等买通,及时理解零碎运行的健康状况。

最初,韵达科技将继续在社区分享基于 PolarDB-X 开源的实战经验。

正文完
 0