关于数据库:破解双中台困局万家数科-x-StarRocks-数字化技术实践

华润万家是世界 500 强企业华润集团旗下优良批发连锁企业，也是中国最具规模的批发连锁企业。万家数科商业数据有限公司（以下简称“万家数科”）是华润万家 100% 控股的信息科技公司，在服务华润万家的同时，为零售商及其生态提供外围业务零碎的整体解决方案与运维服务。

2019 年，万家数科自主研发了聚合领取平台——Vapay，作为腾讯、阿里的独立软件服务商 (ISV) 为零售商提供聚合领取服务，开启市场化之路。2021 年自主研发了供应商数据服务平台——数据罗盘，为零供协同赋能。

#01

万家数科聚焦在批发行业的“业财一体”数智化技术创新实际

—

如何把批发行业的业务流程、财务会计流程、治理流程有机交融，使财务数据和业务数据融为一体。实现最大限度地在企业外部实现数据共享，实时控制经济业务，实现信息化治理、降低成本，为企业博得更多商机和利润。

在技术层面上，万家数科踊跃翻新，通过建设业内独创的微服务架构 “规定核心”、“单据核心”，重塑财务规定，为业财一体化奠定要害根底。通过业务中台、数据中台双轮驱动，为业务赋能。

#02

双中台下的数据查问困局

—

原构建的数据流程图如下：

​

1. Apache Hive（以下简称 Hive）中的数据存量已有上百 TB，供应商的 API 接口调用都须要数仓开发工程师从 Hive 中跑批捞数据，开发工作量沉重、效率低、运维老本指数级增长；
2. MySQL 缓存库是 Hive 离线 T+1 计算好的后果数据，所有 API 接口调用均面向这个缓存库，将来还会面向内部单干供应商如京东、美团，经常出现 API 接口调用超时；
3. 对于前端业务零碎间接产生的单据明细数据，为了晋升洽购协同效率，针对市场变动快速反应、降低库存老本，从下单、审批到订单洽购、配送、单据结算的整个过程供应商心愿看到实时的数据更新，对于局部高流量的业务查问，即便做了分库分表处理，存量数据也达到了千万级，MySQL 难以撑持，响应工夫无奈达到预期。另外，海量数据压缩率过低，也减少了平台老本。
4. 基于微服务模式下的 API 数据接口组合模式，在查问某个供应商的应付款余额等大量数据查问申请时还能够应酬。对于批量查问，比方，查问所有解冻状态的供应商应付款余额，就比较复杂了。须要先依据解冻状态，通过供应商 API 接口找出所有解冻的供应商编码，再利用这些编码到应付款余额 API 中查问。前端还须要通过程序代码进行查问后果的拼接。API 接口服务的不稳固，常常会呈现数据查问超时，API 组合模式检索扩散在多个服务中的数据也导致存在低廉、低效的内存数据拼接。

#03

寻找解决问题的银弹

—

咱们信心用一个超强的数据底座，实现即席数据查问，打造实时数仓。

在数据底座的产品选型上，咱们比照了 ClickHouse、TiDB、StarRocks：

• ClickHouse：在单表查问上有比拟好的查问性能，但咱们的业务场景波及较多的多表 Join，所以 ClickHouse 并不能很好满足咱们的需要；
• TiDB：相比 ClickHouse 和 StarRocks，更适宜 TP 类的业务场景，在 AP 场景下的查问性能绝对弱一些；
• StarRocks：已实现全面向量化，反对高并发查问、简单 SQL 查问。在单表和多表关联查问性能都体现比拟好，数据能够灵便建模，反对规范的 MySQL 协定。作为新一代极速对立的 MPP 数据库，StarRocks 有稳固的国内技术团队提供本地化反对服务，不便进行集群扩缩容，运维老本绝对低。

通过综合审慎的评估，咱们抉择 StarRocks 来进行咱们的数据底座的搭建。

#04

最佳的解决方案：StarRocks

—

新计划下的数据流程图：

​

作为数据底座，StarRocks 会集前端业务产生的各类过程及后果业务单据，确保业财数据一体，财管后果的一致性，同时也开释核算零碎压力，晋升核算运行效率。也为后续进一步解耦 ERP 造成一套自有产权的批发产业外围 ERP 奠定根底。

目前生产集群将近四百个 CPU 外围，四千 GB 内存，已开发上线近百张报表，解决了之前以 MySQL 作为查问缓存库呈现的查问工夫长、API 接口调用超时的问题：

1. 曾经服务于超过 3000 家门店进行财务结算和对账等，比方月初 / 月末查看供应商付款与欠款状况，以及每天早上门店实时查看不同供应商的销量状况。
2. 查问 QPS 在近千级别，可做到秒级提早。

#05

展望未来

—

StarRocks 工具在“业财一体化”技术计划施行落地的过程中，无论产品力还是服务能力，都带给了咱们很高的信念。因而后续解决方案降级中，打算将相干业务的技术计划逐渐迁徙到 StarRocks，实现 OLAP 层对立。

另一方面也将持续摸索 StarRocks 新 feature 在翻新数字化转型的典型数据分析场景中利用。

万家数科将继续广纳新技术，在数据应用领域继续发力，打造批发行业的数字化标杆。

对于 StarRocks

StarRocks 创建两年多来，始终专一打造世界顶级的新一代极速全场景 MPP 数据库，帮忙企业建设“极速对立”的数据分析新范式，助力企业全面数字化经营。

以后曾经帮忙腾讯、携程、顺丰、Airbnb、滴滴、京东、众安保险等超过 110 家大型用户构建了全新的数据分析能力，生产环境中稳固运行的 StarRocks 服务器数目达数千台。

2021 年 9 月，StarRocks 源代码凋谢，在 Github 上的星数已超过 3100 个。StarRocks 的寰球社区飞速成长，至今已有超百位贡献者，社群用户冲破 5000 人，吸引几十家国内外行业头部企业参加共建。

​