共计 3795 个字符，预计需要花费 10 分钟才能阅读完成。
作者：张杰，逾越速运大数据架构师 （本文为作者在 StarRocks Summit Asia 2022 上的分享）**
作为大型现代化综合速运企业，逾越速运领有 3000 多家服务网点，日均解决 30 多万票运单。海量运单数据涌来，对立 OLAP 引擎、建设实时数仓、将极速数据分析能力利用到多个场景，成为了逾越速运大数据部门的外围工作指标。
通过将 StarRocks 作为大数据引擎反对，逾越速运的单笔运单计算时长从 90 秒缩短到 4 秒，单位工夫内订单计算量晋升了 400%，每年节俭了百万级老本开销。
本文就将着重分享逾越速运如何利用 StarRocks 构建对立极速的运单剖析。次要内容包含：OLAP 引擎对立，实时数仓建设，多场景利用，总结和瞻望。
#01
OLAP 引擎对立
1、业务背景
逾越速运是一家主营“限时速运”服务的大型现代化综合速运企业，领有“国家 AAAAA 级物流企业”、“国家级高新技术企业”、“中国物流行业 30 强优良品牌”、“中国电商物流行业知名品牌”、“广东省诚信物流企业”等荣誉称号。逾越速运领有员工 5 万 + 名，服务网点 3000+ 家，笼罩城市 500+ 个，日均解决 30 万 + 票。
逾越速运的大数据中心提供了规范的大数据平台，为 Java 开发、基于场景的数据分析、定制化 BI 开发等需要提供了 100 多个相干根底工具、产品和服务组件。
团体大数据平台提供 1 万多个接口，客户能够应用这些接口来获取相干数据并开发实现所需的定制 IT 服务产品。平台所提供接口每天被调用的次数达到千万级数据量。
上游业务零碎包含团体 ERP 零碎或是业务挪动端利用零碎等对大数据平台的数据服务的时效性要求较高，99% 的响应工夫都须要达到 1 秒以下。
大数据平台使用者包含整个团体所属的五万多名员工，波及到所有的内外部生产数据，比方核算运单业务和绩效考核等等。
团体业务信息化晚期，因为数据量和业务场景都绝对较少，MySQL 被用来满足理论须要。起初随着数据量增多，场景增多，退出了大数据查问引擎 Presto 和易扩大 ES 引擎的相干应用，来满足大规模数据存贮和查问的需要。
前期又为了满足实时性需要，退出了 Impala + Kudu 的引擎，也退出 TiDB 的引擎，即使过后存在多种引擎的反对，然而在多表关联查问和大宽表聚合查问上的性能依然存在肯定的问题。
再起初退出了 ClickHouse，尽管在查问性能上失去了较大晋升，然而也带了新的问题，比方维护性的工作减少、开发模式扭转等，并且 ClickHouse 在多表关联查问的性能体现上较弱，无奈满足理论业务需要。
基于以上变动，最初造成的场面就是 BI 开发人员在进行业务场景开发时须要判断到底须要哪种引擎来实现需求，呈现了引擎抉择艰难。并且零碎运维也须要对多种大数据引擎都有肯定理解，能力满足维持零碎稳定性的工作需要，变相减少了工作压力和响应了工作效率。
下图展现了应用 Presto 大数据查问引擎时，查问工夫的体现，能够看到性能并不现实，工作时间段内 3 秒、5 秒等超时状况十分多，大量工夫被破费在 SQL 性能优化上。
2、查问引擎选型
为了解决大数据平台引擎抉择艰难和运维保障要求高的技术痛点，大数据团队于 2021 年下半年做了要进行引擎收敛的决策。大数据团队依据理论运单场景和历史教训，并且应用同样的硬件机器和数据集，定义了满足本身需要的 Benchmark 规范，要求所选引擎既要有好的查问性能，又要能反对数据实时更新，满足实时报表的需要。
如下为性能测试后果比照图，能够看到 StarRocks 的体现要优于其余三种引擎。
3、引擎收敛
最终大数据团队保留了两个引擎，ES 引擎和 StarRocks 引擎。
ES 引擎能够解决大规模数据的明细查问问题，比方针对几个月或者是整年的数据明细下钻，数据并发查问等。
StarRocks 引擎则有以下长处：
- AP 查问性能优异，市面上难有对手。
- 兼容 MySQL 协定，对团体上游的零碎完满联合，间接连贯 MySQL 驱动即可实现连贯，相干查问语法与 MySQL 兼容。
- 反对主键更新模型，能够解决实时问题。
- 反对多种类型的表面，反对联邦查问，反对 ES 表面、Hive 表面、集群之间的表面等更多场景。
- 集群保护简略，对第三方组件依赖较少。
- 集成了大数据平台相干工具，比方数据加载工具 Stream Load 和 Spark Load 等，优化了数据导入，比方上亿数据量导入工夫从几小时缩短到几分钟。
4、最终收益
引擎收敛的后果在以下各个方面都比较突出：
- 引擎变动带来的业务接口查问速度晋升，接口查问速度达到毫秒级。一方面 BI 开发人员不必在 SQL 优化上破费太多工夫，从而把精力放到业务了解上。用户在应用上体验晋升，无提早期待感。
- 成为外围引擎，日均调用 600 万 + 次，10+ 套 StarRocks 集群满足了 20 多个业务的需要。
- 简化了 BI 开发模式，比方开发人员不须要把工夫耗费在引擎抉择上，放慢开发进度。之前的架构中须要 ETL 过程所操作的数据预处理工具也能够通过 StarRocks 引擎上来实现。效力晋升了 20%。
#02
实时数仓建设
1、运单剖析 - 背景
大数据中心须要汇总上游各个业务零碎数据，如销售、物流、绩效工时等相干数据，交融成大的运单宽表给到用户应用，上游包含 ERP 铸剑零碎、BI 工具和星河大数据平台。
数据应用中就会遇到一些问题：
- 字段多，合并效率低
- 多维度剖析 SQL 性能有待晋升
2、运单剖析 - 原有架构
在原有数据处理架构中，数据都是来自上游各个业务零碎的 MySQL。通过 Binlog 用 Canal 工具同步到 Kafka，再通过一些自建的数据同步的工具，将数据同步到 Hive 的表上。这些数据是 5 分钟更新。基于这些更新，咱们又做了离线解决逻辑，做宽表的合并，由最先的每天提供一次缩短到 2 个小时，无奈再缩短。并且宽表中做数据查问速度也要 1 秒到 10 秒，查问提早感较为显著，不能满足预期，应用体验较差。
3、运单剖析 - 现有架构
现有数据架构解决中，宽表的字段合并交由 HBase 进行解决，上游可能有几十个 topic，利用 HBase CDC 的性能，将宽表的所有字段反向同步回 Kafka，就只有一个 topic 了，再用实时的 Flink 写到 StarRocks 中。基于 StarRocks 咱们构建了运单实时宽表，所有运单剖析都是基于 StarRocks 来做数据分析，在 StarRocks 咱们接入了本人的 BI 工具。这样整个链路的时效从 2 小时缩短到 5 秒以内，并且数据接口查问速度变为 3 秒以内，晋升非常明显。
4、运单剖析 - 收益
目前实时数仓的查问性能比 Presto 晋升了 300%，并且最新的 StarRocks 采纳了 PK 模型（Primary Key Model），比之前的 UK 模型（Unique Key Model）在性能上晋升了 200%。
另外，咱们应用了 Flink StarRocks Connector，可能把数据实时地写入到 StarRocks 中去，可能按主键整行更新，并且整个链路更新时效小于 5 秒。
#03
多利用场景
运行老本优化我的项目，其指标是实现每笔订单运行老本最优。如下所示，从业务数据中抽取运单数据，实时同步到两头引擎上，原来应用的是 Impala+Kudu，前面替换成了 StarRocks。数据在计算引擎汇聚后，咱们用 Java 程序做零碎调用，去计算最优运行形式，举荐给业务方，辅助其决策。
如下图所示，业务最优的计算逻辑是在始发地和目的地之间寻找最经济路线，从而节俭相干不必要老本。比方一笔订单从深圳发往东莞，失常流程是收件、分拨进入中转场，再一级级派送给用户，环节繁多。但其实始发地与目的地之间间隔很近，通过中转的形式，能够节俭很多老本。
采纳 Java 调用，两头计算过程由 StarRocks 去实现，次要利用了 StarRocks 微批的能力和并发的能力。
通过新的 StarRocks 大数据引擎反对，最新的单笔运单计算时长从以前的 90 秒缩短到当初的 4 秒。并且因为其弱小的批处理能力和并发计算能力，单位工夫内订单计算量晋升了 400%。
以前须要 15 台大数据节点来反对运单计算工作，当初应用 4 台新型大数据引擎就能实现需要。通过单笔运单优化，每年节俭百万级老本开销。
#04
总结与瞻望
1. 过往教训
利用 StarRocks 的极致 AP 性能，对之前的五六套大数据引擎做了收敛。
StarRocks 大数据引擎中的主键模型实现了所需的实时数仓剖析场景，带来了较好的应用体验，并且在外围业务场景上实现了老本的升高。
2. 将来尝试
将来将在以下三个方面进一步开掘新引擎的价值：
- 将应用新个性来验证资源隔离问题，进而缩小集群的数量，降低成本，缩小保护人员压力。
- 基于新引擎，摸索准实时性问题的解决方案。
- 解决版本一致性问题，对立各个场景下新引擎的应用版本，升高保护复杂度和升高危险产生概率，晋升集群稳定性。
对于 StarRocks
StarRocks 创建两年多来，始终专一打造世界顶级的新一代极速全场景 MPP 数据库，帮忙企业建设“极速对立”的数据分析新范式，助力企业全面数字化经营。
以后曾经帮忙腾讯、携程、顺丰、Airbnb、滴滴、京东、众安保险等超过 170 家大型用户构建了全新的数据分析能力，生产环境中稳固运行的 StarRocks 服务器数目达数千台。
2021 年 9 月，StarRocks 源代码凋谢，在 GitHub 上的星数已超过 3600 个。StarRocks 的寰球社区飞速成长，至今已有超百位贡献者，社群用户冲破 7000 人，吸引几十家国内外行业头部企业参加共建。
