简介： 本文内容整顿于阿里资深技术专家姜伟华在DataFunTalk上的演讲，为大家介绍阿里巴巴基于一站式实时数仓Hologres建设实时数仓的教训和解决方案。
导读：大数据计算正从规模化走向实时化，实时大数据建设过程中开始面临很多的痛点和问题。本文内容整顿于阿里资深技术专家姜伟华在DataFunTalk上的演讲，为大家介绍阿里巴巴基于一站式实时数仓Hologres建设实时数仓的教训和解决方案。

分享的内容从以下三点开展：

实时数仓的演进：一站式实时数仓
Hologres：阿里通过大规模验证的实时数仓
阿里CCO部门基于Hologres的一站式实时数仓建设过程与教训

点击查看视频回放：https://www.bilibili.com/vide...

作者：姜伟华（果贝） 阿里巴巴资深技术专家 ，实时数仓Hologres负责人

实时数仓的演进：一站式实时数仓
1、大数据正从规模化走向实时化
大数据计算正从规模化走向实时化。

随着业务的倒退，不论是实时大屏，还是智能交通、银行金融风控、或者是实时举荐都迫切的须要更实时的数据助力业务增长。

常见的实时数仓有两种场景：

面向BI或者内部人员的OLAP剖析：次要通过OLAP引擎做明细+自在剖析
面向B/C端的线上服务（Serving）：通过Lambda架构预计算后写入KV零碎，通过KV零碎线上服务。
两个场景用了两套架构，导致理论应用时痛点也非常明显，包含：结构复杂保护难、同步数据艰难、数据孤岛、开发成本低等，同时也须要保护很多套零碎，无奈疾速响应业务麻利需要。业务团队上手老本高，必须大数据团队撑持。

image.png

下面是咱们看到的在大数据倒退过程中的广泛现状。上面，咱们也来看看由业务催生的大数据技术发展趋势。

2、实时大数据须要麻利化

image.png

首先第一个趋势就是大数据开发须要麻利化。包含：

应用普惠化
业务能自助开发：业务团队心愿本人可能来做业务开发，而不是把需要提给大数据团队排期开发。
低代码：业务团队相较大数据团队的开发能力更弱，不肯定都会Java或Scala这样的语言，有的只会SQL，有的甚至SQL都不会，只会各种BI工具，所以要实现业务团队低代码开发，只须要可视化配置就能失去想要的数据。
数据治理成为刚需：当把开发能力下沉到业务团队时，须要保障比拟高的数据品质，所以数据治理成为刚需，否则业务团队开发进去的后果与原始数据无奈对齐，会造成十分多的麻烦。

无学习老本
像数据库一样应用大数据：大数据组件上手老本远比数据库要高，业务团队心愿自助开发，升高学习老本，最好能像数据库一样开发。
规范SQL，容易上手：业务团队心愿开发方式是规范SQL，这样上手门槛更低。
适配常用工具（如Tableau)：同时，业务团队心愿开发后果能够和常用工具不便对接，缩小开发量和工具学习老本。

开发麻利化
写入即剖析：对业务团队来说，不心愿保护简单的链路体系，最好能写入即剖析，缩小ETL档次，缩小预聚合。
存储明细数据，而非预计算后果
灵便剖析，疾速上线：业务变动疾速，而预计算灵便度太差，须要更改指标计算逻辑时，须要做十分多的改变。而业务侧有很强的疾速剖析、疾速上线的诉求。

所有麻利化的需要和趋势，都依赖一款弱小的实时数仓引擎能力实现。

3、实时数仓走向在线化
传统上，数仓是线下零碎，并非用于生产零碎。但随着业务的倒退，线上数据也须要更加灵便，所以越来越多的业务把实时数仓作为在线零碎来应用。所以咱们能够看到，实时数仓开始从传统的外部应用，逐步走到台前，被越来越多的ToB、ToC在线业务应用。如下图的阿里淘宝的智能客服和达摩院的小蛮驴无人配送服务，背地都依赖实时数仓技术。

image.png

image.png

4、从阿里看实时数仓新趋势：一站式实时数仓
所以实时数仓的发展趋势，不再是把OLAP剖析和线上服务两个场景齐全割裂，而是心愿通过一站式实时数仓去解决这个问题。业务更心愿，无论是实时写入还是离线写入，都能对立写入至一个实时数仓，而后通过这个实时数仓来对外提供线上服务和OLAP剖析两种能力。

基于此，阿里提出了一个新的理念：剖析服务一体化（Hybrid Serving/Analytics Processing, HSAP），冀望通过一个产品解决就能OLAP剖析和线上服务两个问题。HSAP是比拟技术化的概念，与之对应的业务概念就是“一站式实时数仓”。

image.png

一站式实时数仓的劣势非常明显：实时数据和离线数据对立存储、线上服务和线下剖析不割裂， 同时因为存有明细数据，所以就能麻利响应变动，能够疾速构建数据服务……

而阿里云产品Hologres，则是HSAP理念下的最佳产物，通过了阿里多个外围场景的生产验证。上面咱们将会对其进行进一步介绍。

Hologres：阿里一站式实时数仓
1、Hologres：通过阿里多个外围场景验证的一站式实时数仓
基于一站式实时数仓HSAP的理念，阿里外部齐全自研了Hologres。Hologres从诞生至今已有5年多的工夫，经验了阿里外部多个外围场景的生产验证，包含淘系数字化大屏、电商剖析、阿里妈妈广告投放、智能客服、物流的菜鸟、达摩院、飞猪、饿了么等。并且也稳固撑持了历年的阿里大促场景，如双11、618等。在2021年的双11中，写入峰值达11亿+/秒，单个业务点查峰值达到上亿条/秒。OLAP剖析场景，单业务峰值达到2000+QPS，同时反对了PB级数据存储。

image.png

2、Hologres与阿里自研大数据产品矩阵深度兼容
Hologres作为大数据OLAP剖析与线上服务的对立进口，一套零碎就能提供剖析和服务2种能力。依靠Hologres，再联合阿里大数据产品矩阵如DataWorks、MaxCompute、Flink、DLF等，能十分完满的反对实时离线一体、剖析服务一体、湖仓一体、流批一体等场景。

image.png

3、一站式实时数仓Hologres的演进过程
对Hologres来说，最开始也并不是能齐全反对各种场景，其能力是基于业务了解和技术发展趋势一直演进的。

image.png

2020年，Hologres反对通过一套技术栈，通过行存和列存两种存储格局来别离提供线上服务和OLAP剖析两种能力。相比传统形式，最大的劣势就是对立技术栈、对立模型、对立SQL。同时也比拟不便做数据治理。然而数据须要行存列存各写一份，存在割裂，应用上还是有些不不便。

2021年，Hologres反对了行列共存的表，做到了One-Data ，Multi Workload。即一份数据供线上服务和OLAP剖析两个Workload应用。其中的行存用来给线上服务用，列存用来给OLAP用，行存和列存的数据是强统一的不须要存储多份，缩小冗余和反复导数。同时在企业级能力上提供高可用部署，反对读写拆散，无效的隔离剖析和服务两种场景，保障了线上服务的稳定性。这些能力也在2021年阿里双11生产级验证。

但咱们认为这还不是一站式实时数仓的齐全态。

2021年解决的问题是一份数据多个利用场景，而在之后要解决的问题是如何更加的简化数据加工链路，能在一个平台上把数据加工过程用SQL表达出来。比方实时物化视图。目前相干性能正在开发中。这样在横向（多种利用场景）和纵向（数据加工链路）两个维度上都实现了“一站式”。

阿里CCO一站式实时数仓建设教训
Hologres反对了阿里团体内十分多的外围业务场景，比方阿里妈妈、淘宝、菜鸟等。上面咱们将会以阿里CCO为例，介绍其实时数仓建设过程中的教训和思考，以帮忙大家在建设实时数仓这条路线上走得更加便捷。

1、 CCO利用场景介绍
阿里巴巴CCO全称Chief Customer Office，次要负责阿里全链路的客户体验。其次要的场景有：

客服现场调度：人工调配客服坐席，疾速响应线上问题
购物链路预警：在淘系的购物链路中（曝光、点击、加购、下单、物流、售后）发现潜在问题并对客服做出预警，这样客服就能疾速响应客户的相干问题并及时处理，防止信息滞后。
AI智能服务：通过AI智能客服承接淘系的在线客服答疑问题，，防止耗费过多的人力老本。

目前CCO业务背地的实时数仓，承载着上千个Flink实时工作，耗费几万CU，写入峰值4000万+条/秒，产生2000万+条/秒Binlog，有超过上千张的行存表和4000张+的列存表。尽管CCO的数据量在阿里不是最大的，然而业务链路却是最简单之一。

image.png

2、CCO实时数仓的三代倒退历程
CCO的实时数仓建设也经验了传统数仓-流批一体数仓-新一代高可用数仓的3代倒退过程，且目前第三代还在一直的迭代中。

image.png

传统数仓1.0： 在2016至2017年，通过Flink实时数据加工，把预计算后果写到HBase或MySQL等KV存储中，而后对外提供查问。强调的是重加工和预计算，并且整个链路都是端到端，作业和作业之间不共享数据，就是端到端的烟囱开发。

流批一体数仓2.0：然而业务倒退太快，到2018年烟囱开发式的数仓无奈更好的承载业务需要。于是用Flink构建了实时数仓的分层（DWD/DWS/ADS)，通过音讯队列Datahub来承载。这样，不同的Flink作业之间就能够共享DWD和DWS层的实时数据。计算结果依据业务需要写入OLAP和KV两个引擎。其中OLAP引擎承载的是对内的明细查问剖析; KV引擎对外提供点查服务。

这个架构也是目前市面上比拟风行的架构，同时也有了数仓分层，能更好的为业务服务。然而在理论业务利用中，也很快遇到了问题。

于是来到了新一代高可用数仓3.0的建设： 2020年CCO开始和Hologres一起构建实时数仓3.0。实时数据通过Flink实时写入Hologres，离线数据在MaxCompute加工后也写入Hologres，在Hologres中对立存储了实时和离线数据。再通过Hologres承载OLAP剖析和线上服务两个能力。如果须要二次加工，间接通过Flink订阅Hologres Binlog。

3.0实时数仓架构相比于2.0架构，次要有以下几个劣势：

流批一体和实时离线一体。
与Flink有十分好的配合，缩小了反复开发。
可用性和隔离型高。
与阿里外部的元数据管理体系有很好地连接。

3、技术架构降级的挑战和解法
上面咱们来具体分析CCO实时数仓升级换代过程中遇见的挑战和解法。

实时数仓2.0尽管做到了流批一体，然而实质上还是一个Lambda架构，在理论应用中有很多问题：

首先看业务表象：

工作增速快，老本高：2.0时代也是淘系疾速暴发的时候，业务增长特地快，导致作业增速快，而开发成本十分高，运维压力十分大。
实时数据产研效率低。每到大促，实时研发就会成为瓶颈，工作和表无对立元数据管理，灾备通过双联路实现，开发和压测老本都十分高。

再来看问题背地的起因：

实时工作烟囱化。实时工作尽管做了很多中间层，然而整个烟囱化还是非常明显，KV引擎和OLAP引擎并不通，造成数据孤岛。数据须要多份冗余存储，造成很多数据同步工作，统计下来大略有30%的作业在做数据同步，节约很多资源。
• 实时架构瓶颈。元数据的缺失与引擎的繁多性能，无奈无效的治理数据和工作。

image.png

通过架构3.0的降级，这些问题都失去了很好的解决。

以CCO典型的用户画像场景为例来补充阐明实时数仓3.0如何解决相干痛点。

典型的画像类场景做法是将多个数据源的数据构建成一个实时大宽表，并实时更新。CCO也不例外，基于主题构建实时大宽表时，把不同起源的数据放在大宽表的不同字段，数据来源于多个上游零碎，并且任何字段的更新都能在大宽表中体现进去。传统计划是Flink多流Join，但Flink多流Join的问题在于，上游如果只是一两个流还比拟简便，但如果上游是很多个流，那Flink多流Join就十分麻烦。这个痛点在很多公司在做画像类产品的时候都很常见。

CCO还有更重要的诉求是心愿上游任何一个字段的变动都要去触发整行数据更新，同时能吐出残缺的整行数据被Flink去做二次加工。这也是画像类工作的十分常见诉求。

image.png

在实时架构3.0中，实时大宽表利用了Hologres的主键更新能力，多个上游流作业各自更新同一主键的不同字段，完满解决画像类大宽表数据更新的问题。

同时，CCO和Hologres一起共建了Hologres Binlog。这样，画像大宽表的任一字段更新都会透出Hologres Binlog，Flink再基于Binlog做二次加工构建DWS层。

image.png

2021年，在实时数仓3.0中，Hologres与CCO共建“一份数据、多种负载”的高可用能力，并在2021年双11中生产级落地：

标注1：行存提供高性能的写入、多正本、Flink读取Binlog二次加工的能力。
标注2：列存提供内外服务，通过共享存储高可用部署，多个实例共享一份存储然而计算资源齐全隔离，数据只须要存储一份就能实现剖析服务隔离、读写拆散、高可用等
标注3：灾备计划。在2.0实时数仓中，灾备计划是双链路。而3.0架构中数据实时写入2后会主动实时同步到3去。简略高效的实现灾备

4、CCO典型利用场景实际
上面咱们将联合CCO的3个典型业务场景介绍Hologres在实时数仓3.0中的作用。

场景一：客服资源管理
客服资源管理场景次要是通过数据分析疾速的治理客服资源。这个场景并没有十分强的线上属性，更多的是一个外部剖析零碎。

image.png

在这个场景中，离线MaxCompute数据间接通过Hologres查问减速，将表面和实时数据做关联查问失去剖析后果；对于实时比拟敏感的数据，会通过Flink做轻度汇总，再写入Hologres实时查问。元数据由通过DataWorks数据地图进行查问。这样业务方都能够非常简单高效的自助构建实时监控大屏，比如说某部门人力资源分配状况、接单状况等等。通过BI工具接入Hologres，半小时就能够搭建实时监控大屏进去，十分不便，实现数据麻利化。

场景二：用户声音洞察
用户声音洞察场景次要是用于实时聆用户的诉求，并及时为用户解决问题。

image.png

零碎会实时采集用户在淘系购物体验的全链路数据，实时写入Hologres，并通过Binlog订阅二次计算，提供QPS实时剖析的能力，反对超过20个BU的用户声音洞察。

场景三：智能客服服务
智能客服场景是是淘宝App上的一个to C能力，比方为88VIP的智能客服服务旨在通过智能化的服务升高人工服务老本。

image.png

这个场景就是十分典型的在线服务场景，当用户发动服务申请时，智能服务须要疾速响应并提供相应的帮忙。在该场景中，充分利用了Hologres的在线服务能力，并应用了Hologres内置的达摩院向量检索Proxima能力，反对向量检索，通过对知识库的向量检索来极大晋升了常识的检索准确度，缩小了架构的复杂度。

总结
通过阿里一站式实时数仓建设教训的分享，咱们冀望通过实时数仓Hologres可能缩小大数据建设中的痛点，行业互通有无，更好的赋能业务增长。

附件：PPT下载

钉钉扫码退出Hologres用户交换群，即可下载本次大会演讲PPT。

理解Hologres：https://www.aliyun.com/produc...

原文链接：http://click.aliyun.com/m/100...

本文为阿里云原创内容，未经容许不得转载。