1 月 7 日，由阿里云实时数仓 Hologres 和开发者社区独特举办了实时数仓年度发布会。在发布会上，来自阿里云的资深技术专家果贝从阿里的外围场景登程，深度解读了实时数仓技术倒退的新趋势：一站式、在线化、麻利化。在发布会上，Hologres 产品负责人合一针对以后数仓的新趋势，重磅公布了 Hologres 年度重点能力，助力企业更好的建设一站式实时数仓。
​

本文将会从多个角度总结 Hologres 的重点性能，以帮忙用户更加理解和应用 Hologres。

源于业务翻新，继续业务演进

Hologres 从诞生至今曾经走过 6 年的工夫，首次提出服务剖析一体化（Hybrid Serving & Analytical Processing，简称 HSAP）理念，逐渐倒退为企业级一站式数仓，不仅在阿里团体外部服务泛滥外围业务（如淘宝、天猫、1688、菜鸟、本地生存、达摩院等），也在继续云上服务能力输入，助力国内、国内更多企业搭建企业级实时数仓。截止目前，曾经在寰球 13 个 Region 同步提供服务。

全新迭代，年度重磅公布

Highlight

21 年 Hologres 在引擎能力上重点发力，经验了三个外围版本的迭代，下一代产品也曾经在内测中，仍旧放弃着疾速迭代的节奏。通过行列共存、高可用部署、读写拆散、疾速 Failover 等能力，显著改善了数据服务的稳定性，丰盛了业务应用场景：
1、性能继续晋升：每个大版本继续优化引擎性能，在优化器、查问引擎、存储引擎多个层面改良，以 32core TPCH 100G 测试后果为例，在 1.1 版本相比去年 0.8 版本有 256% 的性能晋升（查问局部），晋升效果显著

2、强化高并发的服务（serving）能力：行存吞吐晋升 100%，列存吞吐晋升 30%，反对行列共存，一份数据反对多个场景，列存降级 AliORC 格局，更高的压缩比，显著升高存储老本。
​

3、企业级高可用部署和企业级治理能力上重点发力，通过透出更多维度更细粒度的观测性指标，晋升企业的自运维能力。

上面将会针对重点性能进行更加细粒度的介绍。

原生 JSON 反对

JSON 是近期 Hologres 重点发力的畛域，因为数据采集越来越灵便，数据加工也越来越麻利，过来须要打宽拉平的 JSON 数据，往往保留了原始的不标准构造。因而如何解决 Schemeless 场景就尤为重要。
​

传统上，JSON 作为一个数据单位，采纳 Schema on Read 模式，提供了存储上的灵活性，但限度了剖析时的效率，为了拜访 JSON 中局部节点不得不读取整个 JSON 数据结构，效率十分低下，存储上也很难压缩。

Hologres 翻新了 JSON 数据的存储形式，在底层存储上采纳相似列存的存储格局，将 JSON 中不同的节点门路映射为虚构的列，提供原生的列存压缩、索引能力，在查问层，主动下推 JSON 拜访算子，极大的减速了 JSON 数据过滤、统计的效率。在协定层，齐全兼容了 PG 的标准，反对了 JSON、JSONB 等类型，反对 PG 原生的各种结构、拜访、更新的算子。基于这些翻新的能力，JSON 成为 Hologres 举荐的数据类型，适宜于埋点日志剖析的场景。

Binlog 全链路事件驱动

相似于传统数据库 MySQL 中的 Binlog 概念，在 Hologres 中，Binlog 用来记录数据库中表数据的批改记录，比方 Insert/Delete/Update 的操作。通过 Flink、JDBC 生产 Hologres BInlog，实现数仓档次间全链路实时开发，在分层治理的前提下，缩短数据加工端到端提早。典型利用场景如下：

1. 数据实时复制、同步场景，典型的场景就是把一张 Hologres 的行存表实时转化成另一张列存表，行存反对点查点写，列存反对多维分析型需要，同步的逻辑由 Flink 反对。这个是 Hologres 在 V1.1 版本之前的一种典型用法。在 Hologres 1.1 中反对了行列共存表后，能够一张表满足行存和列存两种需要，免去了额定的调度开销。
2. 实现事件的全链路驱动：通过 Flink 生产 Hologres Binlog，实现事件驱动的加工开发，实现 ODS 向 DWD，DWD 向 DWS 等的全实时加工作业。
3. 数据变动监控：监控数据的实时变动，比方监控库存数据、敏感字段等的实时变动，触发告警。
4. 数据在实例间同步：用户能够创立多个 Hologres 实例，别离用于公共层加工、业务域加工等职责，不同实例之间能够通过 Binlog 实现数据的实时同步，实现了数据的实时流动和分享。

实时离线一体化数仓 Hologres+MaxCompute

MaxCompute 是阿里云可扩大的大数据加工引擎，技术成熟、服务稳固。Hologres 与 MaxCompute 均采纳盘古存储引擎，底层技术雷同。Hologres 采纳原生向量化查问引擎减速查问 MaxCompute 数据，实现对 MaxCompute 的查问减速能力，此种场景无需数据迁徙和导入数据，高性能和全兼容的拜访各种 MaxCompute 文件格式，为 BI 工具和大数据数仓之间建设起交互式剖析的快速通道。Hologres 新版本中，曾经默认应用原生的向量引擎直读 MaxCompute，缩小跨引擎的 RPC 调用，更少的引擎间数据序列化，同一个引擎，有利于缓存的复用，性能晋升 30%-80%。

​实时离线一体化计划中很重要的是数据交换的简化，甚至无需数据挪动。表面查问是不须要挪动数据的场景，但因为表面没有索引和 SSD 的优化，查问性能和并发能力低于内表场景，在性能敏感的场景下，依然倡议数据从 MaxCompute 同步到 Hologres 中，在同步操作中，同步的效率就更加重要。目前通过存储技术的翻新，反对了 MaxCompute 与 Hologres 之间每秒百万行的双向同步，简化了数据开发、数据回刷的场景。
​

MaxCompute 与 Hologres 元数据的买通也是一项继续的工作，晚期 Hologres 反对了元数据的批量导入，能够把整个 project 的全副表一次性导入，也反对批量更新。最近 Hologres 反对了元数据的主动导入与刷新，当 MaxCompute 侧有新的表创立，或者表构造的变更，无需手动刷新，元数据能够主动同步到 Hologres，体验更简便。
​

与此同时，为了更加敌对麻利的反对 MaxCompute 减速场景，Hologres 提供了一种新的服务状态：共享集群。在该状态下，用户无需提前部署实例，而是采纳 Serverless 的形式，依据查问数据的扫描量计费，这个状态仅反对 MaxComputeBI 减速场景，不能创立内表和索引，对于过来应用 MaxCompute Lightning 查问减速的用户能够平滑切换到这种共享集群中，不必从新建表，不必批改 BI 协定，可用连接数比 Lightning 更多，服务更稳固。

减速数据湖摸索

传统架构湖和仓还是比拟割裂的，有些企业在建设数据湖时，对数据治理和数据管理绝对比拟艰难，随着企业过程的推动，越来越多的企业开始摸索湖仓一体。Hologres 在往年重点优化了湖仓一体场景，反对了表面间接拜访 OSS 数据和数据回流 OSS，反对 DLF 集成，减速数据湖摸索，助力湖仓一体建设。

深入流量剖析场景

流量剖析是 Hologres 继续减少的场景，目前反对了高性能的 Bitmap 库 RoaringBitmap，能够以常量复杂度，疾速计算 UV，是解决互联网级别高基数准确去重、UV 计算的要害伎俩，宽泛应用在用户画像、标签筛选等典型场景，在阿里妈妈广告场景中被深度应用。

同时 Hologres 也内置了更多的漏斗剖析、留存剖析、明细圈人等函数，通过这些内置的函数，极大的简化了开发的工作，也保障了简单操作的执行效率。

多负载资源隔离

资源组隔离是无效撑持混合负载的一种伎俩，Hologres 反对了单实例多资源组的设计，在这个设计中，总的计算资源被划分为若干资源组，不同的资源组示意了肯定的 CPU 和内存资源，同时设定用户与资源组之间的绑定关系，绑定之后，用户只能应用对应资源组的计算资源，所有未绑定的用户会应用零碎默认的 Default 资源组。目前资源组之间资源不共享，不抢占，资源组外部多个用户共享同一组资源。

如上图的右侧是一个用户视角的划分，一个 256Core1024G 的实例，划分为 3 个资源组，不同的利用场景采纳不同的账号，比方 OLAP 剖析用 Default 资源组，调配 50%，在线点查须要 20% 的资源，而数据实时写入调配 30% 的资源。通过资源组的隔离能力，防止了 Bad Query 把全副资源吃尽的问题，能够依据业务优先级分配资源。

高可用部署

资源组隔离是一种单实例外部不同线程池之间的计算资源的隔离，无奈做到故障隔离和 100% 的读写隔离。因而 Hologres 持续翻新更好的高可用计划，在 V1.1 版本，反对了共享存储的多实例部署计划。在该计划中，主实例具备残缺能力，数据可读可写，权限、零碎参数可配置，而子实例处于只读状态，所有的变更都通过主实例实现，实例之间共享一份数据存储，实例间数据异步实时同步，提早在毫秒级别。

利用场景：
1. 读写拆散：这个计划实现了残缺的读写拆散性能，保障不同业务场景的 SLA，在高吞吐的数据写入和简单的架构作业、OLAP、AdHoc 查问、线上服务等场景中，负载之间物理上齐全隔离，不会因写入产生查问的抖动。
2. 多类型负载细粒度资源分配：一个主实例能够配置多个只读从实例，实例之间能够依据业务状况配置不同规格，例如应用 256Core 作为写入和加工实例，512Core 作为 OLAP 只读实例，128Core 作为在线 Serving 实例，32Core 作为开发测试实例。

3. 在线服务高可用：任何零碎都有不稳固的时刻，磁盘损坏，零碎 Bug 等等，在撑持在线高可用服务场景下，须要在零碎级别撑持冗余的高牢靠能力，在一个服务零碎呈现故障时，能够疾速切换到备用系统上，且切换的工夫要尽量短，数据状态保持一致。能够通过部署多个子实例的模式，提供多个 Endpoint 接入，当某个实例呈现故障时，应用层能够疾速切换到其余 Endpoint 上，实现了零碎的高可用和灾备切换。

加强零碎可观测性

零碎可观测性通过 HoloWeb 继续可视化透出，包含慢查问、执行打算、沉闷连贯等，晋升企业自运维能力：

• 慢 Query 日志：反对对系统中产生的慢 Query 或失败 Query 通过工夫、plan、cpu 耗费等各项指标进行诊断、剖析和采取优化措施，进步自助诊断能力。
• 沉闷连贯：通过对沉闷连贯的可视化查看，定位连贯状态、连接数以及用户等的状况，以达到剖析实例连贯状态和诊断运行 SQL 的目标。
• 执行打算：通过多种可视化展示的形式，对 Query 进行运行剖析、执行剖析，具体算子解读，并进行优化倡议疏导，防止自觉调优，升高性能调优门槛，疾速达到性能调优的目标。
  

企业级平安能力降级

企业级平安能力再次降级，反对数据加密、访问控制、容灾备份等：
1）数据加密：

• 基于密钥治理服务 KMS（Key Management Service）对数据进行加密存储，提供数据动态爱护能力，满足企业监管和平安合规需要。
• 与 MaxCompute 无缝买通，反对减速 MaxCompute 加密数据，向实时离线一体化更进一步。
• 反对数据脱敏，对接数据保护伞，晋升数据隐衷性。

2）访问控制

• 反对 IP 白名单，实现更加细粒度的平安拜访。
• 对接 ActionTrial，反对实例级别行为审计。

3）容灾备份

• 反对同城跨机房容灾（专有云）
• 反对 容灾，异地多活，并实现读写拆散和读的高并发，同样也能够基于多个实例实现读的高可用。除此之外，还能够进行版本热降级，存储系统迁徙。
  

PG 生态兼容

反对更加丰盛的数据类型、更多元的扩大函数，同时在 BI 可视化剖析上继续发力，无缝对接更多 BI 工具，升高学习门槛，也向 PostgreSQL 兼容更进一步。

继续专一于一站式实时数仓

Hologres 将来会持续专一在实时数仓的可靠性、效率和可运维能力上，致力于 Real-time，专一于 One SQL、One Data，晋升企业级可运维性，升高开发门槛，实现企业级一站式实时数仓的终极目标。具体会在以下方面发力：

Real-Time

简化实时数仓的开发体验，反对 Pull 模式，被动从上游的消息中间件拉取数据，简化数据落库的过程。正在研发实时物化视图的能力，通过实时物化视图，用户能够把简单的加工逻辑形容为视图的定义，Hologres 保障视图与表之间的实时同步个性，通过 SQL 表白数据的加工逻辑，实现数据分层的实时化，与数据流动的自动化。

OneSQL

欠缺 Hologres SQL 的表达能力，反对 OLAP/Serving/AI 多个场景，继续改善稳定性和效率，不仅要查的快，更要查的稳。继续优化实时离线一体化体验，进一步缩小数据挪动的需要。欠缺 JSON 的各类索引和压缩效率。会反对 UDF 能力，欠缺可扩展性，将更多的扩大可能性交给用户。对计算资源的弹性也是重点方向。

OneData

进一步与 DLF、MaxCompute、EMR 等存储和元数据系统买通，防止数据孤岛，反对湖仓一体解决方案。正在研发存储冷热分层，在 SSD 根底上引入 HDD，能够显著升高用户的存储老本。

Ops

最初是可运维性，会继续在零碎可观测、可调优发力，防止零碎黑盒话，支持系统热降级、热扩容，升高运维危险。会极大改善数据治理能力，与 DataWorks 单干，反对更多的元数据分析与诊断。

附件：发布会 PPT 下载

对于本次发布会的 PPT 材料，请移步钉钉用户群获取