乐趣区

关于阿里云:阿里云实时数仓Hologres年度发布解读数仓新趋势

简介:阿里云实时数仓 Hologres 年度公布,解读数仓新趋势。

1 月 7 日,阿里云实时数仓 Hologres 公布最新版本,在老本、可用性、在线高可用等多方面进行了能力降级,行存吞吐晋升 100%,列存吞吐晋升 30%,反对行列共存,反对更加丰盛的 OLAP 剖析场景,反对 Binlog 全链路事件驱动加工,原生 JSON 数据类型和索引,进一步升高开发和运维老本,加强 Hologres 高并发的在线服务能力。

Hologres 是一站式实时数据仓库引擎,反对海量数据实时写入、实时更新、更新及剖析、实时剖析,反对 PB 级数据多维分析与即席剖析以及高并发低提早的在线数据服务等,与 MaxCompute、Flink、DataWorks 深度交融,提供离在线一体化全栈数仓解决方案。

阿里云资深技术专家果贝示意:“随着企业数字化转型的加剧,实时数仓技术开始逐步从幕后走到台前,被越来越多的企业作为生产零碎撑持多种业务场景,一站式、在线化、麻利化成为实时数仓新的发展趋势”。

数仓建设过程中,开发、运维老本和在线高可用始终是难点和痛点。大数据场景上,解决的数据量和复杂度远高于数据库场景,传统数仓通常是用不同的产品去实用不同的场景,比方 ClickHouse 罕用于 OLAP 剖析,HBase 罕用于服务场景,无奈用一个产品满足所有需要,多套零碎非常容易造成架构冗余,运维简单等问题,导致老本只增不减。同时,随着实时数仓被作为生产零碎的宽泛应用,业务对系统的可用性和稳定性都提出了更高更严苛的要求,但实时数仓技术要实现生产高可用也须要面临肯定的取舍和挑战,比方高性能的同时资源隔离、宕机时的疾速恢复能力等,以满足不同场景的 SLA。

基于以上问题,Hologres 在老本、可用性、在线高可用等多方面进行了能力降级,进一步升高开发和运维老本,加强 Hologres 高并发的在线服务能力,行存吞吐晋升 100%,列存吞吐晋升 30%,反对行列共存,反对更加丰盛的 OLAP 剖析场景,反对 Binlog 全链路事件驱动加工,原生 JSON 数据类型和索引,减速半构造数据的检索,保持一个零碎解决大数据问题的准则,降本增效,助力服务剖析一体化建设。

在生产高可用方面,Hologres 重磅公布不同档次的隔离与高可用部署,反对单实例内资源组隔离,实现多租户的计算资源隔离,反对多实例高可用部署(共享存储),实现读写拆散和故障隔离,并联合 Hologres 底层外围调度等能力,实现不同场景生产高可用。此外,Hologres 在可用性、生态兼容、企业级运维能力上一直摸索和更新,帮忙企业实现新一代一站式实时数仓。

据理解,Hologres 还屡次反对了阿里巴巴双 11 等大促流动,在 2021 年阿里巴巴双 11 期间,禁受住了每秒 11.2 亿条的高速写入,和每秒 1.1 亿次的查问峰值(蕴含点查和 OLAP 查问),创历史记录。

除此之外,Hologres 除了反对阿里巴巴的 GMV 实时大屏等业务外,还反对了实时搜寻举荐、菜鸟智能物流、达摩院无人车配送等外围业务场景,这意味着实时数仓技术开始在阿里巴巴外围业务锋芒毕露,并在性能、生产稳定性等方面禁受住了严格的生产考验。

原文链接
本文为阿里云原创内容,未经容许不得转载。

退出移动版