更多技术交换、求职机会,欢送关注字节跳动数据平台微信公众号,并进入官网交换群
近日,中国地震台网核心与火山引擎达成单干,单方将围绕 ByteHouse 实时数仓开展单干。
中国地震台网核心为中国地震局直属事业单位,是我国防震减灾工作的重要业务枢纽、核心技术平台和根底信息国际交流的重要窗口;从事地震监测、预报预警、应急响应和信息化工作,是对立领导省地震台、中心站业务的国家地震台。
中国地震台网核心地球物理台网部负责人邹锐主任示意,此前核心始终应用开源数据引擎 ClickHouse,但随着数据量不断扩大,在数据的实时写入去重,数据的更新、删除以及集群运维方面存在严重不足,因而亟需找到新的解决方案。
如何在放弃高性能查问的状况下实现数据的实时写入去重数据更新以及删除,始终是 ClickHouse 用户比拟头疼的问题。以中国地震台网核心为例,核心日常在解决海量数据时,因为开源 Clickhouse 的去重提早导致数据的准确性升高,同时随着元数据的一直增长,导致集群的重启工夫过长,进而影响业务的时效性。
字节跳动在 2017 年就开始大规模启用 ClickHouse,并领有着国内规模最大的 ClickHouse 集群。在深度应用的过程中,字节跳动积攒了大量教训,并对 ClickHouse 做了深度优化与自研革新的工作,最终在 2021 年 8 月正式公布 ByteHouse,并通过火山引擎对外服务。
架构上,火山引擎 ByteHouse 采纳自研的高可用引擎 HaEngine,数据实时更新、删除的 HaUnique 引擎,以及高可用实时写入的 HaKafka 引擎,同时在集群的运维和多表关联的场景都做了相应的加强。
在上述提到的实时数仓场景下,ByteHouse 应用全自研的优化,在简单查问的场景下具备更高的查问效力,丰盛的表引擎不仅能帮忙地震台网核心实现数据的疾速写入去重、更新、删除与剖析,还能反对高效不便的运维形式,实现高性能更灵便的实时查问。
作为一款云原生数据仓库,火山引擎 ByteHouse 也能够私有化部署,为像中国地震台网核心等面临海量数据实时剖析场景的政企用户们,带来极速的剖析体验,助力企业数字化转型。
点击跳转 大数据平台 ByteHouse 理解更多