关于数据库:多领域应用落地火山引擎ByteHouse加速云数仓升级

44次阅读

共计 1795 个字符,预计需要花费 5 分钟才能阅读完成。

更多技术交换、求职机会,欢送关注字节跳动数据平台微信公众号,回复【1】进入官网交换群

近日,火山引擎数智平台 VeDI 直播流动「超话数据」在线举办,来自火山引擎的产品及解决方案专家分享了以 ByteHouse 为代表的云数仓产品在字节跳动的演进过程、关键技术以及最佳实际,并通过五个步骤拆解,率领开发者疾速上手云数仓。
现如今,企业正减速走向数字化、智能化,对数据的利用也提出了全新要求,特地是在数据实时剖析、实时部署方面的诉求更加强烈,而云数据仓库为用户实现云原生、智能运维、弹性资源等业务需要带来了很好撑持,成为明天企业数字化基础设施中的要害“底座”。
ByteHouse 则是这样一款云原生数据仓库。ByteHouse 起初是基于开源 ClickHouse 引擎进行技术架构重构和优化,在字节跳动外部大规模利用,其中部署规模超过 1 万 8000 台,单集群超过 2400 台,现已通过火山引擎对外输入。

火山引擎 ByteHouse

据 ByteHouse 产品专家介绍,面对企业级数据处理需要,相比起原生的 ClickHouse,火山引擎 ByteHouse 基于独家自研的高可用引擎及查问优化器,能够为企业提供疾速、稳固、平安的查问服务和数据写入性能。在云原生架构下,火山引擎 ByteHouse 提供了极致扩大的对立数据分析平台,具备杰出的弹性伸缩和可扩展性,确保资源能够灵便地程度扩大;同时,ByteHouse 反对多级资源隔离,为用户资源提供更安心的平安保障。
除了高可用的根底能力,火山引擎 ByteHouse 还从业务角度登程提供了残缺的运维监控和排障能力,帮忙企业实现业务云上托管,升高运维老本。
不仅仅具备弱小的技术能力和易用的产品个性,火山引擎 ByteHouse 在广告、气象、行为剖析等畛域曾经积攒丰盛的落地教训。在此次流动中,火山引擎解决方案专家通过广告、气象、行为剖析 3 个畛域案例,具体拆解云原生数据仓库如何能在业务场景中丝滑落地。
首先,在广告受众预估畛域,为了帮忙广告主确定指标人群,判断投放价值,广告平台须要为广告主提供受众筛选能力,即依据不同筛选条件、标签或人群包,确定每次营销流动笼罩的人员类型、人员规模。其难度在于,广告平台用户体量大、人群包数量大,导致单个查问中波及多个人群包计算,使得查问复杂度高;另外,广告平台对数据实效性要求高,数据查问效率要达到秒级响应。面对此类需要,ByteHouse 反对 BitMap 数据格式,升高人群包数据内存占用,配合 uid 的数据分片形式,晋升数据查问并发能力,实现高效的人群包交、并、补计算,满足 QPS 峰值查问需要,最终达到查问秒级响应的成果。

火山引擎 ByteHouse 在广告受众预估畛域落地

其次,在气象畛域,ByteHouse 帮忙 AI 大模型与数字孪生公司大地量子实现对气象数据的精准预测。依据风向、湿度、温度、风力等历史气象数据,联合风场、云层等模型能力预测将来能源状况,是大地量子的次要利用场景。大地量子通过将现场采集及大模型生成的气象数据导入到 ByteHouse 中,由 ByteHouse 撑持 GEO 查问和空间计算能力,满足其对预测零碎以及交互式查问需要。目前,大地量子的均匀查问响应时长不仅在 50 毫秒以内,预测精准度也失去无效晋升。
最初,在行为剖析畛域,极客邦科技则通过 ByteHouse 实现以用户为核心的精细化营销。作为致力于为数字人才提供全方位、高质量新闻资讯、课程内容、大会、领导等服务项目的企业,极客邦科技会依据用户画像、在端内的操作行为等数据为用户精准推送课程、流动,洞察用户全链路行为,以便提供更好服务。但随着用户数量变大且持续增长,数据查问需要更加简单,同时也面临疾速响应的问题,在技术层面遇到很多挑战。
增长剖析平台 DataFinder 与云原生数据仓库数据仓库 ByteHouse 的组合应用则帮忙极客邦科技更好洞悉客户全链路营销旅途。ByteHouse 的高可用引擎和查问优化器能够将用户表、事件表等数据高效去重、剖析和计算,再通过 DataFinder SDK 实现事件剖析、留存剖析、转化剖析等能力,实现用户精准洞察和营销能力降级。
不仅仅在广告、气象等畛域落地,ByteHouse 还将继续通过翻新的技术和性能,帮忙更多行业构建高效、稳固和可扩大的实时数据分析平台,提供弱小的数据处理和剖析能力,助力企业更好实现数字化降级。
点击跳转火山引擎 ByteHouse 理解更多

正文完
 0