共计 1373 个字符,预计需要花费 4 分钟才能阅读完成。
随着数据价值被越来越多企业认可,数据湖存储已成为企业级存储的首选和新一代晋升生产力的服务。12 月 1 日,在 2022 腾讯数字生态大会存储专场,腾讯云降级了云原生数据湖产品能力,并具体阐释了其设计理念,对其在多个行业的利用进行了案例分享,为更多企业提供升高存储老本、晋升存储性能的实际参考。
当下,数据的生产、存储和生产模式突飞猛进,随着数据的爆发式增长,在数据存储和解决方面的降本增效成为企业亟待解决的问题。
腾讯云存储高级产品经理林楠认为,“市场须要一个更大、更快、更全能、更低成本的存储服务。数据湖存储在应答多样化、多源化数据存储需要,应答多协定兼容和敏捷性服务等方面,均能满足企业构建对立存储服务的须要,是企业级存储的将来状态。”
适应这一趋势,腾讯云于 2021 年公布了国内首个云原生数据湖存储产品图谱,推出了基于对象存储服务的数据湖三级减速体系,并推出了数据湖三级减速体系。
在设计理念方面,腾讯云原生数据湖三级减速体系秉承了对立存储的思路,其底层存储基座应用了腾讯自研对象存储服务,单集群可治理百 EB 级别文件;在此基础上组合元数据加速器、AZ 加速器和数据加速器 GooseFS 等多种高内聚、松耦合的数据减速服务,以实现性能和老本的整体优化与均衡。
具体而言,该体系通过数据加速器 GooseFS,实现近计算端的缓存减速服务,升高超过 50% 的对象存储拜访带宽;通过元数据加速器,提供原子性的文件系统语义操作,实现元数据操作性能 10 倍晋升;通过 AZ 加速器,提供 Tbps 级海量吞吐和毫秒级的响应。同时,以三者的灵便组合利用,以应答不同业务场景。
此次大会上,腾讯云原生数据湖存储实现了性能的再降级,以更灵便的可插拔服务和更具性价比的解决方案,助力企业上云,用数赋智。
在理论应用过程中,该体系展示了优良的性能和老本优化能力,例如,应用 GooseFS + COS 的组合,相较于本地 HDFS 集群部署可实现 20% 的性能晋升,同时利用对象存储服务海量、低成本的劣势,实现了更高性价比的数据存储。此外,腾讯云原生数据湖三级减速体系还买通了腾讯云生态,企业客户能够依靠腾讯云构建残缺的企业级数据治理计划,实现数据因素的疾速流转和价值发现,晋升企业竞争力。
通过数据湖三级减速体系,腾讯云胜利服务了多个等各行业标杆客户,助力其将本地大数据存储迁徙到私有云上,并由此取得老本上的收益和性能上的晋升,促成客户数据业务的稳步增长。
以某音乐客户的实际为例,腾讯云原生数据湖存储帮忙其真正实现了按需存数和按需用数,客户不必按峰值筹备资源,存储老本间接缩小 18.4%。同时,通过 GooseFS 就近计算节点的缓存能力,业务侧也缩小了对底层存储的读写带宽,最高实现了 50% 的均匀带宽升高。
在另一主动驾驶客户的实际中,针对 AI 训练场景,客户应用 GooseFS 加载 TFRecord 文件减速模型训练。依据训练结果显示,应用 GooseFS 能够达到实践性能下限的 95.6%;对于原始小文件均匀提速 19.2%。
此次数据湖三级减速体系的能力更新,是腾讯云存储在云原生数据湖畛域的新摸索与构建。将来,腾讯云存储也将继续推动云原生数据湖技术的倒退和落地,为宽广企业提供更快、更全能、更低成本的存储服务,助力各行各业开释数据价值,减速迈向数字化。
直播回放:https://2022gdes.cloud.tencen…