关于华为云:FusionInsight-MRS你的大数据管家

48次阅读

共计 2917 个字符,预计需要花费 8 分钟才能阅读完成。

摘要:4 月 24 日 -26 日,HDC.Cloud2021 在深圳大学城胜利举办,华为云 FusionInsight MRS 云原生数据湖带来最懂行的大数据解决方案,为政企客户提供湖仓一体、云原生的大数据解决方案,一个架构可构建 3 种数据湖:离线数据湖、实时数据湖、逻辑数据湖,更有现场沙箱试验和名师大讲堂,一起来细品。

本文分享自华为云社区《HDC.Cloud2021 一文回顾华为云 FusionInsight MRS 云原生数据湖亮点》,原文作者:沙漏。

2021 年 4 月 26 日,HDC.Cloud2021(华为开发者大会 2021)胜利落下帷幕。本次大会,华为云 FusionInsight MRS 云原生数据湖带着“一架构三湖”的愿景与使命来到现场,与泛滥行业客户、合作伙伴、开发者一起,就如何在 5G、AI、IoT 高速倒退的当下,用更好的技术创新,赋能千行百业等议题进行深刻的探讨。上面,让咱们一起再次重温本次流动的精彩霎时。

数据使能展区华为云 FusionInsight MRS 云原生数据湖绽开荣耀

华为云 FusionInsight MRS 一架“构”三湖

在数据使能展区,华为云 FusionInsight MRS 云原生数据湖带来最懂行的大数据解决方案,为政企客户提供湖仓一体、云原生的大数据解决方案,一个架构可构建 3 种数据湖:离线数据湖、实时数据湖、逻辑数据湖,撑持政企客户全量数据的实时剖析、离线剖析、交互查问、实时检索、多模剖析、数据仓库、数据接入和治理等大数据利用场景,使政企客户高效用数、简化用数,助力政企客户实现一企一湖、一城一湖,业务洞见更准,价值兑现更快。

离线数据湖:HetuEngine 提供秒级交互式查问能力,数据不出湖,剖析链路短,性能比 Impala 快 30%+,剖析提效 10 倍 +;DLC 提供对立的元数据,数据全局可视;HetuEngine 提供湖内对立 SQL 接口:HDFS、Hive、HBase、ES 等,简化用数。

实时数据湖: 流解决 + Hudi 实现数据更新入湖,从 T + 1 到 T +0;ClickHouse 提供毫秒级实时 OLAP 剖析能力;Flink 提供 FlinkSQL 能力,批流 SQL 接口对立,实现流批一体。

逻辑数据湖:HetuEngine 提供跨湖、跨仓、跨云对立拜访,缩小数据搬迁,数据高效流动,全域数据秒级协同剖析秒级响应,业务上线效率晋升 10 倍,由周级缩短至天级。

华为云 FusionInsight MRS 践行产学研单干,全面推动大数据开源技术倒退,联结清华大学公布了 IoTDB 时序引擎版本。目前华为云 FusionInsight MRS 已利用于 60 多个国家 3000+ 客户,助力政企客户实现一企一湖、一城一湖,业务洞见更准,价值兑现更快!

华为云 FusionInsight 技术生态工程师黄昊兮解说试验

在华为云 FusionInsight MRS 云原生数据湖展台的一侧,设有开发者实操的沙箱实验室,华为云 FusionInsight 技术生态资深工程师黄昊兮,在现场为大家现身授教,讲述“应用 MRS Hudi 体验实时入湖、应用 MRS Clickhouse 体验实时 OLAP、应用 MRS HetuEngine 体验跨源跨域剖析能力”三个试验,通过上手实操体验加深了解各组件的个性你,Hudi 可能反对数据增量更新,从传统 Append 到 Upsert,实现数据实时更新,数据价值开释从 T + 1 转变为 T +0;Clickhouse 具备毫秒级的 OLAP 剖析能力,实现数据分析不出湖,解决了传统数据冗余、来回搬迁的问题;HetuEngine 提供统一标准 SQL 对散布于多个地区(或数据中心)的多种数据源实现高效拜访,屏蔽数据在构造、存储及地区上的差别,实现数据与利用的解耦。

华为云 FusionInsight MRS 云原生数据湖展区

展区不仅领有华为云 FusionInsight MRS 云原生数据湖一架“构”三湖的个性,更有落地理论利用的沙箱体验,让观展嘉宾在取得大数据前沿技术的同时,播种一份上手操作的亲自体验。

名师大讲堂:畅谈新技术、新价值、新趋势

大会期间,由华为技术专家天团打造的《名师大讲堂》系列专题演讲,围绕云原生、大数据、人工智能等话题,探讨技术创新带来的价值,分享翻新实际。其中,华为云 FusionInsight MRS 云原生数据湖带来两场专家演讲,由华为云 FusionInsight 解决方案架构师许田立,分享“千级节点的大数据集群如何无业务中断降级”主题,由 HetuEngine 架构师武文博,分享“跨源、跨域场景下如何实现海量数据分钟级剖析”主题。

  • 千级节点的大数据集群滚动降级,业务无中断

华为云 FusionInsight 解决方案架构师许田立演讲

随着政企数字化倒退,数据湖在政府、金融、运营商、大型企业等中承载越来越多的要害数据分析、解决的业务,在日常降级和保护过程中,对于业务连续性保障的要求也越来越高。

而大数据技术迭代快,传统大数据平台采纳离线降级形式,需断电、重启等操作,降级操作简单,运维繁琐,影响现网业务运行,且大集群降级耗时长,突发故障易中断降级动作,为放弃业务的连续性和技术引领,急需业务不中断的滚动降级能力,确保大集群数据底座的继续演进。

华为云 FusionInsight MRS 云原生数据湖提供超大规模集群,反对单集群 2 万 + 节点规模,并可联邦有限扩容,同时,从 500+ 节点集群的标配开始,华为云 FusionInsight MRS 云原生数据湖已提供滚动降级能力,截止目前降级成功率为 100%。

通过华为云 FusionInsight MRS 云原生数据湖滚动降级能力,助力政企客户实现大集群分批次、循环滚动降级,业务 0 中断;故障节点隔离性能确保降级动作的稳固运行,实现 7 *24 小时不间断服务;1000+ 精细化运维指标及可视化操作简化运维,实现一个架构继续演进。

  • 海量数据跨湖跨仓分钟级剖析

HetuEngine 架构师武文博演讲

HetuEngine 是对立高效的数据虚拟化剖析引擎,与大数据生态无缝交融,实现海量数据秒级查问;业界独创多源异构协同,实现一站式 SQL 交融剖析,海量数据协同剖析分钟级。

高性能交互式查问: 传统大数据通过 Hive 引擎构建即席查问工作,查问工夫长,HetuEngine 通过启发式索引和执行打算 Cache,实现秒级查问响应;

跨湖跨仓跨云交融: 传统数据分析需先对立数据格式,HetuEngine 可实现不同数据格式间的 join,缩小数据搬迁,较传统计划提效 30%;传统 DC 剖析要建手工摆渡数据,HetuEngine 可通过 DC Connector 进行连贯,数据全局可视,协同耗时从数天缩短至分钟级;

多引擎交融: 传统大数据在进行多引擎组件开发时,需波及多组件定制开发,HetuEngine 可对立 SQL 接口拜访大数据,升高用数门槛,开发提效 2 -10 倍。

结语

大幕拉下,并不是起点,而是新一段征程的终点。华为云 FusionInsight MRS 云原生数据湖将不忘初心,砥砺前行,放弃技术创新源能源,做大数字世界黑土地,携手 800+ISV 为客户提供继续演进的湖仓一体解决方案,能够在一个架构上实现离线数据湖、实时数据湖、逻辑数据湖,在千行百业构筑“一企一湖,一城一湖”。

点击关注,第一工夫理解华为云陈腐技术~

正文完
 0