共计 3689 个字符,预计需要花费 10 分钟才能阅读完成。
摘要:华为云 FusionInsight MRS 新一代的数据湖,让大数据越用越快、越用越易、越用越稳、越用越省!让数据价值近在眼前!
10 月 30 日,以“携手共赢·数创将来”为主题的第二届数据分析技术与利用高峰论坛在深圳举办。会上,华为云大数据高级营销经理王宁进行了主题演讲“华为云 FusionInsight MRS 逾越技术裂谷,助力客户实现一企一湖,一城一湖”!
大数据技术创新焦点已转向 LakeHouse,企业翻新焦点已转向湖仓一体
“随着大数据技术的愈发成熟和 5G、AI、IoT 技术的规模商用,政企客户须要商业诉求与技术创新的双轮驱动,实现数字化转型。企业构建技术当先的大数据平台,抉择具备竞争力的数字底座至关重要。面向数字化转型中的政企客户,近年来,华为云大数据与世界同步,继续翻新,致力于打造技术当先的数字底座,让大数据越用越快、越用越易、越用越稳、越用越省!把简单留给本人,把简略留给搭档,助力客户数字化转型胜利!”王宁分享到。那么数字底座如此要害,大数据作为次要承载技术,将来它将如何倒退呢?
2011 年当前随着信息化的浪潮和大数据的成熟,企业开始利用大数据等技术构建数据湖,满足多样性数据的存储,数据湖尽管适宜存储数据,但短少一些撑持业务的要害能力:比方不反对实时增量更新,不反对事务,无奈实时剖析等。据预测到 2025 年,寰球数据量将从 2018 年的 33ZB 快速增长到 180ZB,客户为应答呈指数级增长的数据资产,采纳大规模、高效率、一站式多场景的大数据处理系统的需要越来越迫切。到 2020 年,大数据技术创新趋势的焦点已转向 LakeHouse、企业翻新焦点已转向湖仓一体。
数据湖向 LakeHouse 倒退,基于数据湖实现与数仓类同的数据结构和数据管理能力反对实时更新、BI 交互剖析、混合负载;数据湖、数据仓库向交融剖析架构倒退,Hadoop 与 MPPDB 具备数据共享和跨库剖析能力,反对互联互通、计算下推、协同计算,让大数据与数仓互联互通、协同计算,兼顾过来与将来!华为云大数据技术与世界同步,踊跃拥抱开源,吸取寰球顶尖大数据实践经验。关闭使人落后,其余支流厂商在近年来被动拥抱开源 。 大数据开源、凋谢技术仍在蓬勃发展 ,以前,驾驭大数据“三驾马车”可转遍大数据的池塘,现如今,大数据技术已倒退成一片陆地,社区已具备 100+ 开源我的项目,大数据技术创新进入深水区。 当初大数据不仅限于 Hadoop 生态,已是多种支流数据处理技术的汇合,在不同场景有着丰盛的组件进行撑持。
华为云打造技术当先的云原生数据湖,实现一企一湖,一城一湖
作为技术创新、市场份额双当先的数据湖,华为云 FusionInsight MRS 具备 3 个硬核能力:
1)让政企客户在大、快、融、稳的一个云原生数据湖架构下继续演进
大:传统大数据单集群扩容受限,往往扩容到 2000 节点就难以冲破,存在宰割集群运维简单、老本高、资源利用率不高、要害工作无奈保障等问题。华为云 FusionInsight MRS 通过大集群冲破扩展性瓶颈,反对最大 2 万 + 节点大规模集群,还可集群联邦有限扩容,让政企客户在一个架构上继续演进。在 BI 加强方面,可实现热数据的毫秒级实时剖析,高效撑持 BI;加强 Spark,反对 JDBC 多实例,减少 BI 报表连接数!
大规模个性已在华为外部失去实际。华为团体 IT 通过 FusionInsight 构建 OneData 大数据集群,实现大数据平台在大规模场景下的开辟,OneData 集群其规模已至 1 万 + 节点;同时,实现了对立的数据管理服务,在菩提海 UniDB 产品中,把 50+ 物理扩散的计算集群 (Hadoop+MPP),通过逻辑对立形式造成近湖仓一体的对立架构,撑持上千个企业租户近 60PB 的数据分析需要。华为团体 IT OneData 大集群历经两次滚动降级,业务 0 中断,已稳固运行六年。华为云 FusionInsight 最大单集群可反对 2 万规模超大集群, 让客户的业务零碎稳如磐石,10 年无忧!
快:数据的一直增大,势必带来剖析效率升高的问题。华为云大数据突破性能瓶颈,直面客户业务构建主题数据,剖析链路短,越用越快,无需期待!传统大数据存在“慢、难、贵”的问题,数据链路长,预先报表为主;FusionInsight MRS 可实时增量更新数据,并可实现毫秒级实时 OLAP,让大数据分析从此无需期待!
在金融某行,行内集群总计 100+ 节点,总数据量 1PB,每天更新 10 万张表,通过 FusionInsight MRS 实现 PB 级数据实时同步,100+ 节点数据入库工夫从 12 小时降至 1 小时以内。
解决了大数据可扩大、高性能方面的问题,政企用户想要深度开释数据价值,还需跨源、跨域的交融剖析。
融:打消数据孤岛,五大交融,跨源跨域跨引擎交融剖析,让数据分析越来越简略,打消数据孤岛,无需冗余!传统大数据分析面临类型多、散布散、协同难等问题;FusionInsight MRS 通过 HetuEngine 实现 五大交融 , 对立 SQL 接口,简化用数,全民 BI,让大数据越用越简略!
某行基于 FusionInsight MRS 构建金融大数据,通过 HetuEngine 对立 SQL 接口,解决数据扩散,组件多、语言多等难题,升高技术开发门槛,跨源跨域跨引擎交融剖析,数据免搬迁,升高整体 TCO。
华为云 FusionInsight MRS 除了越用越快、越用越简略、爱护客户已有投资外,还关怀政企客户应用大数据运行的稳定性及是否可继续倒退,无需全新重构!
稳:数据的增长是有限的,小集群总会成长为大集群,一个技术当先、可平滑降级、可继续演进的底座十分重要。FusionInsight MRS 可保障一企一湖连续性,在线滚动降级,业务永远在线,无需拆集群、搬利用 ,彻底解决传统大数据集群多、效率低、治理难、降级难等问题,让降级过程中要害业务不中断,确保业务连续性, 稳如磐石!
某运营商应用 FusionInsight MRS 搭建大数据平台应答 5G 数据浪涌,先后两次滚动降级实现了大数据平台的平滑演进,实现业务无中断,降级无感知,用户体验继续在线,单集群规模已扩大至 1500+ 节点,撑持了各类政务、民生等 200+ 大数据应用服务,笼罩用户 1.3 亿 +,并让客户业务永不停、服务永在线、技术永最新!
2)实时数据湖
实时数据湖,让数据实时增量入湖,T + 0 实时剖析 ;实现贴源数据实时多维分析, 缩短剖析链路 ,进步剖析效率,走向实时数据湖, 让数据价值近在眼前!
3)云原生数据湖
华为云 FusionInsight MRS 具备对立元数据和存算拆散等云原生个性。通过 Data Lake Catalog 数据湖目录,为超大规模剖析引擎提供对立元数据服务,让数据全局可视可得 ;在数据存储方面,通过 OBS 存算拆散计划,实现计算、存储按需扩容, 基于企业级 EC 实现最低 1.2 正本,总体 TCO 降落 20%+,让数据每 bit 老本更优!湖内提供交互式剖析引擎,可无缝对接 BI 报表和自助剖析,实现秒级用数,数据免搬迁;湖内对立 SQL 接口,升高技术开发门槛,简化用数,实现技术创新的云原生数据湖。
一企一湖的云原生数据湖,已是政企客户的规范底座,一站式撑持全场景高效剖析
通过以上特点,华为云 FusionInsight MRS 新一代的数据湖,让大数据越用越快、越用越易、越用越稳、越用越省!让数据价值近在眼前!
华为云 FusionInsight MRS 动摇凋谢路线,保持回馈社区,继续投入,与世界同行
基于华为云大数据弱小的创新能力,华为云 FusionInsight 在业内成绩斐然,继续多年取得多个权威机构认可。2020 年,华为云 FusionInsight 已间断四年入围中国大数据企业 50 强,并荣获中国信息通信大数据行业影响力奖、中国大数据平台类最佳解决方案奖。华为云引领大数据技术倒退,了解客户一直倒退的业务诉求,继续高强度投入 10 多年,领有专利超过 500 余件,要害畛域 PMC、Committer 占比近 50%。同时,华为云大数据保持平台 + 生态策略,与合作伙伴一起服务寰球政企客户。华为云 FusionInsight MRS 动摇凋谢路线,与世界同行,继续投入,做好数字世界的黑土地 。同时,咱们保持将好的教训,继续在华为云大数据社区为大家凋谢, 让大江大洋也阻隔不了勇攀大数据技术顶峰的信心 。华为云 FusionInsight MRS 把“简单”留给本人,把“简略”留给搭档,共建社区凋敝生态,联结 800+ISV,共创共赢,助力政企数字化转型胜利!
_
_
华为云 FusionInsight 联结 800+ 搭档,共创共赢,减速政企数字化转型
近期,IDC 将颁布 2020 中国大数据管理平台厂商评估报告,华为云 FusionInsight 智能数据湖凭借多年对行业业务的了解,保持技术创新引领寰球大数据倒退,置信也将交出一份称心的答卷。
华为云 FusionInsight MRS 已成为 60+ 国家地区、3000+ 客户数字化转型的独特抉择,广泛应用于政府、运营商、金融、能源、医疗、制作、交通、互联网等多个行业,开释海量数据价值,用数据驱动业务增长,助力政企客户实现“一企一湖,一城一湖”!
点击关注,第一工夫理解华为云陈腐技术~