12月27日,阿里云正式公布云原生开源大数据平台EMR 2.0,降级后的开源大数据平台在老本持平的状况下,扩缩容性能最高可晋升6倍。

据悉,阿里云EMR2.0为用户提供了全新的平台、开发、资源状态、剖析场景等更优的产品体验,通过EMR Doctor健康检查、全面的服务巡检和事件告诉、节点故障弥补等运维能力的降级,预估运维老本可升高20%-30%。新平台致力于为客户疾速构建高性价比、安全可靠、兼容生态的开源大数据平台。

EMR2.0与EMR1.0弹性扩容速度比照

云原生趋势下,开源大数据处于重构之中,以 Hadoop 为外围的开源大数据体系,开始转变为多元化技术并行倒退。阿里云EMR产品负责人何源介绍, 阿里云EMR于2009年开始服务阿里巴巴团体外部客户,2016年将过往的技术能力产品化凋谢,为客户提供商业化服务。作为开源大数据畛域的引领产品,EMR 2.0通过云原生能力重构平台层、数据层、计算层,满足数千客户流解决、数据可视化、交互式剖析、数据湖等多场景需要,从新定义了新一代开源大数据平台。为客户构建新一代开源大数据基础设施。

EMR 2.0产品架构图

客户基于EMR2.0平台可实现更加低成本、高效率、智能化的大数据集群管控和利用开发。通过应用抢占式实例,生产实证最多可升高百分之八十以上的老本。开启故障实例主动弥补,在全场景集群下,稳定性能够进步1个9。全新公布的EMR Doctor,通过健康检查服务的集群日报性能,查看集群是否存在资源节约;通过工作评分倒排Top N,找到资源节约最多的作业进行优化;通过继续优化,帮忙客户最大化利用资源,避免浪费。同时,还能够帮忙客户提前发现一些危险并进行解决。EMR Studio,提供Notebook和Workflow服务。全托管Notebook,兼容 用户Jupyter应用习惯,能够无缝对接EMR各计算、存储引擎,进行交互式的大数据开发和调试,曾经开发和调试完的作业能够退出Workflow工作流里进行调度和上线。此外EMR Studio的Workflow服务也还反对Flink等的作业。

2022年6月,阿里云EMR联结 OSS、 DLF、DataWorks等构建的云原生数据湖产品计划通过信通院评测认证,是国内首批且惟一满分的产品计划,该计划为用户提供“全托管湖存储、全面湖减速、对立湖治理、多模态湖计算和智能湖治理”等全面数据湖能力。(国内首批!阿里云云原生数据湖产品通过信通院评测认证)

国内出名广告营销服务商汇量科技已应用EMR产品4年。在业务快速增长的大好形势下,汇量科技面临越来越多的困扰:如数据起源简单、数据量大、数据维度多、实时经营业务秒级数据新鲜度需要等业务需要;本次降级后,汇量科技在素材平台、热力引擎等业务的大数据平台搭建上,数据同步和及查问效率有数倍晋升,零碎稳定性显著晋升,未再呈现之前cpu、mem、io负载低等状况。

随着阿里云EMR2.0的公布,阿里云EMR将技术引领劣势,转化为云上产品服务能力。从新定义的新一代 EMR 产品,将为各行业广大客户构建开源大数据平台提供最扎实的基座保障。