关于大数据:性能提升40阿里云神龙大数据加速引擎获TPCxBB世界排名第一

7次阅读

共计 1073 个字符,预计需要花费 3 分钟才能阅读完成。

简介:神龙大数据减速引擎,针对大数据罕用组件,如 Spark、Hadoop、Alluxio 等, 联合阿里云神龙架构的个性,进行软硬一体化优化,造成举世无双的性能劣势,最终,使简单 SQL 查问场景性能相比社区版 spark 晋升 2 - 3 倍,应用 eRDMA 减速 Spark 性能晋升 30%。

近日,Benchmark Express-BigBench(简称 TPCx-BB)颁布了最新的世界排名,阿里云自主研发的神龙大数据加速器荣获 TPCx-BB@3000 世界排名第一。

TPCx-BB 测试分为性能与性价比两个维度。其中,在性能维度,在本次排名中,阿里云当先第二名高达 41.6%,达到了 2187.42 BBQpm,性价比当先第二名 40%,升高到 346.53 USD/BBQpm。


(TPCx-BB@3000 性能维度排行)


(TPCx-BB@3000 性价比维度排行)

TPCx-BB 是由国内标准化测试权威组织 (TPC) 公布的基于零售业场景构建的端到端大数据测试基准,反对支流分布式大数据处理引擎,模仿了整个线上与线下业务流程,有 30 个查问语句,波及到描述性过程型查问、数据挖掘以及机器学习的算法。TPCx-BB 的测试具备数据量大、特色简单、起源简单等特点,与实在业务场景较为靠近,对各行业的基础设施选型有着重要参考意义。

TPCx-BB 的测试后果,能够全面精确的反映端到端的大数据系统的整体运行性能。测试涵盖了结构化、半结构化和非结构化数据,可能从客户理论场景角度更全面的评估大数据系统软硬件性能、性价比、服务和功耗等各个方面。

阿里云自研的神龙大数据减速引擎 MRACC(ApasaraCompute MapReduce Accelerator),是这次荣登世界第一的杀手锏。神龙大数据减速引擎,针对大数据罕用组件,如 Spark、Hadoop、Alluxio 等, 联合阿里云神龙架构的个性,进行软硬一体化优化,造成举世无双的性能劣势,最终,使简单 SQL 查问场景性能相比社区版 spark 晋升 2 - 3 倍,应用 eRDMA 减速 Spark 性能晋升 30%。

具体来说,针对大数据工作重 IO 个性,MRACC 在网络和存储方面联合云上的架构劣势进行软硬件减速,包含软件的 SQL 引擎优化,应用缓存、文件裁剪、索引等优化伎俩,并尝试将压缩等运算卸载到异构器件;还应用 eRDMA 进行网络减速,将 shuffle 阶段的数据交换运行在 eRDMA 网络,使得延时升高、CPU 利用率大幅晋升。

MRACC 与神龙云服务器的联合,给云上大数据带来了新的设想空间,给用户带来了更高的性能和性价比。

原文链接
本文为阿里云原创内容,未经容许不得转载。

正文完
 0