乐趣区

关于gpu:最新MLPerf基准测试基于阿里云GPU云服务器的AIACC在图像识别封闭式场景下夺冠

近日,寰球权威 AI 基准评测组织 MLCommons 颁布了最新一期 MLPerf™ v2.1 推理性能基准测试后果。阿里云在 Edge 封闭式、数据中心和 Edge 开放式、数据中心网络等场景均体现亮眼。其中,基于阿里云弹性计算 GPU 云服务器的神龙 AI 减速引擎(AIACC)在图像识别的 Edge 封闭式场景中实现了最低延时,突破性能天花板,处于业界第一。

MLPerf Benchmark 是一套用于测量机器学习软硬件性能的通用基准,由来自学术界、钻研实验室和相干行业的 AI 领导者组成的联盟,旨在“构建偏心和有用的基准测试”;评估在不同条件下,不同企业硬件、软件和服务的训练和推理性能;能够帮忙企业简化抉择 AI 软硬件服务的流程。

MLPerf 笼罩了图像分类、指标检测、医学图像宰割、自然语言解决等不同的 AI 服务场景,阿里云 AIACC 本次参加的次要是图像识别的封闭式推理场景。

封闭式即指在不对模型进行任何改变,仅优化底层软硬件平台的状况下取得的性能,具备极大优化难度。往期的封闭式场景后果中,搭载最新的 NVIDIA TensorRT 版本是所有 NVIDIA GPU 硬件平台的性能天花板,不同厂商的差距仅在于不同 GPU 硬件产生的小幅性能差别。本次 MLPerf™ v2.1 推理后果的 Edge 封闭式计算中,神龙 AI 减速引擎(AIACC)针对 ResNet50 的单流 (单任务解决)推理进行了专门的深刻优化,超过了间接应用 NVIDIA TensorRT 的用例,取得了 0.38 毫秒的最低延时,意味着在阿里云上辨认一张图片只须要 0.38 毫秒。

MLPerf Inference Edge v2.1 截图

阿里云神龙减速引擎 AIACC 团队本次次要基于两款阿里云 GPU 云服务实例——gn7i、gn7e 实例。

在 gn7i 实例上,AIACC 实现了单流时延 0.40 毫秒,低于业界其余厂商 0.44-0.50 毫秒的时延;在 gn7e 实例上,AIACC 减速的 ResNet50 推理时延为仅为 0.38 毫秒,远低于其余厂商 0.50-0.53 毫秒的延时。

阿里云 GPU 云服务器是提供 GPU 算力的弹性计算服务,具备超强的计算能力,服务于深度学习、科学计算、图形可视化、视频解决多种利用场景,能为客户提供软件与硬件联合的残缺服务体系,助力客户在理论业务中实现资源的灵便调配、弹性扩大、算力的晋升以及老本的管制。

基于阿里云弹性计算服务 ECS 的神龙计算减速引擎致力于为阿里云 ECS 客户提供疾速、便捷、用户无感的计算减速服务,笼罩 AI 训练与推理、大数据、通用计算等畛域。在 AI 训练与推理畛域,神龙 AI 减速引擎(AIACC)继续深耕性能优化技术,服务了大量客户优化 AI 计算业务性能,助力其业务在阿里云 GPU 云服务器上线部署和提速,并曾在世界 AI 性能权威榜单 DAWNBench 中斩获 4 项世界第一。在大数据畛域,神龙大数据减速引擎(MRACC)亦在世界大数据权威榜单 TPC Benchmark Express-BigBench(TPCx-BB) SF3000 摘得桂冠。

AIACC 和 MRACC 等性能优化技术在长期服务客户的过程中得以积攒和积淀,客户可在阿里云 GPU 云服务实例和阿里云弹性计算 ECS 实例上凋谢应用,利用无感的晋升客户业务的性能。

点击这里,理解阿里云 GPU 云服务器。

丨近期流动预报

面对“元宇宙”概念衰亡,咱们邀请到 NVIDIA 中国 Omniverse 业务负责人何展、沙核科技创始人楼彦昕、阿里云弹性计算产品专家张新涛,分享行业了解、落地案例、瓶颈挑战等。数字世界先锋 x 科技艺术家 x 云计算活化石,欢送看三位碰撞出何种观点。

本次对谈节目,将于 9 月 26 日下午 2 点播出,点击这里预约直播。

退出移动版