乐趣区

TPCxBB官宣最新世界纪录阿里巴巴计算力持续突破

2019 年 9 月 17 日,TPC 官宣 Alibaba Cloud MaxCompute 认证结果。同月 26 日,杭州云栖大会阿里巴巴宣布了这一成绩,飞天大数据平台计算引擎 MaxCompute 成为全球首个 TPCx-BB 认证的公共云产品,是除 Hive、Spark 以外 TPCx-BB 第三个标准支持的大数据引擎。不仅首次将数据规模拓展到 100TB,性能达到 25641.21QPM,更在 TPCx-BB 已有最大 30TB 规模上,将性能提升近一倍,达到 6427.86QPM,单位价格下降一半,达到 169.76$/QPM。

TPCx-BB 是由国际标准化测试权威组织 (TPC) 发布的基于零售业场景构建的端到端大数据测试基准,支持主流分布式大数据处理引擎,模拟了整个线上与线下业务流程,有 30 个查询语句,涉及到描述性过程型查询、数据挖掘以及机器学习的算法。涵盖了结构化、半结构化和非结构化数据,能够从客户实际场景角度更全面的评估大数据系统软硬件性能、性价比、服务和功耗等各个方面。

MaxCompute 正是希望能够从更加接近实际生产场景和客户场景的角度,来呈现飞天大数据平台的计算性能和性价比优势。而 MaxCompute 在 TPCx-BB 性能、性价比等方面的领先无疑是由 MaxCompute 技术先进性决定的。

作为支撑 MaxCompute 计算力的核心之一的 SQL 引擎,包括了编译器、运行时和优化器 3 个模块。SQL 编译器支持标准 SQL,100% 支持 TPC-DS、TPCx-BB 语法。运行时支持列式处理和丰富的关系算符,基于 LLVM 进行微架构级别的优化。优化器支持基于历史信息的 HBO 和基于 Calcite 的 CBO,通过多种优化手段提升 MaxCompute SQL 的性能。

存储方面,则使用先进的存储格式 Aliorc,支持列式存储、灵活的编码格式、异步预读及高效的压缩算法,与开源存储格式相比,在存储效率和读写效率上都有显著的提升。MaxCompute 以外表的形式支持多种数据源,比如 HDFS、OSS 外表,可以将 TPCx-BB 生成在 HDFS 中的数据高效导入 MaxCompute。

调度方面采用基于飞天平台的 Fuxi2.0 调度系统。其 DAG2.0 将资源调度 overhead 控制在了 10us 级别,远远领先业界同类框架。Shuffle2.0 通过数据重排,在磁盘和网络之间找到平衡点,将集群吞吐效率提升 30%。

此外,MaxCompute 原生支持阿里巴巴机器学习平台 PAI,用户可以一站式完成大数据处理与机器学习模型训练及预测。机器学习 PAI 是飞天 AI 平台中的核心产品,构建在阿里云 MaxCompute 等计算平台之上,在机器学习大规模分布式训练场景拥有非常强的性能表现,在本次 TPCx-BB 的比赛中,PAI 基于 MaxCompute,在逻辑回归、Kmeans、朴素贝叶斯三个算法的表现性能上取得很好的成绩。

在 MaxCompute/PAI 多年的系统优化过程中,英特尔作为阿里巴巴重要的合作伙伴,提供了许多助力。英特尔作为测试基准中 BigBench 的重要贡献者,与阿里云开发团队深入合作,共同扩展 TPCx-BB 测试集,增加对 MaxCompute 计算引擎的支持,并一起在 TPCx-BB 委员会中共同推广 MaxCompute/PAI,促成 TPCx-BB 官方测试集升级,继而正式纳入阿里云 MaxCompute/PAI 计算引擎的支持。

对于未来双方在飞天大数据和 AI 平台 (MaxCompute/PAI) 持续优化上的合作,英特尔高级首席工程师、大数据分析和人工智能创新院院长戴金权先生表示,双方在新的硬件架构技术平台有非常紧密的合作,共同探索如何更好地利用新的技术,为大数据处理分析、机器学习平台赋能。另外,双方也合作致力于将 AI 平台和大数据平台紧密联合,使不同的组件更好地联合在一起,打通整个计算流水线。

原文链接

本文为云栖社区原创内容,未经允许不得转载。

退出移动版