关于amazon:宣布-Databricks-支持-Amazon-Graviton2性价比提高-3-倍

48次阅读

共计 1492 个字符,预计需要花费 4 分钟才能阅读完成。

作者:Piyush Singh , Mostafa Mokhtar , Shankar Sivadasan
2022 年 4 月 18 日

明天,咱们很快乐地发表 Databricks 对基于 AWS Graviton2 的亚马逊弹性计算云(Amazon EC2)实例的反对的公开预览。Graviton 处理器由 AWS 进行定制设计和优化,为运行在 Amazon EC2 上的云工作负载提供最佳性价比。当与高性能 DataRicks 查问引擎 Photon 一起应用时,基于 Graviron2 的亚马逊 EC2 实例能够为您的 data lakehouse 工作负载提供比同类亚马逊 EC2 实例高 3-4 倍的性价比。在这篇博文中,咱们将介绍 Photon 与 Graviton2 的性价比,并为您提供进一步升高 AWS 基础设施老本的其余倡议。

Photon 和 Graviton2 的性价比

为了确定 Photon 和 Graviton2 的性价比,咱们在基于 Graviton2 的 R6gd EC2 实例和相似的 I3 EC2 实例上进行了一个简略测试,运行两种不同的工作负载(TPC-DS 和带有批量插入和合并语句的规范 ETL 工作负载)。咱们发现,对于 EC2 实例,仅 Photon 引擎就显著进步了性价比。但基于 Graviton2 的实例上的 Photon 更进一步,与 I3 实例上以前的 Databricks 运行时相比,ETL 工作负载的性价比进步了 3.3 倍,TPC-DS 工作负载的性价比进步了 3.7 倍。尝试基于 Graviton2 实例的客户报告了相似的后果,并分享了咱们的兴奋!上面是一位 Databricks 客户的一句话,他碰巧对基于实例的 Arm 一目了然。

Arm 生产力工程业务副总裁 Mark Galbraith 说:“云计算正在推动半导体设计畛域的重大翻新,通过将咱们的设计工作量转移到基于 Arm 的 AWS Graviton2 实例上,提供显著的性价比晋升,咱们亲眼看到了 Arm Neoverse N1 平台带来的益处。”。“这一点对于 Graviton 2 上的 Databricks 尤为显著,咱们期待着将 Databricks 的生产应用迁徙到 Graviton 2 上,以进一步加强用户体验并降低成本。”


Photon 和 Graviton2 的性价比比拟

通过 Amazon EC2 Spot 实例和 Amazon EBS gp3 卷反对,进一步节约了老本

除了 Graviton2 和 Photon 之外,还有其余办法能够进步 AWS 上 Databricks 工作负载的性价比。这些措施包含:

Amazon EC2 Spot Instances–Spot Instances 可让您充分利用 EC2 的闲置容量,与按需价格相比,可享受高达 90% 的折扣。依据工作负载的性质,您能够应用 Spot 实例替换 DataRicks 集群中的按需或保留 EC2 实例,从而节省成本。

Amazon EBS gp3 卷 ——存储可能是云基础设施老本的一大部分。Databricks 反对 gp3 卷(https://databricks.com/blog/2…)。Amazon Elastic Block Store(Amazon EBS)的 gp3 SSD 卷使您可能提供独立于存储容量的性能,每 GB 的性价比比现有的 gp2 卷高 20%。

要理解无关性价比优化的更多信息,请浏览咱们的群集最佳实际文档。
(https://docs.databricks.com/c…)

从 Graviton 开始

基于 AWS Gravion2 的公共预览实例反对目前正在推出,并将在将来几周在所有受反对的地区提供。要开始并取得迁徙到 Graviton 2 和 Photon 的领导,请浏览咱们的 Graviton 文档(https://docs.databricks.com/c…)。

正文完
 0