用-Spot-实例训练-ML-模型谁说训练成本降不下来

用过 AWS EC2 实例的用户可能都晓得,EC2 有一种 Spot 实例,能够将 AWS 中暂未应用的 EC2 容量提供给用户,相比按需实例,最多可享受90%的价格折扣。

那么当你应用 Amazon SageMaker 训练本人的 ML 模型时,面对长时间运行训练任务导致的高额账单,是否思考过,能不能通过 EC2 Spot 实例的形式来节约老本?

好消息来了!

托管 Spot 训练性能隆重上线

Amazon SageMaker 的托管 Spot 训练性能曾经正式公布!这是一个基于Amazon EC2 Spot 实例的新性能,与在 Amazon SageMaker 中应用按需实例相比,最高可节约90%的 ML 训练老本。Spot 实例并不是新事物,从推出至今的近10年工夫里,Spot 实例曾经成为在 AWS 上构建可扩大和经济实惠 IT 平台的基石之一。从明天开始,用户不仅能在齐全托管的基础设施上运行 Amazon SageMaker 训练作业,同时也将受害于齐全托管的老本优化劣势,以同样估算获得更大成绩。

所有训练配置中都能够应用托管 Spot 训练性能:

  • Amazon SageMaker 反对的所有实例类型;
  • 所有模型:内置算法、内置框架和自定义模型;
  • 所有配置:单实例训练、分布式训练、主动模型调整。
  • 与任何齐全托管式服务一样,它的设置极为简略:
  • 如果应用控制台,只需关上此性能即可。
  • 如果应用 Amazon SageMaker 软件开发工具包,只需在 Estimator 构建器中将 train_use_spot_instances 设置为 true 即可。

就是这么简略:并且能够最高节俭90%的老本!很棒吧。

中断与检查点设置

应用托管Spot训练性能时须要留神一个重要差别:按需训练实例在训练作业实现前都会放弃可用,而托管Spot训练实例可能在咱们须要更多容量时随时被发出。
应用 Amazon Elastic Compute Cloud (EC2) Spot 实例时,咱们将提前2分钟收到终止告诉,并且必须自行采取失当口头。不过也无需放心,因为 Amazon SageMaker 是一种齐全托管的服务,它会主动解决此工作,中断训练作业,再次获得足够的 Spot 容量后重启或复原训练作业。如果在作业开始工夫和持续时间上比拟灵便,托管 Spot 训练性能将尤其有意义。此外,咱们还能够应用 MaxWaitTimeInSeconds 参数来管制训练作业的总持续时间(理论训练工夫加等待工夫)。

为防止在训练作业中断时从头重启训练作业,强烈建议设置检查点,借此即可按肯定距离保留训练中的模型。这样咱们就能够从定义明确的工夫点复原训练作业,从最近的局部训练模型持续作业。

  • 内置框架和自定义模型:训练代码由咱们本人齐全管制。只需确保应用本人在 CheckpointConfig 参数中定义并传递到 SageMaker Estimator 的地位,通过失当的 API 定期将模型检查点保留到 Amazon Simple Storage Service (S3)。请留神 TensorFlow 会默认应用检查点。对于其余框架,相干示例参见示例笔记本和文档。
  • 内置算法:计算机视觉算法反对检查点性能(对象检测算法、语义宰割算法以及最近推出的图像分类算法)。因为这些算法往往用于大型数据集的训练,运行的工夫也长于其余算法,产生中断的可能性也更高。其余内置算法目前不反对检查点性能。

接下来一起看看实际操作演示吧。

应用 Spot 训练性能训练内置的对象检测模型

参考此示例笔记本,咱们一起通过 AWS 控制台应用托管 Spot 训练实例来训练同样的作业,而不应用按需训练实例。上文已经提到,此时只需关注两件事件:

  • 启用托管 Spot 训练性能(不言而喻)。
  • 设置 MaxWaitTimeInSeconds 参数。

首先为训练作业命名,确保它领有失当的 AWS Identity and Access Management (IAM)权限(和以前的做法一样)。

而后抉择内置的对象检测算法:

接下来为训练作业抉择实例数量和实例类型,确保领有足够的存储以满足检查点之需:

随后设置超参数,此处将应用与笔记本中雷同的参数。而后定义训练数据集的地位和属性:

对验证数据集执行同样的操作:

再定义模型检查点的保留地位。这是 Amazon SageMaker 将在产生中断时提取检查点以复原训练作业的地位。

这是最终模型构件的保留地位:

接下来只须要急躁期待。假如启用了托管 Spot 训练性能,并配置了一个非常宽松的48小时最大等待时间:

所有搞定,让咱们来训练此模型。训练实现后,老本节俭状况在控制台中高深莫测。

从上图能够看到,训练作业运行了2423秒,但得益于托管 Spot 训练性能,实际上只领取了837秒的费用,节俭达65%!说到费用,下文将介绍该形式的定价机制。

定价

托管 Spot 训练作业依照实现或终止前运行的持续时间免费。

如果不应用检查点性能的内置算法和 AWS Marketplace 算法,会强制执行60分钟最大训练工夫(MaxWaitTimeInSeconds 参数)。

最初同样重要的是:无论训练作业重启或复原了多少次,用户仅需为数据下载工夫付费一次。

该性能已在提供 Amazon SageMaker 服务的所有区域推出,立刻试试吧。

【腾讯云】轻量 2核2G4M,首年65元

阿里云限时活动-云数据库 RDS MySQL  1核2G配置 1.88/月 速抢

本文由乐趣区整理发布,转载请注明出处,谢谢。

您可能还喜欢...

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据