关于人工智能:机器学习平台PAI支持抢占型实例模型服务最高降本90

1次阅读

共计 1998 个字符，预计需要花费 5 分钟才能阅读完成。

在 AI 开发及服务一直谋求效率的背景下，阿里云机器学习平台 PAI 发表反对 抢占型实例（Spot Instance）。在模型推理环节，用户能够通过 PAI-EAS 模型在线服务平台灵便抉择抢占型实例来运行 推理时延绝对不敏感 的工作，进而节俭服务老本，等同机型的抢占型实例与按量付费实例相比，最高可实现 90% 的老本优化。

抢占型实例（Spot Instance）是计算资源的一种购买形式。与传统的包年包月实例、按量付费实例不同，抢占型实例的售价追随市场需求与库存的供需关系实时浮动 。PAI-EAS 抢占型实例基于公共资源组内闲暇的计算资源提供服务，能够为用户提供高价资源， 价格最低可至按量付费实例的 10%。各类实例购买形式的单价比拟为：

- 无爱护抢占型实例 < 有爱护抢占型实例 < 预付费实例 < 按量付费实例

用户在应用 PAI-EAS 抢占型实例前，首先须要设置出价下限，并选定是否设置 1 小时保护期。当胜利部署服务时，PAI-EAS 会主动竞价抢占相应资源。

购买抢占型实例：
- 当实例库存短缺且用户配置的出价下限不低于以后抢占型实例市场价，则胜利抢占资源。

应用抢占型实例：
- 若用户设置 1 小时保护期，购买抢占型实例胜利后，默认至多保障应用 1 小时该实例资源。在 1 小时爱护期内，若实例市场价超出用户设定的出价下限，仍将依照出价下限计费。超过 1 小时后，当呈现实例库存有余或出价下限低于市场价的状况，实例会立即开释。
- 若用户未设置 1 小时保护期，购买抢占型实例胜利后，当呈现实例库存有余或出价下限低于市场价的状况，实例会立即开释。
多实例部署
- 在应用抢占型实例部署服务时，若只指定繁多规格的计算资源，会呈现因为出价不高或库存有余导致服务长时间无奈拉起的状况；或者因 spot 价格上浮导致资源开释，从而造成服务处于 pending。针对该问题，PAI-EAS 部署环节 反对多规格实例抉择，通过遍历服务资源配置中的规格列表来拉起资源，从而极大升高因抢占型实例开释带来的部署危险，保障服务的稳固运行。

通过这张图对 PAI-EAS 抢占型实例（Spot Instance）的计价规定进行简要示意。如图所示，该实例按量付费实例价格为 13.98 元 / 小时，用户的出价下限为 5 元 / 小时并设置了 1 小时保护期。通过抢占型实例，用户得以以较低的价格应用计算资源。

（注：以 2023 年 4 月 23 日 PAI-EAS 公共资源组抢占型实例价格进行示例，机型为 8vCPU+30GB+1*A10）

PAI-EAS 抢占型实例（Spot Instance）实用于对价格十分敏感、但对推理服务实时性及稳定性绝对不敏感的场景，如：

AIGC 内容生成的异步推理场景
图像识别、OCR 等批量后处理的图像剖析
视频宰割、视频分类等批量后处理的视频剖析
语音宰割、语音转文字等异步推理或批量推理的的语音剖析
Stable Diffusion 等 AI 绘画的异步批量解决场景

当用户不须要实时拿到推理返回的后果，而是能够承受一段时间（例如 1 小时内）的提早，这些状况就适宜采纳抢占型实例优化服务老本。

在理论业务场景中，您能够先购买一定量的预付费资源作为保底资源，保障服务能够顺利运行；而对于弹性局部，能够依据业务场景搭配应用不同机型的抢占型实例，并通过 PAI-EAS 提供的主动弹性伸缩性能来主动扩缩抢占型实例，当因价格起因无奈通过抢占型实例扩容时，PAI-EAS 也提供多规格实例抉择让用户应用一般按量付费实例进行扩容，从而以较低的组合老本保障服务稳固运行。

(1) 进入 PAI-EAS 控制台，点击“部署服务”，进入具体配置界面；

(2) 在“资源部署信息”区块，“资源组品种”勾选“公共资源组”，“资源配置办法”切换至“高级资源配置”，即可配置模型服务部署的抢占型实例资源（spot instance）；

(3) 抉择抢占型实例的保留时长：

- 设置 1 小时保护期：部署胜利后，默认至多能够应用 1 小时，即抢占胜利后有 1 小时的保护期，爱护期内能够保障您能够应用资源。超过 1 小时的保护期后，如抢占式资源实例库存短缺，且您之前设置出价下限不低于以后抢占式实例市场价，您也能够持续应用抢占式实例。
- 无确定保护期：不保障有固定时长的保护期来保障资源应用。如抢占式资源实例库存短缺，且您设置出价下限不低于以后抢占式实例市场价，您也能够持续应用抢占式实例。价格上也会比有 1 小时保护器的更便宜。

（4）抉择机器型号。能够看到以后该机型抢占型的价格和原价的比照，从而进行出价。当抢占型资源的价格低于出价且库存短缺时，您能够始终保有该机型的应用。