关于ml:Amazon-Forecast现可支持对单一条目进行准确性评估

33次阅读

共计 1701 个字符，预计需要花费 5 分钟才能阅读完成。

咱们快乐地发表，当初您曾经能够在 Amazon Forecast 当中评估单一条目标预测准确性，借此更好地理解您的预测模型在最重要的多数外围条目上领有怎么的预测体现。一般来说，改良对特定条目（例如价格较高或老本较高的条目）的预测准确性往往要比对全副条目进行整体加强更具现实意义。通过此次性能公布，当初您能够查看 单一条目标准确性 ，并在 训练期间察看其预测输入。利用这部分信息，您能够轻松将预测体现与察看到的实在历史需要进行比拟，在自定义 SKU 或特定时段内的自定义汇合中汇总各项准确性指标，或者在不保留独自验证数据集的前提下进行后果可视化，从而更好地解释后果。以此为根底，咱们能够进一步定制试验，深刻摸索如何优化可能切实满足业务需要的外围条目标预测准确性。

📢 想要理解更多亚马逊云科技最新技术公布和实际翻新，敬请关注在上海、北京、深圳三地举办的2021 亚马逊云科技中国峰会！点击图片报名吧～

特地是对于零售商而言，不同 SKU 往往有着不同的业务影响。一般来讲，批发行业遵循“二八定律”——即 80% 的支出次要来自 20% 的多数单品。因而，零售商当然更偏向于在这 20% 单品上取得更高的预测准确性。尽管咱们能够为这前 20% 的单品创立独立的预测模型，但因为此模型齐全接触不到其余 80% 的商品（条目），因而准确性很可能受到影响。此外，零售商兴许更偏向于让某些商品放弃高于所需的库存程度、并让另一些商品低于所需的库存程度，因而须要训练繁多模型以评估不同库存程度下不同商品的预测准确性。

为了在条目层级或者部门层级评估预测准确性，咱们通常会将验证数据集保留在 Forecast 之外，只向 Forecast 提供训练数据集以创立优化模型。在模型训练实现之后，咱们能够生成多项预测，并将其与验证数据集进行比拟。但这会减少试验阶段的老本，并削减 Forecast 在训练中所能接触的数据量。

通过明天的性能公布，当初大家能够拜访 Forecast 内部测试中的预测值。此测试会将数据间接拆分为 训练数据组 与回测数据组 ，借此将预测后果同察看到的数据与条目级准确性指标进行比拟。如此一来，咱们无需在 Forecast 之外保留测试数据集。在训练模型的各步骤中，Forecast 会主动将历史需要数据集划分为 训练数据集组 与回测数据集组。Forecast 应用训练数据集进行模型，再将后果与回测数据集组内的察看值进行比拟，从而在回测期间实现对不同指定库存程度的预测剖析。当初，您能够随时导出各具体条目标回测预测后果与各个条目标准确性指标。

要针对特定条目或基于不同类别的自定义条目集对其预测模型进行强度评估，咱们能够将这些条目标回测预测后果汇总起来，借此计算出准确性指标。如果您抉择了不同的库存程度，还能够抉择评估某些库存程度下的条目准确性，同时度量不同库存程度下其余条目标准确性。最初，当初您能够将回测预测导出至 Amazon QuickSight 或者您指定的任何其余可视化工具，借此轻松将预测后果与历史需要进行比拟。

要应用此项性能，请参阅咱们的博客以理解如何导出各条目标回测后果。同时参考 CreatePredictorBacktestExportJob API。咱们还在GitHub repo 中提供一份 notebook，可帮忙大家逐渐理解如何应用Forecast API 导出各条目标准确性指标，并据此计算出一组自定义条目标准确性指标。