关于机器学习:机器学习模型的性能评估方法

动动发财的小手，点个赞吧！

部署模型后，监控其性能对于确保 ML 零碎的品质起着至关重要的作用。要计算准确度、精确度、召回率或 f1 分数等指标，须要标签。然而，在许多状况下，标签可能不可用、局部可用或提早提供。在这些状况下，预计模型性能的能力会很有帮忙。

在这篇文章中，将探讨在没有实在数据的状况下预计性能的可能办法。

1. NannyML

NannyML 是一个 Python 包，用于检测静默模型故障、预计没有标记数据的部署后性能以及检测数据漂移。目前，NannyML 有两种性能预计办法：Confidence-based Performance Estimation (CBPE) 和 Direct Loss Estimation (DLE)。

2. 基于置信度的性能预计

顾名思义，此办法利用模型预测的置信度分数来执行性能预计。

• 注意事项：

  • 置信度作为概率：置信度分数应该代表概率——例如如果大量察看的分数为 0.9，则大概 90% 的工夫都是正确的。
  • 良好校准的概率：另一个要求是分数应该通过良好校准，但状况可能并非总是如此。好消息是，如果须要，NannyML 会在外部执行校准。
  • 没有协变量转移到空间中以前看不见的区域：例如，如果您的模型是针对 10-70 岁的人进行训练的，并且在生产中，您的察看对象是 70 岁以上的人，则这种办法可能无奈提供牢靠的预计
  • 没有概念漂移：如果模型的输出和指标之间的关系发生变化，这种办法可能无奈提供牢靠的预计（我集体不晓得有什么办法能够）
  • 不适宜回归模型：回归模型通常不会固有地输入置信度分数，只会输入理论的预测，这使得这种办法的应用对于这种状况来说并非易事。

3. 间接损失估算

这种办法背地的直觉是训练一个额定的 ML 模型，其工作是预计监控模型的损失。额定的模型称为 Nanny 模型，而受监控的模型是 Child 模型。

• 注意事项：

  • 额定模型：须要训练额定的模型来预计原始模型的损失，这会减少零碎的复杂性。然而，模型不用比原始模型好，在许多状况下，它能够是一个简略的过程。
  • 适宜回归：这种办法非常适合回归工作。例如，能够训练保姆模型来预测 MSE（均方误差）或 MAE（均匀绝对误差）。
  • 没有协变量转移到空间中以前看不见的区域：对 CBPE 所做的雷同思考也实用于此办法
  • 无概念漂移：对 CBPE 所做的雷同思考也实用于此办法
  • 具备不同性能的区域：受监控模型在不同区域应具备不同的性能。例如，如果您的模型依据一天中不同节令的不同时段体现得更好或更差。

本文由 mdnice 多平台公布