关于机器学习:在不平衡数据上使用AUPRC替代ROCAUC

6次阅读

共计 2166 个字符，预计需要花费 6 分钟才能阅读完成。

ROC 曲线和曲线下面积 AUC 被宽泛用于评估二元分类器的性能。然而有时，基于准确召回曲线下面积 (AUPRC) 的测量来评估不均衡数据的分类却更为适合。

本文将具体比拟这两种测量方法，并阐明在 AUPRC 数据不均衡的状况下掂量性能时的劣势

我假如您相熟准确率和召回率以及混同矩阵的元素（TP、FN、FP、TN）这些基本知识。如果你不相熟能够搜寻咱们以前的文章。

当初，让咱们疾速回顾一下 ROC 曲线和 PRC 的计算。

假如咱们有一个二元分类器来预测概率。给定一个新的例子，它输入正类的概率。咱们取一个蕴含 3 个正例和 2 个负例的测试集，计算分类器的预测概率——在下图中按降序对它们进行排序。在相邻的预测之间，搁置一个阈值并计算相应的评估度量，TPR（相当于 Recall）、FPR 和 Precision。每个阈值代表一个二元分类器，其预测对其上方的点为正，对其下方的点为负——评估度量是针对该分类器计算的。

图 1：在给定概率和根本事实的状况下，计算 ROC 曲线和 PRC。这些点按正类概率排序（最高概率在顶部），绿色和红色别离代表正标签或负标签。

咱们能够绘制 ROC 曲线和 PRC：

图 2：依据图 1 中形容的数据绘制 ROC 曲线和 PRC。

计算每条曲线下的面积很简略——这些面积如图 2 所示。AUPRC 也称为均匀精度 (AP)，这是一个来自信息检索畛域的术语（稍后会具体介绍）。

在 sklearn 中，咱们能够应用 sklearn.metrics.roc_auc_score 和 sklearn.metrics.average_precision_score。

让咱们间接跳到后果，而后探讨试验。

在图 3 中（下图），咱们看到两个弱小的模型（高 AUC），它们的 AUC 分数差别很小，橙色模型略好一些。

图 3：两个看似类似的模型，其中橙色的模型（“其余模型”）显示出轻微的劣势。

然而，在图 4 中（下图），状况齐全不同——蓝色模型要强得多。

图 4：两种模型，其中蓝色具备显着劣势。

这是为什么呢？在答复这些问题之前，让咱们形容一下咱们的试验。

这里的要害是类标签的散布：

20 个正例
2000 个负例

这是一个重大的不均衡的数据集。咱们的两个模型是应用这些数据进行的预测。第一个模型在其前 20 个预测中找到 80% 的正确值·，第二个模型在其前 60 个预测中找到 80% 的正确值·，如下图 5 所示。其余的正确预测均匀散布在剩下的样本中。

图 5：图 3 和图 4 中思考的模型的前 100 个预测。

换句话说，模型之间的区别在于它们发现正确值的速度有多“快”。让咱们看看为什么这是一个重要的属性，以及为什么 ROC-AUC 无奈捕捉到它。

ROC 曲线的 x 轴是 FPR。在给定不均衡数据的状况下，与召回率的变动相比，FPR 的变动是迟缓的。这个因素导致了下面差别的产生。

在解释之前，咱们要强调的是这里是不均衡的数据集。查看 100 个示例后思考 FPR，可能会看到最多 100 起码 80 个的负例（误报），因而 FPR 在区间 [0.04, 0.05] 内。相比之下，咱们的模型在 100 个示例中曾经实现了 80% 的召回率，召回率简直没有进步空间，这会导致 AUC 很高。

另一方面，对于 PRC 来说，取得误报会产生显着影响，因为每次咱们看到一个误报时，精度都会大大降低。因而，“其余模型”体现不佳。然而为什么这里应用精度呢？

对于欺诈检测、疾病辨认和 YouTube 视频举荐等工作。它们有着相似的数据不均衡的实质，因为正样本很少。如果咱们模型的用户能更快地找到他们须要后果就能节俭很多工夫。也就是说，正样本的分数是要害。而 AUPRC 正好捕捉了这一需要，而 ROC-AUC 没有做到这一点。

ROC-AUC 具备很好的概率解释（[2] 中提到了其余等效解释，[4] 或 [5] 中提供了证实）。

ROC-AUC 是“平均抽取的随机正例比平均抽取的随机负例得分更高的概率”。

对于上述重大的数据不均衡的数据集，当咱们对立绘制一个随机负样本时，因为数据的不均衡，负样本更容易收集，所以咱们无奈确认这个负样本的有效性，然而得分确很高。然而当咱们对立绘制一个随机正样本时，这个分数对咱们很重要，然而分数却很低，即上述概率会很高。

对于不均衡的数据咱们快乐获得是，正例（数据量少的）是如何得分的而不是负例（数据量大的），ROC-AUC 不辨别这些，但 AUPRC 却很敏感。

对不均衡数据的分类可能被视为一个踊跃的检索工作（例如，Web 文档检索），在这种状况下咱们只关怀来自咱们的分类器（或排名器）的前 K 个预测。测量 top-K 预测通常应用均匀精度 (AUPRC) 来实现，因为它是评估通用检索系统的最先进的测量方法 [3]。因而如果你发现你的不均衡工作相似于检索工作，强烈建议思考 AUPRC。

只管 ROC-AUC 蕴含了许多有用的评估信息，但它并不是一个万能的衡量标准。咱们应用 ROC-AUC 的概率解释进行了试验来反对这一主张并提供了理论依据。AUPRC 在解决数据不均衡时能够为咱们提供更多信息。

总体而言，ROC 在评估通用分类时很有用，而 AUPRC 在对常见事件进行分类时是更好的办法。

如果你对本文的计算感兴趣，请看作者提供的源代码：

https://avoid.overfit.cn/post/8faa6d1d4ca0401bbb74da48db4e0c7f

作者：Daniel Rosenberg

正文完