乐趣区

关于机器学习:在不平衡数据上使用AUPRC替代ROCAUC

ROC 曲线和曲线下面积 AUC 被宽泛用于评估二元分类器的性能。然而有时,基于准确召回曲线下面积 (AUPRC) 的测量来评估不均衡数据的分类却更为适合。

本文将具体比拟这两种测量方法,并阐明在 AUPRC 数据不均衡的状况下掂量性能时的劣势

准备常识——计算曲线

我假如您相熟准确率和召回率以及混同矩阵的元素(TP、FN、FP、TN)这些基本知识。如果你不相熟能够搜寻咱们以前的文章。

当初,让咱们疾速回顾一下 ROC 曲线和 PRC 的计算。

假如咱们有一个二元分类器来预测概率。给定一个新的例子,它输入正类的概率。咱们取一个蕴含 3 个正例和 2 个负例的测试集,计算分类器的预测概率——在下图中按降序对它们进行排序。在相邻的预测之间,搁置一个阈值并计算相应的评估度量,TPR(相当于 Recall)、FPR 和 Precision。每个阈值代表一个二元分类器,其预测对其上方的点为正,对其下方的点为负——评估度量是针对该分类器计算的。

图 1:在给定概率和根本事实的状况下,计算 ROC 曲线和 PRC。这些点按正类概率排序(最高概率在顶部),绿色和红色别离代表正标签或负标签。

咱们能够绘制 ROC 曲线和 PRC:

图 2:依据图 1 中形容的数据绘制 ROC 曲线和 PRC。

计算每条曲线下的面积很简略——这些面积如图 2 所示。AUPRC 也称为均匀精度 (AP),这是一个来自信息检索畛域的术语(稍后会具体介绍)。

在 sklearn 中,咱们能够应用 sklearn.metrics.roc_auc_score 和 sklearn.metrics.average_precision_score。

比拟 ROC-AUC 和 AUPRC

让咱们间接跳到后果,而后探讨试验。

在图 3 中(下图),咱们看到两个弱小的模型(高 AUC),它们的 AUC 分数差别很小,橙色模型略好一些。

图 3:两个看似类似的模型,其中橙色的模型(“其余模型”)显示出轻微的劣势。

然而,在图 4 中(下图),状况齐全不同——蓝色模型要强得多。

图 4:两种模型,其中蓝色具备显着劣势。

这是为什么呢?在答复这些问题之前,让咱们形容一下咱们的试验。

这里的要害是类标签的散布:

  1. 20 个正例
  2. 2000 个负例

这是一个重大的不均衡的数据集。咱们的两个模型是应用这些数据进行的预测。第一个模型在其前 20 个预测中找到 80% 的正确值·,第二 个模型在其前 60 个预测中找到 80% 的正确值·,如下图 5 所示。其余的正确预测均匀散布在 剩下的样本中。

图 5:图 3 和图 4 中思考的模型的前 100 个预测。

换句话说,模型之间的区别在于它们发现正确值的速度有多“快”。让咱们看看为什么这是一个重要的属性,以及为什么 ROC-AUC 无奈捕捉到它。

解释差别

ROC 曲线的 x 轴是 FPR。在给定不均衡数据的状况下,与召回率的变动相比,FPR 的变动是迟缓的。这个因素导致了下面差别的产生。

在解释之前,咱们要强调的是这里是不均衡的数据集。查看 100 个示例后思考 FPR,可能会看到最多 100 起码 80 个 的负例(误报),因而 FPR 在区间 [0.04, 0.05] 内。相比之下,咱们的模型在 100 个示例中曾经实现了 80% 的召回率,召回率简直没有进步空间,这会导致 AUC 很高。

另一方面,对于 PRC 来说,取得误报会产生显着影响,因为每次咱们看到一个误报时,精度都会大大降低。因而,“其余模型”体现不佳。然而为什么这里应用精度呢?

对于欺诈检测、疾病辨认和 YouTube 视频举荐等工作。它们有着相似的数据不均衡的实质,因为正样本很少。如果咱们模型的用户能更快地找到他们须要后果就能节俭很多工夫。也就是说,正样本的分数是要害。而 AUPRC 正好捕捉了这一需要,而 ROC-AUC 没有做到这一点。

ROC-AUC 具备很好的概率解释([2] 中提到了其余等效解释,[4] 或 [5] 中提供了证实)。

ROC-AUC 是“平均抽取的随机正例比平均抽取的随机负例得分更高的概率”。

对于上述重大的数据不均衡的数据集,当咱们对立绘制一个随机负样本时,因为数据的不均衡,负样本更容易收集,所以咱们无奈确认这个负样本的有效性,然而得分确很高。然而当咱们对立绘制一个随机正样本时,这个分数对咱们很重要,然而分数却很低,即上述概率会很高。

对于不均衡的数据咱们快乐获得是,正例(数据量少的)是如何得分的而不是负例(数据量大的),ROC-AUC 不辨别这些,但 AUPRC 却很敏感。

对不均衡数据的分类可能被视为一个踊跃的检索工作(例如,Web 文档检索),在这种状况下咱们只关怀来自咱们的分类器(或排名器)的前 K 个预测。测量 top-K 预测通常应用均匀精度 (AUPRC) 来实现,因为它是评估通用检索系统的最先进的测量方法 [3]。因而如果你发现你的不均衡工作相似于检索工作,强烈建议思考 AUPRC。

总结

只管 ROC-AUC 蕴含了许多有用的评估信息,但它并不是一个万能的衡量标准。咱们应用 ROC-AUC 的概率解释进行了试验来反对这一主张并提供了理论依据。AUPRC 在解决数据不均衡时能够为咱们提供更多信息。

总体而言,ROC 在评估通用分类时很有用,而 AUPRC 在对常见事件进行分类时是更好的办法。

如果你对本文的计算感兴趣,请看作者提供的源代码:

https://avoid.overfit.cn/post/8faa6d1d4ca0401bbb74da48db4e0c7f

作者:Daniel Rosenberg

退出移动版