本文首发于集体博客 http://zuyunfei.com/2020/07/0…，欢送浏览最新内容！

如何掂量指标检测算法的优劣

指标检测 (object detection) 问题绝对于个别 AI 分类问题更加简单，不仅检测出指标，输入指标的类别，还要定位出指标的地位。分类问题中的简略 accuray 指标曾经不能反映出指标检测问题后果的准确度，而 mAP (Mean Average Precision）就是被用来掂量指标检测算法优劣的罕用指标。
要了解什么是 mAP，须要先廓清什么是 Precision（查准率）和 Recall（查全率）。

Precision 和 Recall

定义

查准率和查全率是在信息检索、Web 搜寻等利用中经常出现的性能度量指标，在机器学习中，也能够用来度量“预测后果中有多少比例是用户感兴趣的”。对于二分类问题，可将样例依据其实在类别与预测类别的组合划分为：

TP、TN、FP、FN

• TP (True Positive): 真正例。Positive 指预测输入为正，True 代表预测正确。
• TN (True Negative): 真反例。预测输入为负，而且预测正确。
• FP (False Positive): 假正例。预测输入为正，然而预测谬误。
• FN (False Negative): 假反例。预测输入为负，然而预测谬误。

Precision

Precision(查准率）: 所有预测为正例的后果中，预测正确的比率。

Recall

Recall (查全率）：所有正例中被正确预测的比率。

如何计算

指标检测问题中，算法通常输入一个预测框 (bounding box) 来标识检出指标的地位，要掂量这个预测框与指标的理论地位 (ground truth) 的准确度，能够应用 IoU 指标。

交并比 IoU(Intersection over union)

交并比 IoU 掂量的是两个区域的重叠水平，是两个区域重叠局部面积占二者总面积（重叠局部只计算一次）的比例。

指标检测中 IoU 就是预测框与理论框的 交加除以并集 。
咱们能够设置一个阈值（threshold），通常是 0.5，预测后果能够分为：

• 如果 IoU >= 0.5

  • 如果预测类别也正确，认为是一个好的预测，分类为 TP
  • 如果预测类别谬误，认为是一个坏的预测，分类为 FP
• 如果 IoU < 0.5, 认为是一个坏的预测，分类为 FP
• 如果一个指标呈现在图像中，然而算法未检出，分类为 FN
• TN（图像上所有不蕴含理论框和检测框的局部）通常计算中用不到。

AP 和 mAP

P- R 曲线

查全率和查准率通常是一对矛盾的度量，一般来说，查准率高时，查全率往往偏低；而查全率高时，查准率往往偏低。
咱们如果把所有预测后果对样例进行排序，排在后面的是“最可能”的正例样本，以查准率为纵轴、查全率为横轴作图，失去一条”P- R 曲线”。

P- R 曲线直观的显示出一个算法在样本总体上的查全率、查准率状况。如果一个算法的 P - R 曲线被另一个算法的曲线齐全包住，则可断言后者优于前者。然而理论中，常常不同算法的 P - R 曲线是相互穿插的，这时就很难直观判断出两者的优劣。这时通常会考查 平衡点 (BEP)、F1 度量、AP 等指标。

AP

AP（average precision 均匀精度）：AP 是计算单类别的模型均匀准确度。对于指标检测工作，每一个类都能够计算出其 Precision 和 Recall，每个类都能够失去一条 P - R 曲线，曲线下的面积就是 AP 的值。如果一个算法的 AP 值较大，也就是 P - R 曲线下的面积比拟大，能够认为此算法查准率和查全率整体上绝对

mAP

mAP(mean of Average Precision) : 对所有类别的 AP 值求平均值。

Pascal VOC（VOC2007 & VOC2012）是评测指标检测算法的罕用数据集，VOC 数据集应用一个固定的 IoU 阈值 0.5 来计算 AP 值。然而在 2014 年之后，MS-COCO（Microsoft Common Objects)数据集逐步衰亡。在 COCO 数据集中，更关注预测框地位的准确性，AP 值是针对多个 IoU 阈值的 AP 平均值，具体的就是在 0.5 和 0.95 之间取 10 个 IoU 阈值（0.5、0.55、0.6 ….. 0.9、0.95）。所以 VOC 数据集中 mAP 通常标记为mAP @ IoU=0.5, mAP@0.5 或者 mAP_50，在 COCO 数据集中册标记为 mAP @ IoU=0.5:0.05:0.95, mAP @ IoU=0.5:0.95 或者 mAP@[0.5:0.95].

参考：

https://blog.csdn.net/weixin_44791964/article/details/102414522
https://www.jianshu.com/p/fecc98e448d9