论文提出从IoU指标延长来的PIoU损失函数,可能无效地进步歪斜指标检测场景下的旋转角度预测和IoU成果,对anchor-based办法和anchor-free办法均实用。另外论文提供了Retail50K数据集,可能很好地用于评估歪斜指标检测算法的性能
起源:晓飞的算法工程笔记 公众号
论文: PIoU Loss: Towards Accurate Oriented Object Detection in Complex Environments
- 论文地址:https://arxiv.org/abs/2007.09584
- 论文代码:https://github.com/clobotics/piou
Introduction
以后的指标检测办法因为BB(bounding boxes)的个性,对歪斜和密集物体的检测存在肯定的局限性。为了解决这个问题,研究者扩大出了带旋转参数的OBB(oriented bounding boxes),即从BB($c_x,c_y,w,h$)扩大为OBB($c_x,c_y,w,h,\theta$),其中$\theta$旋转角度,这样OBB就能更紧凑地突围指标,能够更好地检测旋转和密集的物体。
目前的OBB-based办法大多数在anchor-based架构上采纳间隔损失来优化上述的5个参数,并且在航空图片的指标检测上曾经有一些利用。但其检测性能在更简单的场景中仍然存在局限性,次要起因在于间隔损失更多地是优化旋转角度误差,而不是优化全局IoU,特地是对长条形物体很不敏感。如图a所示,两个IoU相差很大的情景下,间隔损失的后果却是一样的。
为了解决这个问题,论文提出PIoU(Pixels-IOU)损失来同时进步旋转角度和IoU的准确率。如图b所示,PIoU损失能间接反映物体间的IoU,但因为OBB间的相交区域可能是多边形,OBB的IoU比BB的IoU要难算得多,所以PIoU损失以逐像素判断的形式进行IoU计算并且是间断可微的。另外论文还提供了蕴含高长宽比歪斜指标的检测数据集Retail50K,不便OBB-based检测算法的钻研。
论文的奉献如下:
- 提出新的损失函数PIoU损失,可能晋升歪斜指标的检测成果。
- 提供新的数据集Retail50K,能够更好的进行OBB-based算法的评估。
- 通过试验证实PIoU损失的有效性,可能使用于anchor-based和anchor-free办法。
Pixels-IoU (PIoU) Loss
对于OBB $b$($c_x, c_y, w,h,\theta$),现实的损失函数可能疏导网络最大化IoU,升高$b$的错误率。为了达到这个目标,须要精确且高效地计算OBB间的IoU,论文采纳了像素计数的形式来计算IoU。
对于点$p_{ij}$和OBB $b$,依据其到中线的间隔$d^h_{i,j}$和中线交点到中点的间隔$d^w_{i,j}$来判断点是否在OBB内:
定义$B_{b,b^{‘}}$为突围$b$和$b^{‘}$的最小正方形,能够通过判断$B_{b,b^{‘}}$中的所有像素来计算$b$和$b^{‘}$间的交加区域和并集区域:
最初通过$S_{b\cap b^{‘}}$除以$S_{b\cup b^{‘}}$计算IoU,但公式1并不是间断可微函数,导致不能进行反向流传训练。为了解决这个问题,将公式1转换为两个核的乘积$F(p_{i,j}|b)$:
其中$k$用于管制对指标像素$p_{i,j}$的敏感水平,因为公式9应用了绝对地位信息(图a的点间隔和三角形的角度),所以$S_{b\cap b^{‘}}$和$S_{b\cup b^{‘}}$均是对OBB的旋转角度和大小敏感的。
如图b所示,$F(p_{i,j}|b)$是间断可微的,且与公式1相似。当$p_{i,j}$在$b$内时,$F(p_{i,j}|b)$靠近于1,反之则靠近于0。为此,$b$和$b^{‘}$的交并集区域计算变为:
为了升高公式11的计算量,简化为:
基于公式10和公式12,PIoU的计算为:
定义$M$为所有正样本对,PIoU损失的计算为:
PIoU损失也可用于无交加的OBB,因为PIoU始终大于零,梯度仍然能够计算,另外PIoU损失也能够用于失常的BB场景中。
Retail50K Dataset
之前的大多数OBB数据集都是航空图片,少部分数据集对MSCOCO等数据集进行从新标注。据统计,航空图片数据集中大多数OBB的长宽比都在1:4内,而支流数据集则集中在1:1,不可能很好地评估OBB-based办法的性能。为此,论文提供了Retail50K数据集,由47000张不同的超市图片形成,标注对象为货架的层架边。数据集蕴含简单的背景和高长宽比指标,并且具备理论应用意义。
Experiments
不同$k$下比照试验。
比照其它损失函数在OBB场景下的性能。
比照其它损失函数在BB场景下的性能。
Retail50K数据集上的性能比照。
HRSC2016数据上的性能比照。
DOTA数据上的性能比照。
后果可视化比照。
Conclustion
论文提出从IoU指标延长来的PIoU损失函数,可能无效地进步歪斜指标检测场景下的旋转角度预测和IoU成果,对anchor-based办法和anchor-free办法均实用。从后果来看,PIoU损失的成果还是非常显著的。另外论文提供了Retail50K数据集,可能很好地用于评估歪斜指标检测算法的性能。
如果本文对你有帮忙,麻烦点个赞或在看呗~
更多内容请关注 微信公众号【晓飞的算法工程笔记】
发表回复