论文提出自适应的label assignment办法DW，突破了以往耦合加权的常规。依据不同角度的一致性和非一致性指标，动静地为anchor调配独立的pos权重和neg权重，能够更全面地监督训练。此外，论文还提出了新的预测框精调操作，在回归特色图上间接精调预测框
 
起源：晓飞的算法工程笔记 公众号

论文:A Dual Weighting Label Assignment Scheme for Object Detection

  • 论文地址：https://arxiv.org/abs/2203.09730
  • 论文代码：https://github.com/strongwolf/DW

Introduction

  Anchor作为指标检测器训练的根底单元，须要被赋予正确的分类标签和回归标签，这样的标签指定(LA, label assignment)过程也可认为是损失权重指定过程。对于单个anchor的cls损失计算，能够对立地示意为：

  $w_{pos}$和$w_{neg}$为正向权重和反向权重，用于管制训练的方向。基于这个设计，能够将LA办法分为两个大类：

  • Hard LA：每个anchor都可被分为pos或neg，即$w_{pos},w_{neg}\in \{0,1\}$以及$w_{pos}+w_{neg}=1$，这类办法的外围在于找到辨别正负anchor的界线。经典的做法间接采纳固定的IoU阈值进行判断，疏忽了指标在大小和形态上的差别。而近期如ATSS等钻研则提出动静阈值的概念，依据具体的IoU散布来划分anchor。但对于训练来说，不论是动态还是动静的Hard LA办法，都疏忽了anchor自身的重要性差别。

  • Soft LA：为了克服Hard LA的毛病，GFL和VFL等钻研提出了soft权重的概念。这类办法基于IoU为每个anchor设定soft label指标，并且依据cls分数和reg分数为anchor计算$w_{pos}$和$w_{neg}$。但目前这些办法都专一于$w_{pos}$的设计，$w_{neg}$个别间接从$w_{pos}$中衍生而来，导致网络短少来自于neg权重的监督信息。如图1所示，GFL和VFL为品质不同的anchor赋予类似的损失权重，这可能会升高检测器的性能。

  为了给检测器提供更多的监督信息，论文提出了新的LA办法DW(dual weighting)，从不同的角度独自计算$w_{pos}$和$w_{neg}$并让其可能互补。此外，为了给权重计算函数提供更精确的reg分数，论文还提出了新的bbox精调操作，预测指标的边界地位并依据对应的特色产生更精确的精调信息。

Proposed Method

Motivation and Framework

  因为NMS的存在，检测器应该预测统一的bbox，既有高分类分数也有精确的地位定位。但如果在训练时平等地看待所有的训练样本，而cls分数越高的预测后果的reg地位不肯定越精确，这往往会导致cls head与reg head之间就会存在不一致性。为此，Soft LA通过加权损失来更柔和地看待训练样本，增强cls head与reg head的一致性。基于Soft LA，anchor的损失能够示意为：

  其中$s$为预测的cls分数。为一致性更高的预测后果调配更大的$w_{pos}$和$w_{reg}$，可能使得网络专一于学习高质量的预测后果，加重cls head与reg head的不统一问题。

  以后的办法间接将$w_{reg}$设置为$w_{pos}$，次要关注如何定义一致性以及如何将其集成到损失权重中。表1总结了一些办法对$w_{pos}$和$w_{neg}$的计算公式，这些办法先定义用于度量一致性的指标$t$，随后将$1-t$作为不一致性的度量指标，最初增加缩放因子将指标集成到损失权重中。
 上述办法的$w_{pos}$和$w_{neg}$都是高度相干的，而论文认为pos和neg权重应该以prediction-aware的形式独自设置，具体如下：

  • pos weighting function：以预测的cls分数和预测框的IoU作为输出，预测两者的一致性水平作为pos权重。
  • neg weighting function：同样以预测cls分数和预测框的IoU作为输出，但将neg权重定义为anchor为负的概率以及anchor作为负的重要水平的乘积。

  通过上述定义，对于pos权重类似的这种不置可否的anchor，就能够依据不同的neg权重失去更细粒度的监督信息。

  DW办法的整体流程如图2所示，先依据中心点间隔来为每个GT结构候选正样本集，其余的anchor为候选负样本。因为负样本的统计信息非常凌乱，所以不参加权重函数的计算。候选正样本会被赋予三个权重$W_{pos}$、$W_{neg}$以及$W_{reg}$，用于更无效地监督训练。

Positive Weighting Function

  pos权重须要反映预测后果对检测性能的重要性，论文从指标检测的验证指标来剖析影响重要性的因素。在测试时，通常会依据cls分数或cls分数与IoU的联合对单分类的预测后果进行排序，从前往后顺次判断。正确的预测需满足以下两点：

  • a. 与所属GT的IoU大于阈值$\theta$。
  • b. 无其余排名靠前且所属GT雷同的预测后果满足条件a。

  上述条件可认为是抉择高ranking分数以及高IoU的预测后果，也意味着满足这两个条件的预测后果有更大概率在测试阶段被抉择。从这个角度来看，pos权重$w_{pos}$就应该与IoU和ranking分数正相干。首先定义一致性指标$t$，用于度量两个条件的对齐水平：

  为了让不同anchor的pos权重的方差更大，增加指数调节因子：

  最终，各anchor的pos权重会依据对应GT的候选anchor的pos权重之和进行归一化。

Negative Weighting Function

  pos权重尽管能够使得统一的anchor同时具备高cls分数和高IoU，但无奈辨别不统一anchor的重要水平。如后面图1所示，anchor D定位校准但分类分数较低，而anchor B恰好相反。两者的一致性水平$t$统一，pos权重无奈辨别差别。为了给检测器提供更多的监督信息，精确地体现anchor的重要水平，论文提出为两者赋予更清晰的neg权重，具体由以下两局部形成。

  • Probability of being a Negative Sample

      依据COCO的验证指标，IoU不满足阈值的预测后果一律归为谬误的检测。所以，IoU是决定achor为负样本的概率的惟一因素，记为$P_{neg}$。因为COCO应用0.5-0.95的IoU阈值来计算AO，所以$P_{neg}$应该满足以下规定：

  任意$[0.5,0.95]$上枯燥递加的函数都能够作为$P_{neg}$两头局部。为了简便，论文采纳了以下函数：

  公式6须要穿过点$(0.5,1)$和$(0.95, 0)$，一旦$\gamma_1$确定了，参数$k$和$b$可通过待定系数法确定。

  图3展现了不同$\gamma_1$下的$P_{neg}$曲线。

  • Importance Conditioned on being a Negative Sample

      在推理时，ranking队列中靠前的neg预测后果尽管不会影响召回率，但会升高准确率。为了失去更高的性能，应该尽可能地升高neg预测后果的ranking分数。所以在训练中，ranking分数较高的neg预测后果应该比ranking分数较低的预测后果更为重要。基于此，定义neg预测后果的重要水平$I_{neg}$为ranking分数的函数：

  最终，整体的neg权重$w_{neg}=P_{neg}\times I_{neg}$变为：

 $w_{neg}$与$IoU$负相关，与$s$正相干。对于pos权重雷同的anchor，IoU更小的会有更大的neg权重。在兼容验证指标的同时，$w_{neg}$能给予检测器更多的监督信息。

Box Refinement

  pos权重和neg权重都以IoU作为输出，更精确的IoU能够保障更高质量的训练样本，有助于学习更强的特色。为此，论文提出了新的box精调操作，基于预测的四条边的偏移值$O\in R^{H\times W\times 4}$进行下一步的精调。

  思考到指标边界上的点有更大的概率预测精确的地位，论文设计了可学习的预测模块，基于初步的bbox为每条边生成边界点。如图4所示，四个边界点的坐标定义为：

  其中，$\{\Delta^x_l,\Delta^y_l,\Delta^x_t,\Delta^y_t,\Delta^x_r,\Delta^y_r,\Delta^x_b,\Delta^y_b\}$为精调模块的输入。最初，联合边界点的预测和精调模块的输入，最终精调后的anchor偏移$O^{'}$为：

Loss Function

  DW策略可间接利用到大多数的dense检测器中。论文将DW利用到FCOS中并进行了大量批改，将centerness分支和分类分支合并成cls分数，网络的损失为：

  这里的$\beta$跟公式3是同一个，$N$和$M$别离为候选anchor数和非候选anchor数。

Experiment

  均衡超参数对性能的影响。

  候选anchor抉择办法对性能的影响。第一种为中心点的间隔阈值，第二种抉择最近的几个，第三种为间隔权重与pos权重乘积排序。

  neg权重计算形式比照。

  LA钻研之间的比照。

  与SOTA检测算法比照。

Conclusion

  论文提出自适应的label assignment办法DW，突破了以往耦合加权的常规。依据不同角度的一致性和非一致性指标，动静地为anchor调配独立的pos权重和neg权重，能够更全面地监督训练。此外，论文还提出了新的预测框精调操作，在回归特色图上间接精调预测框。

 

 
 
 

如果本文对你有帮忙，麻烦点个赞或在看呗～
更多内容请关注 微信公众号【晓飞的算法工程笔记】