共计 4071 个字符，预计需要花费 11 分钟才能阅读完成。
论文提出自适应的 label assignment 办法 DW，突破了以往耦合加权的常规。依据不同角度的一致性和非一致性指标，动静地为 anchor 调配独立的 pos 权重和 neg 权重，能够更全面地监督训练。此外，论文还提出了新的预测框精调操作，在回归特色图上间接精调预测框
起源：晓飞的算法工程笔记 公众号
论文:A Dual Weighting Label Assignment Scheme for Object Detection
- 论文地址：https://arxiv.org/abs/2203.09730
- 论文代码：https://github.com/strongwolf/DW
Introduction
Anchor 作为指标检测器训练的根底单元，须要被赋予正确的分类标签和回归标签，这样的标签指定 (LA, label assignment) 过程也可认为是损失权重指定过程。对于单个 anchor 的 cls 损失计算，能够对立地示意为：
$w_{pos}$ 和 $w_{neg}$ 为正向权重和反向权重，用于管制训练的方向。基于这个设计，能够将 LA 办法分为两个大类：
- Hard LA：每个 anchor 都可被分为 pos 或 neg，即 $w_{pos},w_{neg}\in \{0,1\}$ 以及 $w_{pos}+w_{neg}=1$，这类办法的外围在于找到辨别正负 anchor 的界线。经典的做法间接采纳固定的 IoU 阈值进行判断，疏忽了指标在大小和形态上的差别。而近期如 ATSS 等钻研则提出动静阈值的概念，依据具体的 IoU 散布来划分 anchor。但对于训练来说，不论是动态还是动静的 Hard LA 办法，都疏忽了 anchor 自身的重要性差别。
- Soft LA：为了克服 Hard LA 的毛病，GFL 和 VFL 等钻研提出了 soft 权重的概念。这类办法基于 IoU 为每个 anchor 设定 soft label 指标，并且依据 cls 分数和 reg 分数为 anchor 计算 $w_{pos}$ 和 $w_{neg}$。但目前这些办法都专一于 $w_{pos}$ 的设计，$w_{neg}$ 个别间接从 $w_{pos}$ 中衍生而来，导致网络短少来自于 neg 权重的监督信息。如图 1 所示，GFL 和 VFL 为品质不同的 anchor 赋予类似的损失权重，这可能会升高检测器的性能。
为了给检测器提供更多的监督信息，论文提出了新的 LA 办法 DW(dual weighting)，从不同的角度独自计算 $w_{pos}$ 和 $w_{neg}$ 并让其可能互补。此外，为了给权重计算函数提供更精确的 reg 分数，论文还提出了新的 bbox 精调操作，预测指标的边界地位并依据对应的特色产生更精确的精调信息。
Proposed Method
Motivation and Framework
因为 NMS 的存在，检测器应该预测统一的 bbox，既有高分类分数也有精确的地位定位。但如果在训练时平等地看待所有的训练样本，而 cls 分数越高的预测后果的 reg 地位不肯定越精确，这往往会导致 cls head 与 reg head 之间就会存在不一致性。为此，Soft LA 通过加权损失来更柔和地看待训练样本，增强 cls head 与 reg head 的一致性。基于 Soft LA，anchor 的损失能够示意为：
其中 $s$ 为预测的 cls 分数。为一致性更高的预测后果调配更大的 $w_{pos}$ 和 $w_{reg}$，可能使得网络专一于学习高质量的预测后果，加重 cls head 与 reg head 的不统一问题。
以后的办法间接将 $w_{reg}$ 设置为 $w_{pos}$，次要关注如何定义一致性以及如何将其集成到损失权重中。表 1 总结了一些办法对 $w_{pos}$ 和 $w_{neg}$ 的计算公式，这些办法先定义用于度量一致性的指标 $t$，随后将 $1-t$ 作为不一致性的度量指标，最初增加缩放因子将指标集成到损失权重中。
上述办法的 $w_{pos}$ 和 $w_{neg}$ 都是高度相干的，而论文认为 pos 和 neg 权重应该以 prediction-aware 的形式独自设置，具体如下：
- pos weighting function：以预测的 cls 分数和预测框的 IoU 作为输出，预测两者的一致性水平作为 pos 权重。
- neg weighting function：同样以预测 cls 分数和预测框的 IoU 作为输出，但将 neg 权重定义为 anchor 为负的概率以及 anchor 作为负的重要水平的乘积。
通过上述定义，对于 pos 权重类似的这种不置可否的 anchor，就能够依据不同的 neg 权重失去更细粒度的监督信息。
DW 办法的整体流程如图 2 所示，先依据中心点间隔来为每个 GT 结构候选正样本集，其余的 anchor 为候选负样本。因为负样本的统计信息非常凌乱，所以不参加权重函数的计算。候选正样本会被赋予三个权重 $W_{pos}$、$W_{neg}$ 以及 $W_{reg}$，用于更无效地监督训练。
Positive Weighting Function
pos 权重须要反映预测后果对检测性能的重要性，论文从指标检测的验证指标来剖析影响重要性的因素。在测试时，通常会依据 cls 分数或 cls 分数与 IoU 的联合对单分类的预测后果进行排序，从前往后顺次判断。正确的预测需满足以下两点：
- a. 与所属 GT 的 IoU 大于阈值 $\theta$。
- b. 无其余排名靠前且所属 GT 雷同的预测后果满足条件 a。
上述条件可认为是抉择高 ranking 分数以及高 IoU 的预测后果，也意味着满足这两个条件的预测后果有更大概率在测试阶段被抉择。从这个角度来看，pos 权重 $w_{pos}$ 就应该与 IoU 和 ranking 分数正相干。首先定义一致性指标 $t$，用于度量两个条件的对齐水平：
为了让不同 anchor 的 pos 权重的方差更大，增加指数调节因子：
最终，各 anchor 的 pos 权重会依据对应 GT 的候选 anchor 的 pos 权重之和进行归一化。
Negative Weighting Function
pos 权重尽管能够使得统一的 anchor 同时具备高 cls 分数和高 IoU，但无奈辨别不统一 anchor 的重要水平。如后面图 1 所示，anchor D 定位校准但分类分数较低，而 anchor B 恰好相反。两者的一致性水平 $t$ 统一，pos 权重无奈辨别差别。为了给检测器提供更多的监督信息，精确地体现 anchor 的重要水平，论文提出为两者赋予更清晰的 neg 权重，具体由以下两局部形成。
Probability of being a Negative Sample
依据 COCO 的验证指标，IoU 不满足阈值的预测后果一律归为谬误的检测。所以，IoU 是决定 achor 为负样本的概率的惟一因素，记为 $P_{neg}$。因为 COCO 应用 0.5-0.95 的 IoU 阈值来计算 AO，所以 $P_{neg}$ 应该满足以下规定：
任意 $[0.5,0.95]$ 上枯燥递加的函数都能够作为 $P_{neg}$ 两头局部。为了简便，论文采纳了以下函数：
公式 6 须要穿过点 $(0.5,1)$ 和 $(0.95, 0)$，一旦 $\gamma_1$ 确定了，参数 $k$ 和 $b$ 可通过待定系数法确定。
图 3 展现了不同 $\gamma_1$ 下的 $P_{neg}$ 曲线。
Importance Conditioned on being a Negative Sample
在推理时，ranking 队列中靠前的 neg 预测后果尽管不会影响召回率，但会升高准确率。为了失去更高的性能，应该尽可能地升高 neg 预测后果的 ranking 分数。所以在训练中，ranking 分数较高的 neg 预测后果应该比 ranking 分数较低的预测后果更为重要。基于此，定义 neg 预测后果的重要水平 $I_{neg}$ 为 ranking 分数的函数：
最终，整体的 neg 权重 $w_{neg}=P_{neg}\times I_{neg}$ 变为：
$w_{neg}$ 与 $IoU$ 负相关，与 $s$ 正相干。对于 pos 权重雷同的 anchor，IoU 更小的会有更大的 neg 权重。在兼容验证指标的同时，$w_{neg}$ 能给予检测器更多的监督信息。
Box Refinement
pos 权重和 neg 权重都以 IoU 作为输出，更精确的 IoU 能够保障更高质量的训练样本，有助于学习更强的特色。为此，论文提出了新的 box 精调操作，基于预测的四条边的偏移值 $O\in R^{H\times W\times 4}$ 进行下一步的精调。
思考到指标边界上的点有更大的概率预测精确的地位，论文设计了可学习的预测模块，基于初步的 bbox 为每条边生成边界点。如图 4 所示，四个边界点的坐标定义为：
其中，$\{\Delta^x_l,\Delta^y_l,\Delta^x_t,\Delta^y_t,\Delta^x_r,\Delta^y_r,\Delta^x_b,\Delta^y_b\}$ 为精调模块的输入。最初，联合边界点的预测和精调模块的输入，最终精调后的 anchor 偏移 $O^{‘}$ 为：
Loss Function
DW 策略可间接利用到大多数的 dense 检测器中。论文将 DW 利用到 FCOS 中并进行了大量批改，将 centerness 分支和分类分支合并成 cls 分数，网络的损失为：
这里的 $\beta$ 跟公式 3 是同一个，$N$ 和 $M$ 别离为候选 anchor 数和非候选 anchor 数。
Experiment
均衡超参数对性能的影响。
候选 anchor 抉择办法对性能的影响。第一种为中心点的间隔阈值，第二种抉择最近的几个，第三种为间隔权重与 pos 权重乘积排序。
neg 权重计算形式比照。
LA 钻研之间的比照。
与 SOTA 检测算法比照。
Conclusion
论文提出自适应的 label assignment 办法 DW，突破了以往耦合加权的常规。依据不同角度的一致性和非一致性指标，动静地为 anchor 调配独立的 pos 权重和 neg 权重，能够更全面地监督训练。此外，论文还提出了新的预测框精调操作，在回归特色图上间接精调预测框。
如果本文对你有帮忙，麻烦点个赞或在看呗～
更多内容请关注 微信公众号【晓飞的算法工程笔记】
