论文基于 DA Faster R-CNN 系列提出类别正则化框架，充分利用多标签分类的弱定位能力以及图片级预测和实例级预测的类一致性，从实验结果来看，类该方法能够很好地提升 DA Faster R-CNN 系列的性能
 
来源：晓飞的算法工程笔记 公众号

论文: Exploring Categorical Regularization for Domain Adaptive Object Detection

• 论文地址：https://arxiv.org/pdf/2003.09152.pdf
• 论文代码：https://github.com/Megvii-Nanjing/CR-DA-DET

Introduction

  由于标注成本大，在训练好检测算法后，面对差异较大的新场景(类别不变)，若想获取大量的带标注图片进行再训练是很不方便的。对于这种情况，无监督的域自适应方法能够灵活地自适应新场景，从包含丰富标注信息的源域转移到无标注的目标域。其中，域自适应方法中比较有代表性的是 Donamin Adaptive(DA) Faster R-CNN 系列，利用对抗训练来对齐图片和实例的分布，使得模型能够做到域不变性，具体可以看上一篇介绍。
  但是这些方法大都把无法转化的背景内容也进行了对齐，而且在实例对齐时，没有从包含较多低质量的 proposal 集合中识别出难样本。为了解决上面的问题，论文提出类别正则化框架，帮助 DA Faster R-CNN 专注于对齐跨域中的关键区域和重要目标。
  论文的主要贡献如下：

• 提出新的类别正则化框架，作为域自适应目标检测算法的插件，不需要额外的标注和超参数。
• 设计了两个正则化模块，分别用于榨取卷积分类器的弱定位能力以及图像级别预测和实例级别预测间的类别一致性，能够帮助分类器专注于对齐目标相关区域以及难对齐实例。
• 对多种域转移场景进行实验，验证论文提出的方法的有效性。从实验结果来看，类别正则化框架能够提出 DA Faster R-CNN 系列方法的性能，并在基础数据集上达到 SOTA。

Approach

Framework Overview

  论文方法的整体架构如图 2，在 DA Faster R-CNN 基础上添加了 ICR(image-level categorical regularization)和 CCR(categorical consistency regularization)，能够更好地对齐域间的关键区域和重要实例。

Image-Level Categorical Regularization

  ICR 的主要目的是提高主干网络的目标特征提取能力，同时降低背景的激活。结构如图 2b 所示，ICR 使用源域数据进行有监督训练，对主干网络的特征输出进行全局池化，再使用多标签分类器 ($1\times 1$ 卷积) 进行分类，损失函数使用标准交叉熵多标签损失：

  $C$ 为类别总数，$y^c$ 为 GT 标签，$\hat{y}^c$ 为预测标签，$y^c=1$ 表示图片至少包含一个类别 $c$ 物体。

 ICR 模块利用多标签分类器的弱定位能力，能够有监督地引导主干网络只激活类相关特征。如图 3 所示，类相关的特征会有较高的激活值。在图像级对齐时，能够对齐域间关键区域，同时，由于背景没有参与到图像级多标签分类器中，能够有效减少拟合不可对齐的源背景的可能性。

Categorical Consistency Regularization

  CCR 负责发现难对齐实例，调整实例级对齐损失的权重，基于两点考虑：

• 由于不能区分前景和后景，实例对齐模块可能被低质量背景 proposal 占据。
• 添加的图像级分类器和实例检测 head 是互补的，前者负责获取所有图像级上下文信息，后者使用精确的 RoI 特征，当两者预测不一致时，该实例就是难样本。

  基于以上考虑，论文采用图像级预测和实例级预测的类别一致性作为目标分类难易程度的判断，并在目标域中使用该一致性作为正则因子，调节难对齐样本在实例对齐中的权重。假定 $\hat{p}^{c}_j$ 为预测第 $j$ 个实例为类别 $c$ 的概率，$\hat{y}^c$ 为实例预测包含类别 $c$ 的概率，类别一致性的计算为

  使用公式 5 来加权实例级对抗损失

  需要注意，仅对目标域的检测 head 预测为前景的实例使用公式 5 加权，源域的所有实例和目标域的背景实例均使用 $d_j=1$，前者因为是有监督的，而后者则是因为不重要。

Integration with DA Faster R-CNN Series

  将论文提出的方法加入到 DA Faster R-CNN 中，ICR 为直接加入，CCR 为对原损失的修改，最终的损失函数为

  论文也对比了另外一种主流的 DA -Faster 改进 SW-Faster，该方法使用弱全局对齐模型来提升 DA-Faster 的强图像对齐模块，直接加入 ICR 和 CCR，最终的损失函数为

Experiments

Comparison Results

  Faster R-CNN(Source)仅使用源域训练，Faster R-CNN(Oracle)仅使用目标域训练。

• Weather Adaptation

  这里对比模型对天气的自适应性。

• Scene Adaptation

  这里对比模型对不同城市的场景的自适应性。

• Dissimilar Domain Adaptation

  这里对比模型对真实图片和卡通图片的自适应性。

Visualization and Analyses

  对前面对比实验的目标域测试图片进行了可视化。

  将特征降维并可视化，蓝点为源域样本，红点为目标域样本，可以看到论文的方法能够让域间的同分类实例距离更近。
  论文也计算了域间距离，使用 Earth Movers Distance (EMD) 测量，SW-Faster, SW-Faster-ICR and SW-FasterICR-CCR 的结果分别是 8.84、8.59 和 8.15。

CONCLUSION

  论文基于 DA Faster R-CNN 系列提出类别正则化框架，充分利用多标签分类的弱定位能力以及图片级预测和实例级预测的类一致性，从实验结果来看，类该方法能够很好地提升 DA Faster R-CNN 系列的性能。

如果本文对你有帮助，麻烦点个赞或在看呗～
更多内容请关注 微信公众号【晓飞的算法工程笔记】