RepPointsV2 的整体思维相似与 Mask R-CNN，退出更多的工作来监督指标检测算法的学习。尽管在创新性上可能不够新鲜，但论文的通用性还是很不错的，而且将角点工作的输入用于联结推理，从比照试验上看晋升不少
 
起源：晓飞的算法工程笔记 公众号

论文: RepPoints V2: Verification Meets Regression for Object Detection

• ** 论文地址：[https://arxiv.org/abs/[2007.08508]
  ](https://arxiv.org/abs/2007.08…**
• 论文代码：https://github.com/Scalsol/RepPointsV2

Introduction

  神经网络预测的两种办法别离为验证 (verification) 与回归 (regression)，以后的一些指标定位办法联合了这两种办法来获得 SOTA 性能，先对预设的 anchor box 进行验证从而初步定位，而后回归 box 的偏移值进行调整。最近一些指标定位办法仅应用回归也获得了不错的性能，比方 RepPoints。
  为此，论文钻研是否能够在纯回归的定位算法中退出验证工作来加强性能，具体的实现办法是在原网络上退出辅助分支(auxiliary side-branches) 的模式，有监督地进行学习，优化两头特色以及最终的检测后果。

A Brief Review of a Pure Regression Method: RepPoints

  RepPoints 应用了纯回归的办法，具体的能够看看之前发的文章，从特色图地位 $p=(x,y)$ 开始，间接回归一组点 $\mathcal{R}^{‘}=\{p^{‘}_i=(x^{‘}_i, y^{‘}_i)\}$ 来表白指标的空间地位，共有两个间断的步骤：

  $\mathcal{R}=\{p_i=(x_i, y_i)\}^{n}_{i=1}$ 为两头的点集，$F_p$ 为地位 $p$ 的特征向量，$g_i$ 和 $g^{‘}_i$ 为 2 - d 的回归函数，最终的 bbox 通过转化函数 $\mathcal{T}$ 从点集 $\mathcal{R}$ 和 $\mathcal{R}^{‘}$ 失去。只管 RepPoints 应用了纯回归办法，没有 anchor 验证步骤，其性能并不比 anchor-based 办法差。

Corner Point Verification

  角点验证由 CornerNet 提出，是论文采纳的其中一种验证办法，在很多 keypoint-based 检测算法中有利用。角点验证给每个特色图地位预测一个分数，用来判断该特色点是否为指标的左上角点或右下角点，再预测两个偏移值来别离对角点进行调整，补救下采样导致的精度问题。
  论文的实现跟原版的相似，应用 corner pooling 进行特征提取，应用 focal loss 训练角点分数预测以及 smooth L1 loss 训练偏移值。若 GT 角点位于该特色点的 bin 中，则认为该特色点为正样本，其它均为负样本。在计算损失时，越凑近正样本点的负样本点会依据间隔给一个高斯分数，可进行更平滑的学习。
  当然，论文进行了一些改良，GT 角点间接对应到 FPN 各层，不须要依据指标的大小决定对应哪层。

Within-box foreground verification

  另一个验证工作是验证特色点是否在物体的外部，这种前景验证的信息平均地存在于物体外部区域，不像角点那样集中于物体的极点。应用一个类别热图进行训练，对于 $C$ 个物体类别，类别热图共有 $C$ 维特色，每个维度示意该特色点属于该类别的概率。同样点，GT 间接对应到 FPN 各层。
  须要留神的是，经典的 focal loss 可能会使大物体绝对于小物体失去更多的关注。为此，论文提出正则化 focal loss，对于正样本点，依据其对应的物体蕴含的特色点数进行损失值的正则化，而对于负样本点，应用正样本点总数进行损失值的正则化。

A General Fusion Method

  因为上述的两种验证工作都是绝对物体的部分而言的，而纯回归的指标检测办法通常是间接检测指标的整体，所以论文采纳辅助分支的模式接入，如图 1 所示，别离优化两头特色以及最终的检测后果。基于辅助分支，检测器能够失去以下收益：

• Better features by multi-task learning，辅助的验证工作可能在训练的时候提供更丰盛的监督，从而失去可能晋升检测准确率的更弱小特色。绝对于 Mask R-CNN，论文的验证工作不须要额定标注。
• Feature enhancement for better regression，验证工作输入特色图蕴含角点地位以及前景区域，且特色图大小与回归应用的 FPN 特色图大小统一，所以将其进行 $1\times 1$ 卷积 (embed conv) 解决后相加交融到 FPN 特色中。须要留神，骨干回归工作的反向流传梯度仅传到 embed conv 层，防止影响验证工作的学习。
• Joint inference by both methodologies，特色的交融隐式地帮忙指标定位，而论文也显式地利用角点验证工作的输入来进行联结推理。角点工作长于角点的定位，但不长于分辨是否为真的角点，而骨干回归工作的性能则相同。为此，论文提出调整骨干回归工作输入的预测框的角点 $p_t$：
  
  $t$ 为角点类型(左上或右下)，$q^t$ 为预测的角点地位，$s(q^t)$ 为验证分数，$r$ 为畛域阈值，默认为 1。

RepPoints v2: Fusing Verification into RepPoints

  为了让 RepPoints 与辅助验证工作分支有更好的兼容性，显式地将点集的前两个点定义为左上角点和右下角点(explicit-corners)，并依据这两个点将预测的点集转化为预测框。

  验证模块取定位子网 (详情取看看 RepPoints 的文章) 的第三个卷积层的输入作为验证工作的输出，验证模块的构造如图 2 所示，残缺训练损失函数为：

Experiments

  explicit-corners 与原先办法的的成果比照。

  两种验证工作的成果比照。

  3 种交融办法的成果比照。

  与 SOTA 性能比照。

Conclusion

  RepPointsV2 的整体思维相似与 Mask R-CNN，退出更多的工作来监督指标检测算法的学习。尽管在创新性上可能不够新鲜，但论文的通用性还是很不错的，而且将角点工作的输入用于联结推理，从比照试验上看晋升不少。

如果本文对你有帮忙，麻烦点个赞或在看呗～
更多内容请关注 微信公众号【晓飞的算法工程笔记】