共计 4397 个字符，预计需要花费 11 分钟才能阅读完成。
论文详细描述了以后旋转指标检测的次要问题，提出将旋转回归指标定义为高斯分布，应用 Wasserstein 间隔度量高斯分布间的间隔用于训练。目前，惯例指标检测也有很多将回归转化为概率分布函数的做法，本文有殊途同归之妙，值得浏览
起源：晓飞的算法工程笔记 公众号
论文: Rethinking Rotated Object Detection with Gaussian Wasserstein Distance Loss
- 论文地址：https://arxiv.org/abs/2101.11952
- 论文代码：https://github.com/yangxue0827/RotationDetection
Introduction
任意朝向的指标在检测数据集中无处不在，绝对于程度的指标检测，旋转指标检测仍处于起步阶段。目前，大多数 SOTA 钻研都集中于回归指标的旋转角度，而解决旋转角度则带来新的问题：i) 指标与损失不统一。ii) 旋转角度回归区间不间断。iii) 方形问题。事实上，以上的问题还没有很好的解决方案，这会极大地影响模型的性能，特地是在角度在范畴边界的状况。
为了解决上述问题，论文提出了 GWD 办法，首先应用二维高斯分布来对旋转指标进行建模，而后应用 Gaussian Wasserstein Distance(GWD)来代替不可微的旋转 IoU，依据 GWD 计算 loss 值，这样就将模型训练和度量规范对齐了。
论文的次要奉献有以下几点：
- 总结了旋转指标检测的三个次要问题。
- 应用 Gaussian Wasserstein Distance(GWD)形容旋转 bbox 间的间隔，再用 GWD 计算代替 IoU 损失的 loss，且是可微的。
- GWD-based 损失可能解决旋转角度范畴不间断问题和方形问题，且对 bbox 的定义形式没有要求。
- 在多个公开数据集上进行测试，论文的办法均有不错的体现。
Rotated Object Regression Detector Revisit
Bounding Box Definition
图 2 展现了两种旋转 bbox 的定义形式：OpenCV 模式 $D_{oc}$ 和长边模式 $D_{le}$，前者的角度为 $h_{oc}$ 和横坐标的夹角 $\theta\in[-90^{\circ},0^{\circ})$，后者的角度则为长边与横坐标的夹角 $\theta\in[-90^{\circ},90^{\circ})$，两种定义能够进行互相的转换(不思考中心点)：
两种示意办法的次要差别在于边程序和角度 $(h,w,\theta)$，雷同的 bbox 用不同的表达方式，可能须要替换边的程序或角度加减 90。在当初很多的钻研中，将模型的设计与 bbox 的定义进行耦合来防止特定的问题：如 $D_{oc}$ 可防止方形问题，$D_{le}$ 可防止边替换问题。
Inconsistency between Metric and Loss（指标与损失不统一问题）
IoU 是检测畛域的重要评测指标，但在理论训练中应用的回归损失函数 (如 $l_n$-norms) 与评测指标往往存在不统一的问题，即更小的损失值并不等于更高的性能。目前，不统一问题在程度指标检测畛域曾经有了一些应答措施，如 DIoU 和 GIoU。而在旋转指标检测畛域，因为角度回归的退出，使得不统一问题更加突出，但目前仍没有很好的解决方案，论文也列举了一些例子来比照 IoU 损失和 smooth L1 损失：
- Case 1: 角度差值与损失值之间的关系，曲线几何都是枯燥的，但只有 smooth L1 曲线是凸曲线，能优化到全局最优解。
- Case 2: 长宽比差别与损失值之间的关系，smooth-l1 损失值是固定的(次要来自于角度差别)，而 IoU 损失则随着横轴激烈变动。
- Case 3: 中心点偏移对损失值的影响，曲线都是枯燥的，但 smooth L1 曲线与差值大小没有高度一致。
从下面的剖析能够看出，在旋转指标检测畛域，IoU 损失更能填补评判准则与回归损失间的差别。但很遗憾，在旋转指标检测畛域，两个旋转 bbox 间的 IoU 计算是不可微的，不能用于训练。为此，论文基于 Wasserstein distance 提出可微的损失来代替 IoU 损失，顺便也能够解决旋转角度回归区间不间断问题和方形问题。
Boundary Discontinuity and Square-Like Problem（旋转角度回归区间不间断以及方形问题）
上图的 Case1- 2 总结了旋转角度回归区间不间断问题，以以 OpenCV 模式的 Case 2 为例，对于 anchor$(0,0,70,10,-90^{\circ})$ 以及 GT$(0,0,10,70,-25^{\circ})$，存在两种回归的办法：
- way1 逆时针旋转一个小角度即可，预测后果为 $(0,0,70,10,-115^{\circ})$，但因为角度的周期性 (PoA) 和边程序替换(EoE)，若应用 smooth L1 损失函数，这个后果与 GT 间会产生微小的损失值。另外，这个角度也超出了预约的角度范畴。
- 抉择 way2 则须要在缩放宽高的同时，顺时针旋转一个大的角度。
上述的问题通常呈现在 anchor 和 GT 的角度在角度范畴的边界地位时，当 anchor 和 GT 的角度不在边界地位时，way1 则不会产生微小的损失值。因而，对于 smooth-L1，边界角度和非边界角度的最优解决会太统一，这也会妨碍模型的训练。
方形问题次要呈现在应用长边模式的检测办法中，因为方形指标没有相对的长边，长边模式对方形指标的表白自身就不惟一。以 Case3 为例，存在 anchor$(0,0,45,44,0^{\circ})$ 以及 GT$(0,0,45,43,-60^{\circ})$，way1 能够顺时针旋转一个小角度变成地位与 GT 统一的 $(0,0,45,43,30^{\circ})$。但因为角度差距较大，way1 会产生较高的回归损失。因而，须要像 way2 那样逆时针旋转较大的角度。造成方形问题的次要起因并不是后面提到的 PoA 和 EoE，而是度量规范和损失计算的不统一导致的。
The Proposed Method
通过上述的剖析，论文心愿新的旋转指标检测办法的回归损失函数满足以下几点：
- Requirement1: 与 IoU 度量规范高度一致。
- Requirement2: 可微，容许间接学习。
- Requirement3: 对角度回归范畴的边界场景更为平滑。
Wasserstein Distance for Rotating Box
目前大多数 IoU 损失都可认为是间隔函数，基于此，论文基于 Wasserstein distance 提出新的回归损失函数。首先，将旋转 bbox$\mathcal{B}(x,y,h,w,\theta)$ 转化为 2 - D 高斯分布 $\mathcal{N}(m,\sum)$：
$R$ 为旋转矩阵，$S$ 为特征值的对角向量。对于 $\mathbb{R}^n$ 上的任意两个概率测度 $\mu$ 和 $\upsilon$，其 Wasserstein 间隔 $W$ 可表白为：
公式 2 对所有的随机向量组合 $(X,Y)\in\mathbb{R}^n\times\mathbb{R}^n,X\sim\mu,Y\sim\upsilon$ 进行计算，代入高斯分布 $d:=W(\mathcal{N}(m_1,\sum_1);\mathcal{N}(m_2,\sum_2))$，转换失去：
特地要留神：
思考在可替换的状况(程度指标检测)$\sum_1\sum_2=\sum_2\sum_1$ 下，公式 3 可转换为：
$\parallel\parallel_F$ 为 Frobenius 范数，这里的 bbox 均是程度的，公式 5 近似于 $l_2$-norm 损失，表明 Wasserstein 间隔与程度检测工作中罕用的损失统一，可能用于回归损失。这里的公式推算比较复杂，有趣味的能够看看参考文献。
Gaussian Wasserstein Distance Regression Loss
论文采纳非线性转化函数 $f$ 将 GWD 映射为 $\frac{1}{\tau+f(d^2)}$，失去相似于 IoU 损失的函数：
后面的曲线图也形容了应用不同非线性函数 $f$ 下的损失函数曲线，能够看到公式 6 非常贴近 IoU 损失曲线，也能度量无相交的 bbox。因而，公式 6 显然能够满足 Requirement1 和 Requirement2，上面开始剖析 Requirement3，先给出公式 1 的个性：
依据个性 1 可知，GWD 损失函数对于 OpenCV 模式和长边模式是相等的，即模型不须要固定特定 bbox 表达形式进行训练。以 Case2 的 Way1 为例，GT$(0,0,70,10,65^{\circ})$ 和预测 $(0,0,70,10,-115^{\circ})$ 领有雷同的均值 $m$ 和方差 $\sum$，GWD 损失函数不会输入较大的损失值。而依据个性 2 和个性 3，Case2 和 Case3 的 way1 同样不会产生较大的损失值，所以 GWD 损失函数也满足 Requirement3。
整体而言，GWD 在旋转指标检测的劣势有以下几点：
- GWD 使得 bbox 的不同定义模式相等，保障模型可能专一于准确率晋升，不须要顾虑 bbox 的定义模式。
- GWD 是可微的 IoU 损失代替计划，与检测指标高度一致。而且，GWD 能够度量无相交 bbox 间的间隔，相似于 GIoU 和 DIoU 的个性。
- GWD 防止了旋转角度回归区间不间断问题和方形问题，升高了模型的学习难度。
Overall Loss Function Design
论文将 RetinaNet 作为根底检测器，bbox 示意为 $(x,y,w,h,\theta)$，试验次要采纳 OpenCV 模式，回归指标定义为：
变量 $x$,$x_a$,$x^{*}$ 散布代表 GT，anchor 和预测后果，最终的多任务损失函数为：
$N$ 为 anchor 数，$obj_n$ 为前景或背景的指示器，$b_n$ 为预测 bbox，$gt_n$ 为 GT，$t_n$ 为 GT 的标签，$p_n$ 为预测标签，$\lambda_1=1$ 和 $\lambda_2=2$ 为超参数，$L_{cls}$ 为 focal loss。
Experiments
比照其余针对特定问题的解决方案。
在 DOTA 数据集上比照多个模型，论文还有很多其余试验，有趣味的能够去看看。
Conclusion
论文详细描述了以后旋转指标检测的次要问题，提出将旋转回归指标定义为高斯分布，应用 Wasserstein 间隔度量高斯分布间的间隔用于训练。目前，惯例指标检测也有很多将回归转化为概率分布函数的做法，本文有殊途同归之妙，值得浏览。
参考内容
- Wasserstein distance between two Gaussians – https://djalil.chafai.net/blo…
如果本文对你有帮忙，麻烦点个赞或在看呗～
更多内容请关注 微信公众号【晓飞的算法工程笔记】
