关于算法:RelationNet学习目标间关系来增强特征以及去除NMS-CVPR-2018

38次阅读

共计 3044 个字符,预计需要花费 8 分钟才能阅读完成。

论文基于 NLP 的注意力机制提出了指标关系模块,通过与其它指标的比对加强以后指标的特色,而且还能够代替 NMS 进行端到端的反复后果去除,思维非常新鲜,成果也不错

起源:晓飞的算法工程笔记 公众号

论文: Relation Networks for Object Detection

  • 论文地址:https://arxiv.org/abs/1711.11575
  • 论文代码:https://github.com/msracver/Relation-Networks-for-Object-Detection

Introduction


  以后大多数指标检测算法仍专一于独自辨认指标,没有尝试在训练时开掘指标之间的关系,受限于以后简略的网络结构,无奈对无规律的指标关系进行建模。参考自然语言解决中的注意力机制,论文提出了用于指标检测的自适应注意力机制 — 指标关系模块(object relation module),学习指标间的关系来加强特色以及去除反复后果。
  检测指标有 2D 空间散布和不同的长宽比,比文本的场景要简单些,所以论文拓展了 NLP 的注意力权重,分为两个权重:

  • 基于指标特色产生的权重,跟 NLP 权重相似。
  • 基于指标绝对几何地位产生的权重,绝对几何地位保障平移不变性。

  指标关系模块接管可变输出并行计算,是可微的 in-place 操作,可作为根底构建 block 嵌入到任意指标检测算法中,嵌入形式如图 1 所示,用于指标辨认局部以及反复指标去除:

  • 指标辨认局部(instance recognition):利用指标关系模块,联结所有的检测指标来进行特色加强,再进行后续的辨认。
  • 反复指标去除(du-plicate remova):在辨认实现后,惯例的做法应用 NMS 进行反复指标的去除,而论文应用轻量级网关系网络进行该做法的替换。

Object Relation Module


  惯例的注意力机制为 ScaledDot-Product Attention,计算为:

  给定查问指标 $q$,计算与其它指标 $K$ 的类似度,而后 softmax 归一化为权重,最初乘以各向量的值 $V$ 失去加权后的特色,这 3 个值个别都是对指标特色进行 embedding 失去的。
  对于指标检测中的相似性计算,每个指标蕴含几何特色 $f_G$ 和外观特色 $f_A$,给定 $N$ 个指标 $\{(f^n_A, f^n_G)\}^N_{n=1}$,可计算每个指标绝对于其它指标的关系特色(relation feature)$f_R(n)$:

  关系特色理论为所有指标的外观特色的加权和,$W_V$ 为线性变动,相当于将外观特色 embedding 为公式 1 的值 $V$。权值 $w^{mn}$ 表明其它指标绝对于以后指标的重要性,计算方法为:

  公式 3 实际上等同于公式 1 中的 softmax,惟一不同的是除了外观权值 $w^{mn}_A$,还额定应用几何权值 $w^{mn}_G$ 进行加权。
  外观权值 $w^{mn}_A$ 的计算跟公式 1 的 softmax 括号内的计算一样,具体为:

  $W_K$ 和 $W_Q$ 同样为线性变动,别离将比照指标和以后指标的外观特色 embedding 成公式 1 的 $K$ 和 $Q$,embedding 后的特色维度为 $d_k$。
  几何权值 $w^{mn}_G$ 的计算为:

  几何特色个别就是简略的四维 bbox,所以公式 5 在计算几何权值蕴含两个步骤:

  • 将以后指标和比照指标的几何特色通过 $\varepsilon_G$embedding 成高维特色,为了保障平移和尺寸不变性,几何特色转为相对值 $(log(\frac{|x_m-x_n|}{w_m}), log(\frac{|y_m-y_n|}{h_m}), log(\frac{w_n}{w_m}), log(\frac{h_n}{h_m}) )$,embedding 办法跟 Attention Is All You Need 里的地位编码一样,应用正弦函数和余弦函数。
  • 应用 $W_G$ 将高维几何特色转换为标量权值,小于 0 时设为 0。

  论文在几何特色的应用上也尝试了其它办法:1) none,间接将 $w^{mn}_G$ 设为 1.0 计算权值,即不应用。2) unary,将高维几何特色间接与外观特色交融,而后跟 none 一样计算权值。试验局部的表 1 有相干的后果比照,论文抉择的公式 5 加权办法比拟无效。

  在实现时,相似于 multi-head attention,一个指标关系模块 (object relation module) 蕴含 $N_r$ 个关系特色,每个特色的维度为输出特色 $f^m_A$ 的 $\frac{1}{N_r}$,图 2 可能会有一点问题,几何特色写了两个,然而外观特色只写了一个,大家依据公式了解就好,最初通过相加对输出指标的外观特色进行加强:

  指标关系模块的计算逻辑如算法 1 所示,其空间复杂度和工夫复杂度为:

  一般而言,指标关系模块的整体计算量不会很大,而且输入特色的维度和输出特色的维度统一,可作为根底构建 block 嵌入到任何网络中。

Relation Networks For Object Detection


  论文次要探讨将指标关系模块嵌入到 region-based 指标检测网络中,region-based 指标检测网络个别蕴含四个步骤:1) 通过骨干网络生成整图特色 2) 生成候选框的区域特色 3) 进行各实例辨认和调整 4) 去除反复的检测后果,指标关系模块的嵌入次要在步骤 3 和步骤 4。

Relation for Instance Recognition

  指标分类和指标回归个别应用两个 1024 维全连贯层对指标的 RoI 池化特色进行解决:

  指标关系模块可间接加强所有指标的 1024 维,不扭转特色的维度,不仅能够在任意地位插入,还能够屡次重叠:

  $r_1$ 和 $r_2$ 为指标关系模块反复的次数,增加指标关系模块可能指标特色,进步辨认的准确率,公式 10 的可视化如图 a 所示。

Relation for Duplicate Removal

  去除反复指标这个工作自身就须要穷尽指标间的关系,比方启发式的 NMS,高分指标可抹去其左近的低分指标。只管 NMS 非常简略,但其去重的形式并不总是最优的,为此,论文采纳指标关系模块去除反复指标。

  如图 b 所示,输出指标的分数、1024 维外观特色以及几何特色,反复指标去除蕴含以下几个步骤:

  • 对指标分数进行名次的转换,采纳几何特色的 embedding 形式将分数转换成 128 维特色,将外观特色降维为 128 维特色,将两个特色相加。
  • 跟后面形容的指标关系模块一样与其它指标计算,输入关系特色。
  • 通过线性变动 $W_s$ 和 sigmoid 函数输入概率 $s_1\in [0, 1]$,对原分数进行加权。
  • 分数高于阈值的即为最终的后果。

  在训练时间接对最终的分数应用穿插熵损失迭代,尽管大部分的指标都是反复的,但因为其最终分数都很小,所以不会对网络造成很大的偏差。而在推理时,先按分类的分数过滤一轮,这样能加重计算量,论文实测大概减少 2ms,绝对的,NMS 和 SoftNMS 减少 5ms 左右。

Experiments


  各地位设置的比照试验。

  反复指标去重成果比照。

  在各网络中的成果比照,别离比照 2fc+SoftNMS、2fc+RM+SoftNMS 和 2fc+RM+e2e 的成果。

Conclusion


  论文基于 NLP 的注意力机制提出了指标关系模块,通过与其它指标的比对加强以后指标的特色,而且还能够代替 NMS 进行端到端的反复后果去除,思维非常新鲜,成果也不错。



如果本文对你有帮忙,麻烦点个赞或在看呗~
更多内容请关注 微信公众号【晓飞的算法工程笔记】

正文完
 0