论文对CornerNet进行了性能优化，提出了CornerNet-Saccade和CornerNet-Squeeze两个优化的CornerNet变种，优化的伎俩具备很高的针对性和局限性，不过仍然有很多能够学习的中央
 
起源：晓飞的算法工程笔记 公众号

论文: CornerNet-Lite: Efficient Keypoint-BasedObject Detection

• 论文地址：https://arxiv.org/abs/1904.08900
• 论文代码：https://github.com/princeton-vl/CornerNet-Lite

Introduction

  CornerNet作为Keypoint-based指标检测算法中的经典办法，尽管有着不错的准确率，但其推理很慢，大概须要1.1s/张。尽管能够简略地放大输出图片的尺寸来减速推理，但这会极大地升高其准确率，性能比YOLOv3要差很多。为此，论文提出了两种轻量级的CornerNet变种：

• CornerNet-Saccade：该变种次要通过升高须要解决的像素数量来达到减速的目标，首先通过放大的图片来获取初步的指标地位，而后依据指标地位截取左近小范畴的图片区域来进行指标的检测，准确率和速度别离可达到43.2%AP以及190ms/张。
• CornerNet-Squeeze：该变种次要通过升高每个像素的解决次数来达到减速的目标，将SqueezeNet和MobileNets的思维融入hourglass提出新的骨干网络，准确率和速度别离可达到34.4%AP以及30ms/张。

  论文也尝试了将两种变种进行联合，但发现性能反而更差了，次要因为CornerNet-Saccade须要弱小的骨干网络来生成足够精确的特色图，而CornerNet-Squeeze则是削弱了骨干网络的表达能力进行减速，所以两者的联合没有达到更好的成果。

CornerNet-Saccade

  CornerNet-Saccade在可能呈现指标的地位的小区域内进行指标检测，首先通过放大的残缺图片预测attention特色图，取得初步的预测框地位以及尺寸，而后在高分辨率图片上截取以该地位为核心的图片区域进行指标检测。

Estimating Object Locations

  CornerNet-Saccade首先获取可能呈现指标的初步地位及其尺寸：

• 将输出的图片放大至长边为255像素和192像素两种尺寸，小图进行零填充，使其能同时输出到网络中进行计算。
• 对于放大的图片，预测3个attention特色图，别离用于小指标(长边<32像素)、中指标(32像素<=长边<=96像素)和大指标(长边>96像素)的地位预测，这样的辨别可能帮忙判断是否须要对其地位区域进行放大，对于小指标须要放大更大，下一部分会提到。
• Attention特色图来源于hourglass上采样局部的不同模块，尺寸较大的模块特色图输入用于更小的指标检测(骨干网络结构前面会介绍)，对每个模块输入的特色图应用$3\times 3$Conv-ReLU模块接$1\times 1$Conv-Sigmoid模块生成Attention特色图。

  在测试阶段，咱们仅解决置信度大于阈值$t=0.3$预测地位，而在训练阶段，将GT的核心在对应特色图上的地位设为正样本，其它设为负样本，应用$\alpha=2$的focal loss进行训练。

Detecting Objects

  基于初步的预测框地位和尺寸，CornerNet-Saccade对放大的原图进行放大后截取以该地位为核心的$255\times 255$的区域进行指标检测。放大次要是为了保障指标足够清晰，依据预测框的初步尺寸对放大的原图先进行放大，放大比例为$s_s=4>s_m=2>s_l=1$。后续对截取区域的检测应用同样的hourglass网络，最初合并所有的检测后果进行Soft-NMS过滤。检测网络的训练和预测办法跟原版CornerNet一样，联合角点热图、embeddings向量以及偏移值。

  这里有一些如图3所示的非凡状况须要特地解决：

• 如果检测后果呈现在截取区域的边缘，须要将其去掉，因为该截图区域很可能至蕴含了指标的一部分。
• 如果指标挨得很近，两者的截取区域会高度重叠，网络很可能产生高度重叠的反复后果。为此，采纳相似NMS办法来解决各尺寸预测后果中过近的预测地位，从而提高效率。

  另外，为了让检测过程更加高效，论文也进行了以下细节的实现：

• 批量进行截取区域的获取
• 将原图保留在GPU内存中，并且间接在GPU进行原图的放大以及截取
• 批量进行截取区域的检测

Backbone Network

  论文设计新的骨干网络Hourglass-54，比原CornerNet应用的Hourglass-104蕴含更少参数且层数更少。Hourglass-54总层数为54层，蕴含3个hourglass模块，在第一个模块前先下采样两次。每个模块下采样三次并逐渐减少维度(384, 384, 512)，每个模块两头蕴含一个512维的残差模块，每个上采样层前面接一个残差模块。

CornerNet-Squeeze

  在CornerNet中，大多数的计算工夫花在骨干网络Hourglass-104的推理。为此，CornerNet-Squeeze联合SqueezeNet和MobileNet来缩小Hourglass-104的复杂度，设计了一个新的轻量级hourglass网络。
  SqueezeNet的外围在于fire模块，首先通过蕴含$1\times 1$卷积的squeeze层升高输出特色的维度，而后通过蕴含$1\times 1$卷积和$3\times 3$卷积的expand层提取特色。MobileNet则采纳$3\times 3$深度拆散卷积替换规范的$3\times 3$卷积，可能无效地缩小网络的参数。

  新的模块如表1所示，除了替换残差模块，新骨干网络还做了以下的批改：

• 为了升高hourglass模块的最大特色图，在第一个hourglass模块前减少一个下采样模层。对应地，去除每个hourglass模块的一个下采样层。
• 将预测模块的$3\times 3$卷积替换为$1\times 1$卷积。
• 将最近的相邻上采样层替换为$4\times 4$的反卷积。

Experiments

  CornerNet-Saccade比照试验。

  CornerNet-Squeeze比照试验。

  指标检测的性能比照。

Conclusion

  论文对CornerNet进行了性能优化，提出了CornerNet-Saccade和CornerNet-Squeeze两个优化的CornerNet变种，优化的伎俩具备很高的针对性和局限性，不过仍然有很多能够学习的中央。

如果本文对你有帮忙，麻烦点个赞或在看呗～
更多内容请关注 微信公众号【晓飞的算法工程笔记】