共计 1235 个字符，预计需要花费 4 分钟才能阅读完成。
摘要：在通用指标检测算法，空洞卷积能无效地晋升网络的感触野，进而晋升算法的性能。本次解读的文章提出了一种空洞卷积变体及对应的空洞卷积搜寻办法，充沛摸索空洞卷积的后劲，进一步晋升网络模型的性能。
本文分享自华为云社区《论文解读系列十：空洞卷积框架搜寻》，原文作者：我想静静。
空洞卷积是规范卷积神经网络算子的一种变体，能够管制无效的感触野并解决对象的大尺度方差，而无需引入额定的计算。然而，在文献中很少探讨针对不同的数据，如何设计调整空洞卷积使其失去更好的感触野，进而晋升模型性能。为了充沛开掘其后劲，本文提出了一种新的空洞卷积变体，即 inception (dilated)卷积，其中卷积在不同轴，通道和层之间具备独立的空洞。
同时，本文提出了一种基于统计优化的简略而高效的空洞搜索算法（EDO，effective dilation search），自适应搜寻对训练数据敌对的空洞卷积配置办法。该搜寻办法以零老本形式运行，该办法极其疾速地利用于大规模数据集。
办法
在不同工作中对于输出图像的大小和指标对象的不同，无效感触野（effictive reveptive field，ERF）的要求也有所不同。图像分类输出的尺寸比拟小，指标检测中输出的 size 而比拟大，指标的范畴也很大。即便对于固定网络的同一工作，某一层卷积的最优解 ERF 也和标注卷积不肯定一样，于是为了适应不同 ERF 的要求，须要针对不同工作提供一种通用的 ERF 算法。
本文提出一种收缩卷积的变体，Inception 卷积，他蕴含多种收缩模式如下图：
Incetption 卷积提供了一个密集可能的 ERF 范畴，该文提供了一种高效的收缩优化算法（EOD），其中超网络的每层都是一个规范的卷积操作，该卷积蕴含了所有可能的收缩模式。对每一层的抉择，通过最小化原始卷积层和与所选收缩模式的卷积的冀望误差，应用一个预训练的权值解决抉择问题。具体流程如下图所示：
上图为 EDO 的算法概述，以 resnet50 为例，咱们先在训练数据上训练取得一个 bottleneck 卷积内核为 (2dmax + 1) × (2dmax + 1) 的 res50。这个例子里，supernet 的内核为 5 *5，所以 dmax=2。而后对于卷积运算的每个 filter 的输入，咱们要计算与预期输入的 L1 误差，抉择最小的（这个例子里是 E =3）。最初重新安排 filter 使雷同的空洞卷积排在一起，就成为了咱们的 inception convolution。
试验后果
实证结果表明，本文办法在宽泛的 Baseline 测试中取得了统一的性能晋升。例如，通过简略地将 ResNet-50 骨干中的 3 ×3 规范卷积替换为 Inception Conv，将 Faster-RCNN 在 MS-COCO 上的 mAP 从 36.4%进步到 39.2%。此外，在 ResNet-101 骨干网中应用雷同的代替办法，在自下而上的人体姿态预计上将 AP 得分从 COCO val2017 的 AP 得分从 60.2%大幅提高到 68.5%。
点击关注，第一工夫理解华为云陈腐技术~