Decoders Matter for Semantic Segmentation

共计 583 个字符，预计需要花费 2 分钟才能阅读完成。

Decoders Matter for Semantic Segmentation:Data-Dependent Decoding Enables Flexible Feature Aggregation

2019/03/12 Author:Yu Zhang
此篇论文被 CVPR2019 收录，由标题可知：在语义分割中 decoder 过程同样重要，那么在 decoder 当中最重要的是什么呢？没错就是上采样 upsample。本文做的事情，最主要的就是提出了一种叫做 DUpsampling 的上采样操作，作者认为目前分割网络普遍采用的双线性插值并不是最优的上采样方法，于是探寻一种可以让粗糙的卷积网络输出更准确地向上采样的方法。在提出此上采样方法的同时也提出整个分割网络，在 VOC 数据集上达到了 SOTA 效果。DUpsampling 过程如下图：

输出的特征图每个点，与 CxN 的矩阵 W 进行矩阵相乘，得到 1xN 这个向量，再将这 1xN 的向量 reshape 为 2x2xN/4，就相当于把图上采样为原来的两倍。那么关键就在于这个矩阵 W，是怎么得到的呢？
作者认为分割的 label 图像并不是独立同分布的，其存在结构信息，所以 label Y 可以几乎没有损失地进行压缩，或者说降维。于是作者就想一般的网络都是将特征图上采样到 label 大小再做 loss，我们可不可以将 labelY 进行压缩，然后用原本特征图直接与其计算 loss 呢。