点击上方“Deephub Imba”, 关注公众号, 好文章不错过 !
宰割给定图像中的不同对象始终是计算机视觉畛域的一项十分重要的工作。多年来，咱们曾经看到像 Deeplab 这样的自编码器模型被用于语义宰割。在所有宰割模型中，依然有一个名字居于首位那就是 U -Net。U-Net 于 2018 年公布，从那时起它取得了微小的遍及，并以某种模式用于与宰割相干的几个不同工作。在这篇文章中，咱们将介绍 2020 年公布的一种称为 U²-Net 或 U-squared Net 的 U-net 变体。U²-Net 基本上是由 U -Net 组成的 U -Net。
U²-Net 是为显著性对象检测或 SOD 而设计的。对于那些不晓得的人来说，显著性对象检测基本上是检测给定图像中最重要或次要的对象。
U2 -Net 的架构是一个两级嵌套的 U 构造。该设计具备以下长处：
- 提出残差 U 块 (RSU) 中混合了不同大小的感触野，它可能从不同的尺度捕捉更多的上下文信息。
- 这些 RSU 块中应用了池化操作，它减少了整个架构的深度，而不会显著减少计算成本。
Residual U-Block：部分和全局上下文信息对于对象检测和其余宰割工作都十分重要。为了升高内存和计算量，VGG16、ResNet 或 DenseNet 等网络应用较小尺寸的卷积核（通常为 1×1 或 3×3）。在下图中显示了不同的网络的架构。浅层的输入特色图只蕴含部分特色，因为 1×1 或 3×3 卷积核的感触野太小，无奈捕捉全局信息。为了在浅层的高分辨率特色图中取得更多的全局信息，最间接的想法是扩充感触野，但这是以额定计算为代价的。
上图（d）显示了一个相似 Inception 的块，它试图通过应用扩张（空洞）卷积扩充感触野来提取部分和非部分特色。然而以原始分辨率对输出特色图（尤其是晚期阶段）进行屡次扩张卷积须要过多的计算和内存资源。RSU-L（C_in，M，C_out）受 U-Net、ReSidual Ublock 和 RSU 的启发能够捕捉阶段内多尺度特色（上图最右侧架构）。这里 L 是编码器的层数，C_in、C_out 示意输出和输入通道，M 示意 RSU 外部层的通道数。
RSU 次要由三个局部组成：
- 输出卷积层，将输出特色图 x (H×W ×C_in) 转换为通道为 C_out 的两头图 F1(x)。这是一个用于部分特征提取的一般卷积层。
- 一种高度为 L 的类 U-Net 对称编码器 - 解码器构造，以两头特色图 F1(x) 作为输出，学习提取和编码多尺度上下文信息 U(F1(x))。较大的 L 会导致更深的残差 U 块 (RSU)、更多的池化操作、更大范畴的感触野以及更丰盛的部分和全局特色。配置 L 能够从具备任意空间分辨率的输出特色图中提取多尺度特色。这个过程加重了由大尺度间接上采样引起的细节损失。
- 通过求和交融部分特色和多尺度特色的残差连贯：F1(x) +U(F1(x))。
U²-Net 架构在编码器阶段，En_1、En_2、En_3 和 En_4，别离应用残差 U 块 RSU-7、RSU-6、RSU-5 和 RSU-4。其中“7”、“6”、“5”和“4”示意 RSU 块的高度 (L)。L 通常依据输出特色图的空间分辨率进行配置。对于高度和宽度较大的特色图，较大的 L 值用于捕捉更多的大规模信息。En_5 和 En_6 中特色图的分辨率绝对较低，这些特色图的进一步下采样会导致有用上下文的失落。因而在 En_5 和 En_6 阶段，都应用了 RSU-4F，其中“F”示意 RSU 是扩张版本并且池化和上采样操作被扩张卷积取代。RSU-4F 的所有两头特色图都具备与其输出特色图雷同的分辨率。
解码器的构造与其对称编码器的 En_6 构造类似。De_5 还应用了与编码器阶段 En_5 和 En_6 中应用的相似的扩张版残差 U 块 RSU-4F。每个解码器阶段将来自其前一阶段的上采样特色图和来自其对称编码器阶段的上采样特色图的连贯作为输出。
最初是用于生成显著概率图的显著图交融模块。U²-Net 首先通过一个由 3 × 3 的卷积层和一个 sigmoid 函数组成的阶段 En_6、De_5、De_4、De_3、De_2 和 De_1 生成的 S(6)、S(5)、S(4)、S(3)、S(2)、S(1) 输入显著性概率映射。而后，它对这些输入显著性 logits (sigmoid 函数之前的卷积输入) 进行熵采样并将其映射到输出图像大小，通过 concat 操作进行交融，最初是 1×1 卷积层和 sigmoid 函数，这样就生成了最终的显著性概率图 S_fuse。
以下是 U²-Net 与其余模型比照的一些后果。
上图能够看到比照其余的模型 U2-Net 都有不小的晋升。
以上就是这篇文章的所有内容，咱们论文回顾的指标是用一种简略易懂的格局出现原始论文，同时也给你一些要害的播种。
要理解更多细节，你能够浏览论文。
https://www.overfit.cn/post/b04e61e1a5b54f10a0bdeb1d63c184c5
作者:Vishal Rajput