关于论文:带你读Paper丨分析ViT尚存问题和相对应的解决方案

64次阅读

共计 1334 个字符,预计需要花费 4 分钟才能阅读完成。

摘要: 针对 ViT 现状,剖析 ViT 尚存问题和绝对应的解决方案,和相干论文 idea 汇总。

本文分享自华为云社区《【ViT】目前 Vision Transformer 遇到的问题和克服办法的相干论文汇总》,作者:苏道。

首先来看 ViT 始祖级论文:

An image is worth 16×16 words: Transformers for image recognition at scale

论文地址:https://arxiv.org/abs/2010.11929

他应用全 Transformer 构造,将图像区域划分为一个个小方块作为 Patch 作为输出。左图是 ViT 的总体架构,左边是 Transformer Encoder 中每个 Block 的形状。咱们能够看到,他根本就是原始 Transformer 的构造,除了他把 norm 放在后面,有文章表明 norm 放在后面更加容易训练一点。

应用 Transformer 能够在每一层都失去图片的全局信息,然而他也不是美中不足的,他有以下的这些毛病:

1、数据需求量大: Self-Attention 演绎偏置能力较 CNN 弱。演绎偏置怎么说呢,就是模型对没遇到的数据做的一些假如,CNN 具备空间不变性的假如,所以他能够用一个权重去滑窗解决整个特色图,而 RNN 具备工夫不变性的假如。然而 Self-Attetnion 没有这些假如,所以他须要更多的数据去主动学习到这些假如,然而这样有一个益处就是可能学到的假设会更灵便一些。

那针对这个问题,咱们能够应用一个 CNN 网络作为 Teacher 网络,增加蒸馏损失去帮忙他学习。

Patch Embedding 实质是一个卷积核与滑动步长都为 Patch size 的大卷积和,想 Vit 为 16 的卷积核,那必定是不够稳固的,所以起初的一些研究会应用几个卷积与池化相结合或者罗唆前几个 block 是残差块的形式来代替。

2、计算量大: 计算复杂度与 token 的平方相干,如果输出特色图为 56*56 的特色图,那么会波及 3000+ 长宽的矩阵运算,计算量很大,同时在原始 Transformer 计算过程中 token 数以及 hidden size 放弃不变,所以起初的研究者采纳了几个办法是解决计算量大的问题。参考 resnet 构造应用金字塔的构造,越高层的 token 数量越少;应用部分窗口 sa,别离思考特色图的一部分做 sa,再想方法把这些部分信息进行交互;应用卷积来代替 fc,以缩小参数;在生成 Q,K,V 过程中,对 K,V 的特色图或者是 token 做池化,缩小计算复杂度。

3、重叠层数数量受限: 存在适度平滑问题,不同的 Block 之间的相似性随着模型的加深而减少;不同 token 之间的相似性随着随着模型的加深而减少。解决办法次要是增大 hidden size,不过这个办法参数增加量也会很大;在注意力图 softmex 前后,在 head 维度进行线性变换以减少信息交互,减少注意力图的多样性;在深层 dropout 增大以减少特色的多样性;或者减少类似度惩办损失项。

4、模型自身无奈编码地位: 那就须要各种各样的地位编码,以下列出了一些地位编码,有固定的与可学习的,有相对的和绝对的,还有利用卷积的个性应用卷积去作为地位编码的。

具体可见下表

上述改良点相干论文大家能够查下表:

点击关注,第一工夫理解华为云陈腐技术~

正文完
 0