共计 1636 个字符，预计需要花费 5 分钟才能阅读完成。
Transformer 之前
上图是经典的双向 RNN 模型，我们知道该模型是通过递归的方式运行，虽然适合对序列数据建模，但是缺点也很明显“它无法并行执行”也就无法利用 GPU 强大的并行能力（这里插句题外话，正因为 GPU 强大的并行能力，所以 batch_size 等于 1 和等于 200 运算时间基本差不多），再加上各种门控机制，运行速度很慢。一般而言，编码器输出编码向量 C 作为解码器输入，但是由于编码向量 C 中所有的编码器输入值贡献相同，导致序列数据越长信息丢失越多。
CNN 网络相比 RNN 网络，它虽然可以并行执行，但是无法一次捕获全局信息，通过上图可得我们需要多次遍历，多个卷积层叠加增大感受野。谷歌的做法是 Attention is All You Need！
Transformer
如图所示是 Transformer 的整体结构，我们将详细介绍每一部分，先从左边的编码器开始。
A：这一步，我想大家已经非常熟悉了，将词汇表转为 embedding 维度的向量（onehot 和 embedding 区别）。B：仅仅使用 attention 有一个致命短板，它对序列数据的顺序免疫，即：无法捕获序列的顺序。比如对翻译任务，我们知道顺序非常重要，单词顺序变动甚至会产生完全不同的意思。因此增加 Position Embedding 给每个位置编号，每个编号对应一个向量，这样每个词向量都会有一个位置向量，以此来定位。
如图所示，Position Embedding 计算公式，将 id 为 p 的位置映射为一个 dpos 维的位置向量，这个向量的第 i 个元素的数值就是 PEi(p)，位置编码算法当然不止一种，但是不同算法必须要解决的的问题就是能够处理未知长度的序列。假设位置向量有 4 维，实际位置向量可能如下所示：
结合位置向量和词向量我们有两种方式，一种是将两者拼接成一个新向量，另一种是使两者维度相同然后相加得到新向量。
C：残差连接，随后是 D: layer-normalization。
随着网络层数的加深，会带来梯度消失，梯度爆炸以及过拟合问题。针对此问题，我们一般采用权重正则化，批标准化，更换激活函数等等措施，但是当网络层数进一步增加，会出现网络退化问题，即：训练集精度开始下降。使用残差可以解决此问题，目前使用残差的网络可以达到几百层。
E：Multi-head 注意力机制
上图是 attention 计算过程，我们分解步骤，依次来看。
生成“q”，“k”，“v”向量，由输入 embedding 向量与图示右侧对应权重矩阵相乘。需要注意的是，此处的三个权重矩阵为所有输入共享。如果每个词独享一个权重矩阵，个人认为并不会提升性能，有可能还会降低。
计算 attention score，计算方式如图所示：
使用 softmax 归一化数值，softmax 上面的相除操作主要是调解内积不要太大。
将 softmax 归一化后的值与“v”向量矩阵相乘，将所有加权向量加和，产生该位置的 self-attention 的输出结果。
multi-headed attention：就是有多组上面那样的 attention，最后将结果拼接起来，其中，每组 attention 权重不共享。
计算公式如下：
整体计算过程如下图所示：
F：全连接网络，两个线性函数，一个非线性函数（Relu）：
解码器：
A：解码器 attention 计算的内部向量和编码器的输出向量，计算源句和目标句之间的关系，在 Transformer 之前，attention 机制就应用在这里。B：线性层是一个全连接层，神经元数量和词表长度相等，然后添加 softmax 层，将概率最高值对应的词作为输出。
总结
Transformer 现在大有取代 RNN 之势，但依然存在一些缺点。首先，Transformer 虽然使用到了位置向量，但是对序列位置要求很高的项目做的并不好。Transformer 可以一步到位获取全局信息，但如果你的项目只是需要局部信息呢？虽然也可以做到，但是增加了多余计算量。
本文内容部分参考 The Illustrated Transformer
