1、BERT 简介首先须要介绍什么是自监督学习。咱们晓得监督学习是有明确的样本和对应的标签，将样本丢进去模型训练并且将训练后果将标签进行比拟来修改模型，如下图：
而自监督学习就是没有标签也要本人创立监督学习的条件，即以后只有样本 x 然而没有标签 \hat{y}y^，那具体的做法就是将样本 x 分成两局部 x\primex′和 x\prime \primex′′，其中一部分作为输出模型的样本，另一部分来作为标签：
如果感觉很形象也没关系，请持续往下浏览将会逐步清晰这个定义。1.1、BERT 的 maskingBERT 的架构能够简略地看成跟 Transformer 中的 Encoder 的架构是雷同的（能够参考我这篇文章点此)），其实现的性能都是承受一排向量，并输入一排向量。而 BERT 特地的中央在于它对于承受的一排输出的向量（通常是文字或者语音等）会随机抉择某些向量进行“遮挡”(mask)，而进行遮挡的形式又分为两种：第一种是将该文字用一个非凡的字符来进行代替第二种是将该文字用一个随机的文字来进行代替而这两种办法的抉择也是随机的，因而就是随机抉择一些文字再随机抉择 mask 的计划来进行遮挡。而后就让 BERT 来读入这一排向量并输入一排向量，那么训练过程就是将方才遮挡的向量其对应的输入向量，通过一个线性变换模型（乘以一个矩阵）再通过 softmax 模块失去一个 result，蕴含该向量取到所有文字的所有概率，尽管 BERT 不晓得被遮挡的向量代表什么文字但咱们是晓得的，因而咱们就拿答案的文字对应的 one-hat-vector 来与向量 result 最小化穿插熵，从而来训练 BERT 和这个线性变换模块，总体能够看下图：
1.2、Next Sentence Prediction 这个工作是判断两个句子它们是不是应该连贯在一起，例如判断“我爱”和“中国”是不是应该连在一起，那么在 BERT 中具体的做法为：先对两个句子进行解决，在第一个句子的后面加上一个非凡的成为 CLS 的向量，再在两个句子的两头加上一个非凡的 SEP 的向量作为分隔，因而就拼成了一个较长的向量集将该长向量集输出到 BERT 之中，那么就会输入雷同数目的向量但咱们只关注 CLS 对应的输入向量，因而咱们将该向量同样通过一个线性变换模块，并让这个线性变换模块的输入能够用来做一个二分类问题，就是 yes 或者 no，代表这两个句子是不是应该拼在一起具体如下图：
而后面咱们介绍了两种 BERT 的利用场景，看起来仿佛都是填空题或者判断题，那么是否 BERT 只可能用于这种场景之下呢？当然不是！BERT 具备弱小的能力，它不仅能够用来解决咱们感兴趣的上游工作，更乏味的是，它只须要将方才训练 (Pre-train) 实现的能够解决填空题工作的简略 BERT 进行微调（Fine-tune)就能够用来高效地解决一些上游、简单的工作。也就是说 BERT 只须要先用简略的工作来进行 Pre-train，而后再进行微调就能够用于咱们感兴趣的上游简单工作！
这里补充一个知识点，因为 BERT 这类模型能够进行微调来解决各种上游工作，因而有一个工作集为 GLUE，里面包好了 9 种自然语言解决的工作，个别评判 BERT 这种模型就是将 BERT 分为微调来解决这 9 个工作而后对正确率等进行均匀。9 个工作如下：
1.3、How to ues BERTCase 1Case 1 是承受一个向量，输入一个分类，例如做句子的情感剖析，对一个句子判断它是踊跃的还是消极的。那么如何用 BERT 来解决这个问题呢，具体的流程如下：在句子对应的一排向量之前再加上 CLS 这个特殊字符所对应的向量，而后将这一整排向量放入 BERT 之中咱们只关注 CLS 对应的输入向量，将该向量通过一个线性变换（乘上一个矩阵）后再通过一个 softmax，输入一个向量来示意分类的后果，示意是踊跃的还是消极的而重要的中央在于线性变换模块的参数是随机初始化的，而 BERT 中的参数是之前就 pre-train 的参数，这样会比随机初始化的 BERT 更加高效。而这也代表咱们须要很多句子情感剖析的样本和标签来让咱们能够通过梯度降落来训练线性变换模块和 BERT 的参数。如下图：
个别咱们是将 BERT 和线型变换模块一起称为 Sentiment analysis。Case 2 这个工作是输出一排向量，输入是和输出雷同数目的向量，例如词性标注问题。那么具体的办法也是很相似的，BERT 的参数也是通过 pre-train 失去的，而线性变动的参数是随机初始化的，而后就通过一些有标注的样本进行学习，如下图：
Case 3 在该工作中，输出是两个句子，输入是一个分类，例如自然语言推断问题，输出是一个假如和一个推论，而输入就是这个假如和推论之间是否是抵触的，或者是相干的，或者是没有关系的：
那么 BERT 对这类工作的做法也是相似的，因为要输入两个句子，因而在两个句子之间应该有一个 SEP 的特殊字符对应的向量，而后在结尾也有 CLS 特殊字符对应的向量，并且因为输入是单纯一个分类，那关注的也是 CLS 对应的输入向量，将其放入线性变换模块再通过 softmax 就失去分类后果了。参数的设置跟之前都是一样的。如下图：
Case 4BERT 还能够用来做问答模型！然而对这个问答模型具备肯定的限度，即须要提供给它一篇文章和一系列问题，并且要保障这些问题的答案都在文章之间呈现过，那么通过 BERT 解决之后将会对一个问题输入两个正整数，这两个正整数就代表问题的答案在文章中的第几个单词到第几个单词这样截进去的句子，即下图的 s 和 e 就可能截取出正确答案。
那么 BERT 具体在做这件事时，也是将文章和问题看成两个向量集，那么同样在它们两头要加上 SEP，在结尾要加上 CLS，而后通过 BERT 之后会产生雷同数目的向量。那么要害中央在于会初始化两个向量称为 A 和 B，它们的长度和 BERT 输入的向量的长度雷同，那首先拿 A 和文章对应的所有输入向量一一进行点乘，每一个都失去一个数字，再全副通过 softmax，而后看看哪一个最终的后果最大，最大的就是对应 s 的取值；B 也是同理通过雷同的解决最初取最大的作为 e 的取值，那么失去 s 和 e 之后就能够去文章中取答案了！如下图：
那么咱们要训练的就是随机初始化的两个向量和曾经 pre-train 的 BERT。1.4、Pre-train seq2seq model 后面介绍的 BERT 的各种利用场景都没有用在 seq2seq 的场景，那么如果要将 BERT 用于这个场景呢还须要再加上一个 Dncoder，即：
先将原始的输出退出肯定的烦扰，而后通过 Encoder 和 Decoder 之后呢输入的向量是和原来的输出具备雷同的数目，那么目标就是心愿输入向量可能和未加烦扰之前的向量集足够靠近。具体的烦扰办法也是多种多样：
2、BERT 的奇闻轶事 2.1 Why does BERT work? 先从一个事实来阐明为什么 BERT 可能在文字处理中如此无效。在 BERT 中，如果咱们给它一个句子，也就是一排向量，那么它对应输入的向量能够认为外面蕴含了对应输出向量文字的含意，怎么了解呢？看上面的例子，例如咱们给输出”台湾大学“，那么 BERT 的对应”大“的输入其实能够认为它是晓得其含意的。这么阐明可能有点形象，咱们须要通过下一个例子来解释。
因为中文中经常存在一词多意，那么当初假如苹果的苹的两个含意，收集对于苹果的各种句子和对于苹果手机的各种句子让 BERT 先进行训练，而后再输出对于苹果的五条句子和对于苹果手机的五条句子，如下图：
而后咱们就来查看，两个意义中的“苹”字对应的输入向量之间的相似性，后果如下图：
能够看到，对于吃的苹果的句子之中“苹”的对应输入向量，它们彼此之间相似性较高；对于苹果手机的也是；然而如果是不同的“苹“那么相似性则较低。为什么会有这种神奇的景象呢？难道是 BERT 学会了这个文字的多个含意吗？实际上是因为在训练的时候咱们将”苹“遮住的话，BERT 要从上下文来剖析做出预测，它会发现这两种不同的”苹“所对应的上下文常常是不一样的，因而它做出预测的输入向量也就会存在差别！在许多论文上都是这个说法的。或者也能够认为因为上下文给这个遮掉的单词赋予了肯定的意义，那么有可能，具备相似含意的单词在上下文就会比拟靠近（例如食物的话上下文可能都跟餐具无关），那么在做出预测的时候就向量比拟靠近。2.2、Multi-lingual BERT 这个模型也就是用很多种语言来训练一个模型：
那么有一个实验室体现了 BERT 的神奇之处，也就是用了 104 种语言 Pre-trainBERT，也就是教 BERT 做填空题，而后再用英文的问答材料来教 BERT 做英文的问答题，再在测试集中用中文的问答题来测试 BERT，它的后果如下，能够达到这个正确率真的很令人吃惊！因为在 BERT 之前最好的是 QANet，它的正确率比这样的 BERT 还低！
2.3、语言的资讯通过上述中英文的训练，当初思考的问题是：为什么你给的是英文的训练集，在测试集的中文中，它不会给你在预测的中央预测出英文呢？那么这是否能够阐明在 BERT 中实际上它是可能辨别不同语言之间的差异，而不是单纯的将其看做一个向量呢？那么来做上面这个试验：如果把所有中文都放进去 BERT 失去输入而后均匀失去一个向量，英文也是雷同做法失去一个向量，而后将这两个向量进行相减失去一个差值的向量；再将英文一句话丢进去 BERT，失去输入后加上这个差值的向量，会呈现这个神奇的景象：
能够发现竟然能够间接实现了翻译的性能！再来看更简单的例子：
能够看到尽管 BERT 不可能齐全地将中文转为英文，然而在某些单词上还是可能正确的转换的！这也表白了 BERT 的弱小之处。3、GPT 的野望 GPT 做的事件和 BERT 所做的填空题是不一样的，GPT 具体做的是依据以后的输出预测下一个时刻可能的 token，例如下图：
即给出 Begin of Sequence，就预测出台，而后给出 BOS 和台就预测出湾，以此类推。对输入向量的解决就是左边那局部，先通过一个线性变动后再通过 softmax 失去后果向量，再跟现实后果来计算穿插熵，而后是最小化穿插熵来训练的。那么要留神的中央是它预测的时候看到的只有上文而已，即不晓得前面的句子是什么。