1、BERT简介首先须要介绍什么是自监督学习。咱们晓得监督学习是有明确的样本和对应的标签，将样本丢进去模型训练并且将训练后果将标签进行比拟来修改模型，如下图：
而自监督学习就是没有标签也要本人创立监督学习的条件，即以后只有样本x然而没有标签\hat{y}y^，那具体的做法就是将样本x分成两局部x\primex′和x\prime \primex′′，其中一部分作为输出模型的样本，另一部分来作为标签：
如果感觉很形象也没关系，请持续往下浏览将会逐步清晰这个定义。1.1、BERT的maskingBERT的架构能够简略地看成跟Transformer中的Encoder的架构是雷同的（能够参考我这篇文章点此)），其实现的性能都是承受一排向量，并输入一排向量。而BERT特地的中央在于它对于承受的一排输出的向量（通常是文字或者语音等）会随机抉择某些向量进行“遮挡”(mask)，而进行遮挡的形式又分为两种：第一种是将该文字用一个非凡的字符来进行代替第二种是将该文字用一个随机的文字来进行代替而这两种办法的抉择也是随机的，因而就是随机抉择一些文字再随机抉择mask的计划来进行遮挡。而后就让BERT来读入这一排向量并输入一排向量，那么训练过程就是将方才遮挡的向量其对应的输入向量，通过一个线性变换模型（乘以一个矩阵）再通过softmax模块失去一个result，蕴含该向量取到所有文字的所有概率，尽管BERT不晓得被遮挡的向量代表什么文字但咱们是晓得的，因而咱们就拿答案的文字对应的one-hat-vector来与向量result最小化穿插熵，从而来训练BERT和这个线性变换模块，总体能够看下图：
1.2、Next Sentence Prediction这个工作是判断两个句子它们是不是应该连贯在一起，例如判断“我爱”和“中国”是不是应该连在一起，那么在BERT中具体的做法为：先对两个句子进行解决，在第一个句子的后面加上一个非凡的成为CLS的向量，再在两个句子的两头加上一个非凡的SEP的向量作为分隔，因而就拼成了一个较长的向量集将该长向量集输出到BERT之中，那么就会输入雷同数目的向量但咱们只关注CLS对应的输入向量，因而咱们将该向量同样通过一个线性变换模块，并让这个线性变换模块的输入能够用来做一个二分类问题，就是yes或者no，代表这两个句子是不是应该拼在一起具体如下图：
而后面咱们介绍了两种BERT的利用场景，看起来仿佛都是填空题或者判断题，那么是否BERT只可能用于这种场景之下呢？当然不是！BERT具备弱小的能力，它不仅能够用来解决咱们感兴趣的上游工作，更乏味的是，它只须要将方才训练(Pre-train)实现的能够解决填空题工作的简略BERT进行微调（Fine-tune)就能够用来高效地解决一些上游、简单的工作。也就是说BERT只须要先用简略的工作来进行Pre-train，而后再进行微调就能够用于咱们感兴趣的上游简单工作！
这里补充一个知识点，因为BERT这类模型能够进行微调来解决各种上游工作，因而有一个工作集为GLUE，里面包好了9种自然语言解决的工作，个别评判BERT这种模型就是将BERT分为微调来解决这9个工作而后对正确率等进行均匀。9个工作如下：
1.3、How to ues BERTCase 1Case 1 是承受一个向量，输入一个分类，例如做句子的情感剖析，对一个句子判断它是踊跃的还是消极的。那么如何用BERT来解决这个问题呢，具体的流程如下：在句子对应的一排向量之前再加上CLS这个特殊字符所对应的向量，而后将这一整排向量放入BERT之中咱们只关注CLS对应的输入向量，将该向量通过一个线性变换（乘上一个矩阵）后再通过一个softmax，输入一个向量来示意分类的后果，示意是踊跃的还是消极的而重要的中央在于线性变换模块的参数是随机初始化的，而BERT中的参数是之前就pre-train的参数，这样会比随机初始化的BERT更加高效。而这也代表咱们须要很多句子情感剖析的样本和标签来让咱们能够通过梯度降落来训练线性变换模块和BERT的参数。如下图：
个别咱们是将BERT和线型变换模块一起称为Sentiment analysis。Case 2这个工作是输出一排向量，输入是和输出雷同数目的向量，例如词性标注问题。那么具体的办法也是很相似的，BERT的参数也是通过pre-train失去的，而线性变动的参数是随机初始化的，而后就通过一些有标注的样本进行学习，如下图：
Case 3在该工作中，输出是两个句子，输入是一个分类，例如自然语言推断问题，输出是一个假如和一个推论，而输入就是这个假如和推论之间是否是抵触的，或者是相干的，或者是没有关系的：
那么BERT对这类工作的做法也是相似的，因为要输入两个句子，因而在两个句子之间应该有一个SEP的特殊字符对应的向量，而后在结尾也有CLS特殊字符对应的向量，并且因为输入是单纯一个分类，那关注的也是CLS对应的输入向量，将其放入线性变换模块再通过softmax就失去分类后果了。参数的设置跟之前都是一样的。如下图：
Case 4BERT还能够用来做问答模型！然而对这个问答模型具备肯定的限度，即须要提供给它一篇文章和一系列问题，并且要保障这些问题的答案都在文章之间呈现过，那么通过BERT解决之后将会对一个问题输入两个正整数，这两个正整数就代表问题的答案在文章中的第几个单词到第几个单词这样截进去的句子，即下图的s和e就可能截取出正确答案。
那么BERT具体在做这件事时，也是将文章和问题看成两个向量集，那么同样在它们两头要加上SEP，在结尾要加上CLS，而后通过BERT之后会产生雷同数目的向量。那么要害中央在于会初始化两个向量称为A和B，它们的长度和BERT输入的向量的长度雷同，那首先拿A和文章对应的所有输入向量一一进行点乘，每一个都失去一个数字，再全副通过softmax，而后看看哪一个最终的后果最大，最大的就是对应s的取值；B也是同理通过雷同的解决最初取最大的作为e的取值，那么失去s和e之后就能够去文章中取答案了！如下图：
那么咱们要训练的就是随机初始化的两个向量和曾经pre-train的BERT。1.4、Pre-train seq2seq model后面介绍的BERT的各种利用场景都没有用在seq2seq的场景，那么如果要将BERT用于这个场景呢还须要再加上一个Dncoder，即：
先将原始的输出退出肯定的烦扰，而后通过Encoder和Decoder之后呢输入的向量是和原来的输出具备雷同的数目，那么目标就是心愿输入向量可能和未加烦扰之前的向量集足够靠近。具体的烦扰办法也是多种多样：
2、BERT的奇闻轶事2.1 Why does BERT work?先从一个事实来阐明为什么BERT可能在文字处理中如此无效。在BERT中，如果咱们给它一个句子，也就是一排向量，那么它对应输入的向量能够认为外面蕴含了对应输出向量文字的含意，怎么了解呢？看上面的例子，例如咱们给输出”台湾大学“，那么BERT的对应”大“的输入其实能够认为它是晓得其含意的。这么阐明可能有点形象，咱们须要通过下一个例子来解释。
因为中文中经常存在一词多意，那么当初假如苹果的苹的两个含意，收集对于苹果的各种句子和对于苹果手机的各种句子让BERT先进行训练， 而后再输出对于苹果的五条句子和对于苹果手机的五条句子，如下图：
而后咱们就来查看，两个意义中的“苹”字对应的输入向量之间的相似性，后果如下图：
能够看到，对于吃的苹果的句子之中“苹”的对应输入向量，它们彼此之间相似性较高；对于苹果手机的也是；然而如果是不同的“苹“那么相似性则较低。为什么会有这种神奇的景象呢？难道是BERT学会了这个文字的多个含意吗？实际上是因为在训练的时候咱们将”苹“遮住的话，BERT要从上下文来剖析做出预测，它会发现这两种不同的”苹“所对应的上下文常常是不一样的，因而它做出预测的输入向量也就会存在差别！在许多论文上都是这个说法的。或者也能够认为因为上下文给这个遮掉的单词赋予了肯定的意义，那么有可能，具备相似含意的单词在上下文就会比拟靠近（例如食物的话上下文可能都跟餐具无关），那么在做出预测的时候就向量比拟靠近。2.2、Multi-lingual BERT这个模型也就是用很多种语言来训练一个模型：
那么有一个实验室体现了BERT的神奇之处，也就是用了104种语言Pre-trainBERT，也就是教BERT做填空题，而后再用英文的问答材料来教BERT做英文的问答题，再在测试集中用中文的问答题来测试BERT，它的后果如下，能够达到这个正确率真的很令人吃惊！因为在BERT之前最好的是QANet，它的正确率比这样的BERT还低！
2.3、语言的资讯通过上述中英文的训练，当初思考的问题是：为什么你给的是英文的训练集，在测试集的中文中，它不会给你在预测的中央预测出英文呢？那么这是否能够阐明在BERT中实际上它是可能辨别不同语言之间的差异，而不是单纯的将其看做一个向量呢？那么来做上面这个试验：如果把所有中文都放进去BERT失去输入而后均匀失去一个向量，英文也是雷同做法失去一个向量，而后将这两个向量进行相减失去一个差值的向量；再将英文一句话丢进去BERT，失去输入后加上这个差值的向量，会呈现这个神奇的景象：
能够发现竟然能够间接实现了翻译的性能！再来看更简单的例子：
能够看到尽管BERT不可能齐全地将中文转为英文，然而在某些单词上还是可能正确的转换的！这也表白了BERT的弱小之处。3、GPT的野望GPT做的事件和BERT所做的填空题是不一样的，GPT具体做的是依据以后的输出预测下一个时刻可能的token，例如下图：
即给出Begin of Sequence，就预测出台，而后给出BOS和台就预测出湾，以此类推。对输入向量的解决就是左边那局部，先通过一个线性变动后再通过softmax失去后果向量，再跟现实后果来计算穿插熵，而后是最小化穿插熵来训练的。那么要留神的中央是它预测的时候看到的只有上文而已，即不晓得前面的句子是什么。