本文将解释如下术语：T5，C4，Unified Text-to-Text Tasks
迁徙学习在 NLP 中的有效性来自对具备自监督工作的丰盛无标记的文本数据进行预训练的模型，例如语言建模或填写缺失的单词。通过事后训练后，能够在较小的标记数据集上微调模型，通常比独自应用标记的数据训练更好的性能。迁徙学习被诸如 GPT，Bert，XLNet，Roberta，Albert 和 Reformer 等模型所证实。
Text-To-Text Transfer Transformer (T5)
该论文“Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer”（2019 年出版）提出了一项大规模的教训考察，展现了哪种迁徙学习技术最无效，并利用这些见解创立新的被称为 Text-To-Text Transfer Transformer (T5)模型。
迁徙学习的重要局部是用于预训练的未标记数据集，这不仅应该是高质量和多样化的，而且还应该是大量。以前的预训练数据集并不合乎所有这三个规范，因为：
- Wikipedia 的文字高质量，但格调平均，适宜咱们的目标绝对较小
- 来自 Common Crawl Web 抓取的文字是微小的，高度多样，但品质绝对较低。
所以论文中开发了一个新的数据集：Colossal Clean Crawled Corpus (C4)，这是一个 Common Crawl 的“清洁”版本，比维基百科大两个数量级。
在 C4 上事后训练的 T5 模型可在许多 NLP 基准上取得最先进的后果，同时足够灵便，能够对几个上游工作进行微调。
对文本到文本格式进行对立
应用 T5，所有 NLP 工作都能够被转换为对立的文本到文本格式，工作的输出和输入始终是文本字符串。
该框架提供了统一的训练指标，用于预训练和微调。无论工作如何，该模型都具备最大似然指标。如果要指定模型应该哪一类的工作，须要在将其送到模型之前将工作的指标标识. 作为特定的文本前缀增加到原始输出序列中。
这个框架容许在任何 NLP 工作上应用雷同的模型、损失函数和超参数，例如机器翻译、文档摘要、问答和分类工作。
比拟不同的模型和训练策略
T5 的论文提供了多种模型架构，预训练指标，数据集，训练策略和规模程度的比拟。比照的基线模型是规范编码器解码器 Transformer。
- 模型架构：尽管一些对于 NLP 的迁徙学习的工作曾经思考了 Transformer 的架构变体，但原始的编码器 – 解码器模式在具备文本到文本框架的试验中能够完满的工作。
- 预训练指标：大多数去噪指标训练模型会重建随机损坏的文本，在 T5 的设置中也是执行相似的操作。因而，倡议应用无监督的预训练来减少计算效率，例如填补空白的剥夺指标。
- 未标记的数据集：域内数据的训练可能是无益的，但小型数据集的预训练可能导致无害的过拟合，特地是当数据集足够小时，在预训练过程中反复屡次。这促使人们应用像 C4 这样的大型和多样化的数据集来实现通用语言了解工作。
- 训练策略：在训练任务后进行微调，能够为无监督的预训练产生了很好的性能晋升。
- 规模程度缩放：比拟了利用额定计算的各种策略，包含更多数据，更大的模型，并应用模型的整合。每种办法都能够失去性能的晋升，然而用更多的数据训练一个较小的模型，往往比用更少的步骤训练一个较大的模型更好。
结果表明，文本文本办法胜利利用于生成工作（例如，形象摘要），分类工作（例如自然语言推断），甚至是回归工作，对工作特定的架构和状态都有相当的性能。
最终的 T5 模型
联合试验的见解，作者用不同的维度 (多达 110 亿个参数) 训练模型，并在许多基准测试中实现最先进的后果。这些模型是在 C4 数据集上事后训练的，而后在对单个工作进行微调之前，在多任务混合上进行预训练。
最大的模型在 GLUE, SuperGLUE, SQuAD, and CNN/Daily Mail 等测试中达到了最先进的后果。
总结
在本文中，介绍了 Text-To-Text Transfer Transformer (T5)模型和 Colossal Clean Crawled Corpus (C4)数据集。同时介绍了不同工作的例子，这被被称为对立的文本到文本工作，并看到具备不同模型架构和训练策略的性能定性试验后果。
如果你对这个感兴趣，能够本人尝试下上面的工作：
- 理解 T5 模型的后续改良，如 T5v1.1（具备一些架构调整的 T5 的改进版），MT5（多语言 T5 模型）和 BYT5（在字节序列上事后培训的 T5 模型而不是 令牌 序列）
- 能够看看 Hugging Face 的 T5 实现并且进行微调
https://www.overfit.cn/post/a0e9aaeaabf04087a278aea6f06d14d6
作者：Fabio Chiusano