关于百度搜索技术大赛:ERNIE模型介绍

ERNIE1.0

ERNIE1.0的论文：https://arxiv.org/pdf/1904.09...

ERNIE系列的代码：https://github.com/PaddlePadd...

ERNIE1.0的预训练代码能够查看https://github.com/PaddlePadd...

ERNIE1.0应用的是BERT作为backbone，但相比于bert，

1）ERNIE1.0应用了三个level的mask策略，减少了预训练难度，让模型学到了更多常识。

2）ERNIE1.0新增了DLM(Dialogue Language Model )工作。

3）应用了更多类型的训练数据。

ERNIE1.0三个level的mask别离是basic-level masking、phrase-level masking和entity-level masking。而bert只是应用了basic-level masking。

basic-level masking以字为单位进行masking。

phrase-level masking以短语为单位进行masking。

entity-level masking以实体为单位进行masking。

ERNIE2.0

ERNIE2.0的论文：https://arxiv.org/abs/1907.12412

ERNIE系列的代码：https://github.com/PaddlePadd...

ERNIE2.0的次要奉献在于：

提出了反对continual multi-task learning的ERNIE framework。
提出了三种无监督类型的工作：word-aware pretraining task，struture-aware pretraining task , semantic-aware pretraining task
ERNIE frame反对continual multi-task learning。传统的multi-task learning从0开始学习（下图中），传统的continual learning顺次训练task1、task2、.... taskn（下图右）。而continual multi-task learning 顺次增加新工作，然而每来一个工作仍会和旧工作组合成multi-task learning（下图左）。

continal multi-task learning是在预训练中应用的。在finetune中，只须要加载相应的构造，针对特定的工作finetune，造成相应工作的finetune模型。

ERNIE3.0

ERNIE3.0的论文：ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation

ERNIE系列的代码：https://github.com/PaddlePadd...

ERNIE3.0相比与ERNIE2.0,

1.在模型构造上提出了Universal Representation和Task-specific Representation。

2.在2.0的根底之上持续摸索continual multi-task learning，持续应用word-aware pretraining task、structure-aware pretraing task，但同时新增了knowledge-aware pretraining task。

3.参数量增大到了10 billion，ERNIE3.0应用了progressive training以及更多的训练数据。

模型构造：Universal Representation和Task-specific Representation