共计 2432 个字符，预计需要花费 7 分钟才能阅读完成。
近日，百度 ERNIE 降级到 3.0，重磅公布常识加强的百亿参数大模型。该模型除了从海量文本数据中学习词汇、构造、语义等常识外，还从大规模常识图谱中学习。
ERNIE 3.0 一举刷新 54 个中文 NLP 工作基准，其英文模型在国内权威的简单语言了解工作评测 SuperGLUE 上, 以超过人类程度 0.8 个百分点的问题登顶寰球榜首。ERNIE 3.0 同时具备超强语言理解能力以及写小说、歌词、诗歌、对联等文学创作能力。
目前 ERNIE 3.0 已在百度文心官网凋谢，用户可体验 ERNIE 3.0 创作的不同模式的内容，实现更多有创意、有价值的利用。
论文链接：
https://arxiv.org/pdf/2107.02…
Demo 链接：
https://wenxin.baidu.com/wenx…
ERNIE 3.0 常识加强大模型：百亿级预训练中首次引入大规模常识
近一年来，以 GPT-3、Switch-Transformer 为代表的大规模预训练模型，带来了人工智能畛域新的冲破，因为其弱小的通用性和卓越的迁徙能力，掀起了预训练模型往大规模参数化发展的浪潮。然而，现有的大规模预训练模型，次要依赖纯文本学习，不足大规模常识领导学习，模型能力存在局限。
ERNIE 3.0 的研究者进一步开掘大规模预训练模型的后劲，基于深度学习平台飞桨的分布式训练技术劣势，首次在百亿级预训练模型中引入大规模常识图谱，提出了海量无监督文本与大规模常识图谱的平行预训练方法（Universal Knowledge-Text Prediction）。通过将大规模常识图谱的实体关系与大规模文本数据同时输出到预训练模型中进行联结掩码训练，促成了结构化常识和无构造文本之间的信息共享，大幅晋升了模型对于常识的记忆和推理能力。
(ERNIE 3.0 中的文本与常识平行预训练)
ERNIE 3.0 对立预训练框架：同时具备语言了解和语言生成能力
百度研究者提出了将通用语义示意与工作语义示意相结合的模型框架，该框架交融自编码和自回归等不同的工作语义示意网络，既可同时解决语言了解和语言生成工作，还能做无标注数据的零样本学习（Zero-shot Learning）和有标注数据的微调训练（Fine-tuning）。此外，ERNIE 3.0 在继续学习框架的根底上，减少了工作语义示意网络，减速模型进化。
(ERNIE 3.0 框架)
ERNIE3.0 框架分为两层。第一层是通用语义示意网络，该网络学习数据中的根底和通用的常识。第二层是工作语义示意网络，该网络基于通用语义示意，学习工作相干的常识。不同工作语义示意网络可通过自编码构造或者自回归构造实现，并通过底层共享实现交互和加强。在学习过程中，工作语义示意网络只学习对应类别的预训练任务，而通用语义示意网络会学习所有的预训练任务。
ERNIE 3.0 成果：一举刷新 54 个中文 NLP 工作基准
百度研究者在 54 个中文自然语言解决公开数据集，蕴含情感剖析、观点抽取、浏览了解、文本摘要、对话生成、数学运算等工作上，全面验证评估了 ERNIE 3.0 的成果和通用能力。ERNIE 3.0 均获得了以后最好成果，其中，在 20 多个不同类型的自然语言解决工作上获得了 3% 以上的显著晋升。
(ERNIE 3.0 在 Fine-tuning 范式下的工作成果)
在理论利用中，往往不足标注数据，因而，百度研究者也测试了 ERNIE 3.0 在 Zero-shot Learning（零样本学习）范式下的成果，ERNIE 3.0 在大多数工作上绝对已有的中文大模型也获得了显著的成果晋升。
(ERNIE 3.0 在零样本学习下的成果)
ERNIE 3.0 英文模型登顶 SuperGLUE：超过人类程度 0.8 个百分点
除了中文模型的惊艳成果，ERNIE 3.0 英文模型在国内权威的简单语言了解工作评测 SuperGLUE 上超过谷歌的 T5、OpenAI 的 GPT- 3 等大模型，以超过人类程度 0.8 个百分点的问题登顶寰球榜首。
SuperGLUE 是由谷歌 DeepMind、Facebook 研究院、纽约大学、华盛顿大学等多个权威机构联结发布的简单语言了解工作评测，旨在晋升常识推理、因果判断、上下文消歧、指代消解等简单工作的成果。
(ERNIE 3.0 登顶 SuperGLUE 寰球榜首)
事实上，早在 2019 年 12 月，ERNIE 就曾以 9 个工作均匀得分首次冲破 90 大关的问题登顶 GLUE 寰球榜首。这次 ERNIE 3.0 在 SuperGLUE 评测上夺冠，再次证实了 ERNIE 的弱小实力。
(ERNIE 登顶 GLUE 寰球榜首)
写小说、写歌词、写古文：ERNIE 3.0 文学创作与常识把握能力显著晋升
ERNIE 3.0，在文学创作能力方面也有了显著晋升，能够通过对海量文本与常识的学习，无需专门训练，即可进行文学创作。
ERNIE 3.0 对常识的把握，同样大幅晋升，通过常识图谱对模型进行加强，让模型具备更强的常识记忆和推理能力。
目前这些能力曾经凋谢体验，大家能够点击（Demo 地址）亲自感触 ERNIE 3.0 的技术魅力。
文心 ERNIE 自 2019 年诞生至今，在语言了解、文本生成、跨模态语义了解等畛域获得一系列技术冲破，在公开权威语义评测中斩获了十余项世界冠军。2020 年，文心荣获世界人工智能大会（WAIC）最高奖项 SAIL 奖。
目前，文心 ERNIE 已大规模利用于搜寻、信息流、智能音箱等互联网产品，并通过百度智能云输入到工业、能源、金融、通信、媒体、教育等各行各业，助力产业智能化降级。本次公布的 ERNIE 3.0 也将进一步晋升利用成果，发明更大的经济与社会价值。
想要体验 ERNIE 3.0 文学创作和常识把握能力的小伙伴，点击下方链接拜访 Demo。
Demo 链接：
https://wenxin.baidu.com/wenx…
百度自然语言解决（Natural Language Processing，NLP）以『了解语言，领有智能，扭转世界』为使命，研发自然语言解决核心技术，打造当先的技术平台和翻新产品，服务寰球用户，让简单的世界更简略。