共计 4394 个字符，预计需要花费 11 分钟才能阅读完成。
内容起源：ChatGPT 及大模型专题研讨会
分享嘉宾：新浪新技术研发负责人、中国中文信息学会理事 张俊林
分享主题：《大型语言模型的涌现能力：景象与解释》
转载自：https://zhuanlan.zhihu.com/p/621438653
注 1：本文整顿自我在往年 3 月 11 日“中国人工智能学会”主办、达观数据承办的「ChatGPT 及大模型专题研讨会」上《大型语言模型的涌现能力：景象与解释》的现场分享，介绍了大语言模型中的涌现景象，以及对于涌现能力背地起因的相干猜测。感激 CSDN 帮忙整顿的文字稿。
注 2: 另，有人问了，既然很多天然景象也体现出涌现能力，那么大语言模型的涌现景象须要解释吗？我集体认为是须要的。毕竟，说大语言模型的某个非凡景象属于“涌现景象”，也是被个别钻研提出来，未有确切证实或证据，是否它和天然景象中呈现的涌现景象外在机制是相似或一样的，其实能够存疑。而且我认为大模型的这个景象，背地应该有些咱们能够了解的起因。如果咱们不谋求景象背地的解释，仅仅把目前解释不了的景象对立归类为涌现或者其它什么概念，就此了之。那么，其实咱们也能够把大模型的目前了解不了的很多景象，对立归类为这是一种“神迹”，那世界上很多事件就简略多了。另另，用 Grokking 解释涌现景象，只管我把它称为”用玄学解释玄学“，然而感觉还是值得深刻摸索的方向，兴许能够把下面的说法，优化为”用含玄量较低的玄学解释另外一个含玄量较高的玄学“。
注 3: 如果仔细分析的话，大语言模型的这个所谓“涌现景象”，如果仅仅把景象归因于模型规模，目前看大概率是把问题简化了，很有可能影响因素是多样化的。如果让我演绎的话，某个工作，大语言模型是否会呈现“涌现景象”这个变量 y，很可能是以下多因素影响的某个未知函数：
而对于此，须要进一步更深刻的钻研与解释。
一、什么是大模型的涌现能力
简单零碎学科里曾经对涌现景象做过很久的相干钻研。那么，什么是“涌现景象”？当一个简单零碎由很多渺小个体形成，这些渺小个体凑到一起，相互作用，当数量足够多时，在宏观层面上展现出宏观个体无法解释的非凡景象，就能够称之为“涌现景象”。
生存中的涌现景象在日常生活中也有一些涌现景象，比方雪花的造成、堵车、动物迁徙、涡流造成等。这里以雪花为例来解释：雪花的形成是水分子，水分子很小，然而大量的水分子如果在外界温度条件变动的前提下相互作用，在宏观层面就会造成一个很法则、很对称、很漂亮的雪花。那么问题是：超级大模型会不会呈现涌现景象？显然咱们很多人都晓得答案，答案是会的。
大语言模型参数增长示意图咱们先来看下大语言模型的规模增长状况。如果演绎下大语言模型在近两年里最大的技术停顿，很有可能就是模型规模的快速增长。现在，大规模模型个别超过 100B，即千亿参数。如 Google 公布的多模态具身视觉语言模型 PaLM-E，由 540B 的 PaLM 文本模型和 22B 的 VIT 图像模型形成，两者集成解决多模态信息，所以它的总模型规模是 566B。大语言模型规模一直增长时，对上游工作有什么影响？对于不同类型的工作，有三种不同的体现：第一类工作体现出伸缩法令：这类工作个别是常识密集型工作。随着模型规模的一直增长，工作成果也持续增长，阐明这类工作对大模型中常识蕴涵的数量要求较高。
伸缩法令与涌现能力第二类工作体现出涌现能力：这类工作个别是由多步骤形成的简单工作。只有当模型规模大到肯定水平时，成果才会急剧增长，在模型规模小于某个临界值之前，模型根本不具备工作解决能力。这就是典型的涌现能力的体现。这类工作呈现出一种共性：大多数是由多步骤形成的简单工作。
第三类工作数量较少，随着模型规模增长，工作成果体现出一个 U 形曲线。如上图所示，随着模型规模增长，刚开始模型成果会呈降落趋势，但当模型规模足够大时，成果反而会晋升。如果对这类工作应用 思维链 CoT 技术，这些工作的体现就会转化成伸缩法令，成果也会随着模型规模增长而持续上升。因而，模型规模增长是必然趋势，当推动大模型规模一直增长的时候，涌现能力的呈现会让工作的成果更加杰出。
二、LLM 体现出的涌现
目前有两大类被认为具备涌现能力的工作，第一类是 In Context Learning（“Few-Shot Prompt”），用户给出几个例子，大模型不须要调整模型参数，就可能解决好工作（参考上图给出的情感计算的例子）。
如上图展现，利用 In Context Learning，曾经发现在各种类型的上游工作中，大语言模型都呈现了涌现景象，体现在在模型规模不够大的时候，各种工作都解决不好，然而当跨过某个模型大小临界值的时候，大模型就忽然能比拟好地解决这些工作。第二类具备涌现景象的技术是思维链(CoT)。CoT 实质上是一种非凡的 few shot prompt，就是说对于某个简单的比方推理问题，用户把一步一步的推导过程写进去，并提供给大语言模型（如下图蓝色文字内容所示），这样大语言模型就能做一些绝对简单的推理工作。
从上图能够看出，无论是数学问题、符号推理问题，CoT 都具备涌现能力。
除此之外，其余工作也有涌现能力，如上图所示的数学多位数加法、命令了解等。
三、LLM 模型规模和涌现能力的关系
能够看出，涌现能力和模型的规模大小有肯定的关联关系，那么，咱们的问题是，具体而言，两者是怎么的关系呢？
咱们分头来看，先看下 In Context Learning 的涌现能力和模型规模的关系。上图展现了对于不同类型的具体任务，In Context Learning 的涌现能力和模型规模的对照关系。从图中数据能够看出，咱们很难给出一个惟一的模型大小数值。不同类型的工作，在 In Context Learning 方面，模型多大才具备涌现能力，这跟具体的工作有肯定的绑定关系。例如：图表第一行的 3 位数加法工作，模型只有达到 13B（130 亿参数），就能够具备涌现能力，然而对倒数第二行的 Word in Context Benchmark 工作而言，目前证实，只有 540B 大小的模型才能够做到这点。咱们只能说，就 In Context Learning 而言，如果模型达到 100B，大多数工作能够具备涌现能力。
对于 CoT 来说，论断也是相似的，就是说要想呈现涌现能力，模型规模大小和具体任务有肯定的绑定关系。
四、把模型做小会影响 LLM 的涌现能力吗？
因为对很多工作来说，只有模型规模做到比拟大，能力具备涌现能力，所以我集体比较关心下列问题：咱们能不能把模型做小？把模型做小是否会影响到 LLM 的涌现能力？这是个很乏味的问题。咱们这里拿两个小模型代表来探讨这个问题。
第一个小模型代表，是 DeepMind 2021 年发表的模型 Chinchilla，这个模型目前做各种工作的成果，和 540B 大小的 PaLM 根本相当。Chinchilla 的思路是给更多的数据，然而把模型规模做小。具体而言，它对标的是 Gopher 模型，Chinchilla 模型大小只有 70B，是 Gopher 的四分之一，然而付出的代价是训练数据总量，是 Gopher 的四倍，所以基本思路是通过放大训练数据量，来放大模型规模。咱们把 Chinchilla 规模做小了，问题是它还具备涌现能力吗？从上图给出的数据能够看出，起码咱们能够说，Chinchilla 在自然语言解决的综合工作 MMLU 上是具备涌现能力的。如果小模型也能具备涌现能力，那么这其实侧面反映了一个问题：对于相似 GPT3 这样的模型而言，很可能它 175B 这么多的模型参数，并没有被充分利用，因而，咱们在当前训练模型的时候，能够思考先减少训练数据，升高模型参数量，把模型做小，先把模型参数利用充沛，在这个根底上，再持续减少数据，并推大模型规模。也即是说，目前看，咱们先把模型做小，再把模型做大，看上去是可行的。
第二个小模型代表是 Meta 公布的开源模型 LLaMA，它的做法其实很好了解，实质上就是开源的 Chinchilla，它的思路是齐全遵循 Chinchilla 来做的，就是说减少训练数据，然而把模型规模做小。那么 LLaMA 是否具备涌现能力呢？从上图表格数据能够看出，尽管 LLaMA 在 MMLU 这个工作上比 Chinchilla 稍差一些，然而成果也不错。这阐明 LLaMA 在 MMLU 上根本也是具备涌现能力的。其实，有个工作目前还没有看到有人做，然而这个工作是很有价值的，就是充沛测试当模型变得足够小（比方 10B-50B 规模）当前，各种工作的涌现能力是否还具备？这是个很有价值的事件，因为如果咱们的论断是即便把模型规模做小，各种工作的涌现能力能够放弃，那么咱们就能够释怀地先谋求把模型做小。
五、模型训练中的顿悟景象
这里介绍一个比拟新的钻研方向，顿悟景象，英文叫“Grokking”。在这里介绍模型训练过程中的顿悟，目标是心愿建设起它和大模型涌现能力之间的分割，我在本文前面会尝试用顿悟景象来解释大模型的涌现能力。
咱们首先解释下什么是顿悟景象。如上图所示，对于一个训练数据较少的数学工作（通常是数字求和取余数的问题），钻研人员发现一种离奇的景象。比方咱们将数据集切成两块，50% 数据作为训练集（图中红线展现了随着训练过程往后走，工作指标的变动状况），50% 的数据作为验证集（图中绿线的走势展现了训练动静）。在学习数字求和取余这个工作时，它的训练动静会经验三个阶段：第一个阶段是记忆期：红线对应的训练数据指标忽然走高，代表模型记住了 50% 的训练数据的后果，而绿线对应的验证集指标靠近 0，阐明模型齐全没有泛化能力，就是说没有学会这个工作的法则。所以这个阶段模型只是在单纯地记忆训练数据。第二个阶段是平台期：这个阶段是记忆期的连续，体现为验证汇合成果依然很差，阐明模型依然没有学会法则。第三个阶段是泛化期：这个阶段验证汇合成果忽然变好，这阐明忽然之间，模型学会了工作里的法则，也就是咱们说的，呈现了顿悟景象，忽然就学明确了。
后续钻研表明：Grokking 实质上是在学习输出数字的一个好的表征。如图所示，能够看到由初始化向记忆期再到顿悟景象呈现的过程，数字的表征逐渐开始体现以后学习工作的工作构造。
那么，咱们能用 Grokking 来解释大模型的涌现景象吗？目前，有局部钻研暗示两者理论是存在某些关联的，但尚未有钻研明确地指出两者之间的关系。两者从走势曲线看是十分靠近的，然而有很大区别，因为 Grokking 形容的是模型训练动静中的体现，而涌现表白的是模型规模变动时的工作体现，尽管走势相近，但两者不是一回事。我认为，要想用 Grokking 解释涌现景象，外围是要解释分明下列问题：为什么规模小的语言模型不会呈现 Grokking？这是个很要害的问题。因为如果规模小以及规模大的语言模型都会呈现 Grokking，那么阐明 Grokking 和模型规模无关，也就不可能用来解释大模型的涌现景象。本文前面，我会给出一个本人的猜测，来建设两者之间的分割。
