关于算法:张俊林由ChatGPT反思大语言模型LLM的技术精要

作者：张俊林
原文：https://zhuanlan.zhihu.com/p/597586623
编辑：一点人工一点智能
原文：张俊林：由 ChatGPT 反思大语言模型 (LLM) 的技术精要

导读：ChatGPT 呈现后惊喜或惊醒了很多人。惊喜是因为没想到大型语言模型（LLM,Large Language Model）成果能好成这样；惊醒是顿悟到咱们对 LLM 的认知及倒退理念，间隔世界最先进的想法，差得有点远。我属于既惊喜又惊醒的那一批，也是典型的中国人，中国人长于自我反思，于是开始反思，而这篇文章正是反思的后果。
实话实说，国内在 LLM 模型相干技术方面，此刻，间隔最先进技术的差距进一步加大了。技术当先或技术差距这事件，我感觉要动静地以倒退的眼光来看。在 Bert 呈现之后的一到两年间，其实国内在这块的技术追赶速度还是很快的，也提出了一些很好的改良模型，差距拉开的分水岭应该是在 GPT 3.0 进去之后，也就是 2020 年年中左右。在过后，其实只有很少的人觉察到：GPT 3.0 它不仅仅是一项具体的技术，其实体现的是 LLM 应该往何处去的一个倒退理念。自此之后，差距拉得越来越远，ChatGPT 只是这种倒退理念差别的一个天然后果。所以，我集体认为，抛开是否有财力做超大型 LLM 这个因素，如果单从技术角度看，差距次要来自于对 LLM 的认知以及将来应往何处去的倒退理念的不同。
国内被国外技术甩得越来越远，这个是事实，不抵赖也不行。前阵子网上很多人担心说国内 AI 当初处于“危急存亡之秋”，我感觉倒也不至于这么重大。君不见，这个世界上，具备这么超前眼光的只有 OpenAI 一家吗？包含 Google 在内，其实对于 LLM 倒退理念的了解，显著都落后 OpenAI 一个身位。事实是 OpenAI 体现过于优良，把所有人都甩开了，不仅仅是国内。
我感觉，OpenAI 对 LLM 在理念及相干技术方面，当先国外的 Google、DeepMind 大概半年到一年的工夫，当先国内大略两年左右的工夫。在 LLM 这个事件上，感觉梯队很显著，Google 应该是排在第二位，最能体现 Google 技术眼光的是 PaLM 和 Pathways，推出工夫大略在 22 年 2 月到 4 月间，同一期间，OpenAI 推出的却是 InstructGPT，从这里就能够看出 Google 和 OpenAI 的差距了，至于为何这么说，你看了我前面的注释后大略能了解。DeepMind 之前的重心始终在强化学习攻克游戏和 AI for science 这些方面，切入 LLM 其实很晚，应该是 21 年才开始器重这个方向，目前也处于追赶状态。Meta 就更不用说了，重心始终不在 LLM 上，目前感觉也发力开始追赶。这还是目前做得最好的一批机构，尚且如此，更何况国内呢？我感觉情有可原。至于 OpenAI 对于 LLM 的理念是什么，我在本文的最初一部分，会谈谈我的认知。
本文梳理自 GPT 3.0 呈现之后的支流 LLM 技术，在此之前的支流技术能够参考：《乘风破浪的 PTM：两年来预训练模型的技术停顿》https://zhuanlan.zhihu.com/p/254821426
我置信看完这两篇文章，可能让您对 LLM 畛域的技术脉络，LLM 技术倒退过程中呈现过的不同倒退理念，乃至将来可能的发展趋势，有比拟清晰的认知。当然，很多中央讲的内容是我集体认识，有很大的主观性，错漏不免，所以还请审慎参考。
本文试图答复上面一些问题：ChatGPT 是否带来了 NLP 乃至 AI 畛域的钻研范式转换？如果是，那会带来怎么的影响？LLM 从海量数据中学到了什么常识？LLM 又是如何存取这些常识的？随着 LLM 规模逐渐增大，会带来什么影响？什么是 In Context Learning? 为什么它是一项很神秘的技术？它和 Instruct 又是什么关系？LLM 具备推理能力吗？思维链 CoT 又是怎么做的？等等，置信看完，能让您对这些问题有一个答案。
首先，在谈 LLM 技术现状前，先宏观地谈下我心目中的钻研范式转换问题。这样，咱们能力“先见森林，再见树木”，对具体技术为何会是如此变动有个更清晰的认知。

01  潮流之巅：NLP 钻研范式的转换

如果咱们把工夫线往前拉得更长一些，回到 NLP 畛域的深度学习时代，在更长时间窗口内察看技术变迁及其影响，可能会更容易看清其中的一些要害节点。我集体认为，在最近 10 年来 NLP 畛域的技术倒退过程中，可能存在两次大的钻研范型转换。

1.1 范式转换 1.0: 从深度学习到两阶段预训练模型

这个范式转换所涵盖的工夫范畴，大抵在深度学习引入 NLP 畛域（2013 年左右），到 GPT 3.0 呈现之前（2020 年 5 月左右）。
在 Bert 和 GPT 模型呈现之前，NLP 畛域风行的技术是深度学习模型，而 NLP 畛域的深度学习，次要依靠于以下几项关键技术：以大量的改良 LSTM 模型及大量的改良 CNN 模型作为典型的特色抽取器；以 Sequence to Sequence（或叫 encoder-decoder 亦可）+Attention 作为各种具体任务典型的总体技术框架。
在这些核心技术加持下，NLP 畛域深度学习的次要钻研指标，如果演绎一下，是如何无效减少模型层深或模型参数容量。就是说，怎么能力往 encoder 和 decoder 里一直叠加更深的 LSTM 或 CNN 层，来达成减少层深和模型容量的指标。这种致力，只管的确一直减少了模型层深，然而从解决具体任务的成果角度看，总体而言，不算很胜利，或者说和非深度学习办法绝对，带来的劣势不算大。
深度学习之所以不够胜利，我认为次要起因来自于两个方面：一方面是某个具体任务无限的训练数据总量。随着模型容量的减少，须要靠更大量的训练数据来撑持，否则即便你能把深度做起来，工作成果也做不下来。而在预训练模型呈现之前，很显著这是 NLP 钻研畛域一个重大问题；另外一个方面是 LSTM/CNN 特色抽取器，表达能力不够强。意思是就算给你再多的数据也没用，因为你不能无效地排汇数据里蕴含的常识。次要应该是这两个起因，妨碍了深度学习在 NLP 畛域的胜利解围。
Bert/GPT 这两个预训练模型的呈现，无论在学术研究角度看，还是工业利用角度来看，都代表了 NLP 畛域的一个技术飞跃，并带来了整个畛域钻研范式的转换。这种范式转换带来的影响，体现在两个方面：首先，是局部 NLP 钻研子畛域的消退乃至逐渐沦亡；其次，NLP 不同子畛域的技术办法和技术框架日趋对立，在 Bert 呈现后一年左右，技术栈根本收敛到两种技术模式中。对于这两点，咱们分头来谈。

影响一：两头工作的沦亡

NLP 是一个宏观钻研畛域的统称，外面有形形色色具体的子畛域与子方向，如果仔细分析，从工作的性质角度，能够把这些工作分成两大类：一类能够叫做“两头工作”，一类能够称为“最终工作”。
典型的两头工作包含：中文分词、词性标注、NER、句法分析、指代消解、语义 Parser 等，这类工作个别并不解决利用中的理论需要，大多数是作为那些解决理论需要工作的两头阶段或者辅助阶段存在的，比方简直没有需要说，我要一个句法 Parser，把这个句子的句法分析树给用户看看，用户不须要看到这些 NLP 的两头阶段处理结果，他只关怀某个具体任务你有没有干好。“最终工作”包含比方文本分类、文本相似性计算、机器翻译、文本摘要等等，有很多。这类工作的特点是每个子畛域都解决某个理论需要，工作后果根本能间接出现给用户，比方用户的确存在给你一句英文，通知他中文是什么的需要。
按理说，“两头工作”就不应该呈现，而之所以会存在，这是 NLP 技术倒退程度不够高的一种体现。在技术倒退晚期阶段，因为过后的技术绝对落后，很难一步做好有难度的最终工作。比方机器翻译，晚期技术要做好机器翻译是很艰难的，于是科研人员就把难题分而治之，合成成分词、词性标注、句法分析等各种两头阶段，先把每个两头阶段做好，而后再拼起来实现最终工作，这也是没方法的事件。
然而自从 Bert/GPT 呈现之后，其实就没有必要做这些两头工作了，因为通过大量数据的预训练，Bert/GPT 曾经把这些两头工作作为语言学特色，排汇到了 Transformer 的参数里，此时咱们齐全能够端到端地间接解决那些最终工作，而无须对这种两头过程专门建模。这里可能争议最大的是中文分词，其实情理也是一样的，哪些字应该组成一个词，这个其实你不必管，让 LLM 本人当特色去学就行了，只有对于解决工作有帮忙，它天然会去学该学的正当分词形式，也未必肯定要和咱们人类了解的分词规定雷同。
基于以上认知，其实在 Bert/GPT 一呈现，你就应该得出这类 NLP 的两头阶段的工作，会逐渐退出历史舞台这个论断。

影响二：不同钻研方向技术路线的对立

在阐明具体影响前，咱们先探讨下另外一种 NLP 工作划分形式，这对于了解前面内容有帮忙。如果对“最终工作”进一步进行分类，又大抵能够分为两大不同类型的工作：自然语言了解类工作和自然语言生成类工作。如果排除掉“两头工作”的话，典型的自然语言了解类工作包含文本分类、句子关系判断、情感偏向判断等，这种工作实质上都是分类工作，就是说输出一个句子（文章），或者两个句子，模型参考所有输出内容，最初给出属于哪个类别的判断。自然语言生成也蕴含很多 NLP 钻研子方向，比方聊天机器人、机器翻译、文本摘要、问答零碎等。生成类工作的特点是给定输出文本，对应地，模型要生成一串输入文本。这两者的差别次要体现在输入输出模式上。
自从 Bert/GPT 模型诞生后，呈现了显著的技术对立趋势。首先，NLP 中不同的子畛域，其特色抽取器都逐步从 LSTM/CNN 对立到 Transformer 上。其实，自 Bert 公开后不久，就应该意识到，这必然会成为技术趋势。至于其起因，在几年前我写的这篇：《放弃空想，全面拥抱 Transformer：自然语言解决三大特色抽取器（CNN/RNN/TF）比拟》https://zhuanlan.zhihu.com/p/54743941 中做了阐明和剖析，感兴趣的同学可参考。而且，目前 Transformer 不仅对立了 NLP 诸多畛域，也正在逐渐地替换图像处理各种工作中被宽泛应用的 CNN 等其它模型的过程之中，相似的，多模态模型目前也根本都采纳了 Transformer 模型。这种 Transformer 从 NLP 登程，攻城略地逐渐对立 AI 越来越多畛域的趋势，起始于 2020 年底呈现的 Vision Transformer (ViT)，之后蓬勃发展，到目前已大获胜利，且其持续向更多畛域拓展的势头会越来越迅猛。
其次，大多数 NLP 子畛域的研发模式切换到了两阶段模式：模型预训练阶段 + 利用微调（Fine-tuning）或利用 Zero/Few Shot Prompt 模式。更精确地说，NLP 各种工作其实收敛到了两个不同的预训练模型框架里：对于自然语言了解类工作，其技术体系对立到了以 Bert 为代表的“双向语言模型预训练 + 利用 Fine-tuning”模式；而对于自然语言生成类工作，其技术体系则对立到了以 GPT 2.0 为代表的“自回归语言模型（即从左到右单向语言模型）+Zero /Few Shot Prompt”模式。至于为何会分化成两条技术路线，有其偶然性，对于这点咱们放在前面解释。
这两种模式，看似比拟相像，但其背地蕴含了迥异的倒退思路，也会导向不同的将来倒退方向。不过遗憾的是，咱们中的绝大多数人，在过后都低估了 GPT 这条倒退路线的后劲，而把视觉核心聚焦到了 Bert 这种模式上。

1.2 范式转换 2.0: 从预训练模型走向通用人工智能（AGI）

这个范式转换所涵盖的工夫范畴，大抵在 GPT3.0 呈现之后（20 年 6 月左右），始终到目前为止，咱们应该正处于这个范式转换过程中。ChatGPT 是触发这次范型转换的要害节点，然而在 InstructGPT 呈现之前，其实 LLM 处于这次范式转换前的一个过渡期。

过渡期：以 GPT 3.0 为代表的“自回归语言模型 +Prompting”模式占据统治位置

后面说过，在预训练模型倒退的晚期，技术框架收敛到了 Bert 模式和 GPT 模式这两种不同的技术范型，而且人们广泛更看好 Bert 模式一些，相当少数的后续技术改良，都是沿着 Bert 那条路走的。然而，随着技术的持续倒退，你会发现，目前规模最大的 LLM 模型，简直清一色都是相似 GPT 3.0 这种“自回归语言模型 +Prompting”模式的，比方 GPT 3、PaLM、GLaM、Gopher、Chinchilla、MT-NLG、LaMDA 等，没有例外。为什么会这样呢？背地肯定有其偶然性，我认为可能次要源于两个起因。

首先，Google 的 T5 模型，在模式上对立了自然语言了解和自然语言生成工作的外在表现形式。如上图所示，标为红色的是个文本分类问题，黄色的是判断句子相似性的回归或分类问题，这都是典型的自然语言了解问题。在 T5 模型里，这些自然语言了解问题在输入输出模式上和生成问题放弃了统一，也就是说，能够把分类问题转换成让 LLM 模型生成对应类别的字符串，这样了解和生成工作在表现形式就实现了齐全的对立。
这阐明自然语言生成工作，在表现形式上能够兼容自然语言了解工作，若反过来，则很难做到这一点。这样的益处是：同一个 LLM 生成模型，能够解决简直所有 NLP 问题。而如果依然采取 Bert 模式，则这个 LLM 模型无奈很好解决生成工作。既然这样，咱们当然偏向于应用生成模型，这是一个起因。
第二个起因，如果想要以零示例提醒语（zero shot prompting）或多数示例提醒语（few shot prompting）的形式做好工作，则必须要采取 GPT 模式。当初已有钻研（参考：On the Role of Bidirectionality in Language Model Pre-Training）证实：如果是以 fine-tuning 形式解决上游工作，Bert 模式的成果优于 GPT 模式；若是以 zero shot/few shot prompting 这种模式解决上游工作，则 GPT 模式成果要优于 Bert 模式。这阐明了，生成模型更容易做好 zero shot/few shot prompting 形式的工作，而 Bert 模式以这种形式做工作，是人造有劣势的。这是第二个起因。
然而问题来了：为什么咱们要谋求 zero shot/few shot prompting 这种形式来做工作呢？要解释分明这个问题，咱们首先须要搞清楚另外一个问题：什么样的 LLM 模型，对咱们是最现实的？

上图展现了一个现实的 LLM 该有的样子。首先，LLM 应该具备弱小的自主学习能力。假如咱们把世界上能取得的所有文本或者图片等不同类型的数据喂给它，它应该可能主动从中学习到外面蕴含的所有知识点，学习过程不须要人的染指，并且能灵便利用所学常识，来解决理论问题。因为数据是海量的，要排汇所有常识，就要十分多的模型参数来存储常识，所以这个模型必然会是一个巨无霸模型。
其次，LLM 应该能解决 NLP 任何子畛域的问题，而不仅反对无限畛域，甚至它应该能够响应 NLP 之外其它畛域的问题，最好是任意畛域的问题都能失去很好地答复。再者，当咱们应用 LLM 解决某个具体畛域问题的时候，应该用咱们人类习惯的表达方式，就是说 LLM 应该了解人类的命令。这体现出让 LLM 适配人，而不是反过来，让人去适配 LLM 模型。人适配 LLM 的典型例子，比方搜索枯肠去尝试各种不同的 prompt，以试图找到好的提醒语，能力很好地解决手头问题。对于这点，上图在人类和 LLM 交互的接口层，举了几个例子，阐明什么是好的人应用 LLM 模型的接口模式。
看完这个现实中的 LLM，咱们再回头解释下面遗留的问题：为什么咱们要谋求 zero shot/few shot prompting 这种形式来做工作呢？有两个起因。
第一，这个 LLM 模型规模必然十分微小，有能力作出这个模型，或改变这个模型参数的机构必然很少。而工作需求方是千千万万的中小机构甚至是集体，就算你把模型开源进去，他们也有力部署这个模型，更不用说再用 Fine-tuning 这种模式去批改模型参数了。所以，咱们应该谋求不修改模型参数，就能让工作需求方实现工作的形式，也就是应该采取 prompt 模式实现工作，而非 Fine-tuning 模式（由此可看出，soft prompting 技术方向是违反这个发展趋势的）。模型制作方则将 LLM 作成专用服务，以 LLM as Service 的模式运行。作为服务反对方，思考到变幻无穷的用户需要，所以 LLM 模型制作方更要谋求让 LLM 能实现尽可能多类型的工作，这是附带的影响，也是为何超级大模型肯定会谋求走向 AGI 的事实因素。
第二，zero shot prompting 也好，few shot prompting 也好，甚至促成 LLM 推理能力的思维链（CoT,Chain of Thought）Prompting 也好，就是上图中接口层中的现有技术。具体而言，zero shot prompting 的初衷，其实就是人类和 LLM 的现实接口，间接用人类所习惯的工作表述形式让 LLM 做事件，然而发现 LLM 并不能很好地了解，成果也不好。通过持续钻研，转而发现：对于某项工作，如果给 LLM 几个示例，用这些示例来代表工作形容，成果会比 zero shot prompting 好，于是大家都去钻研更好的 few shot prompting 技术。能够了解为，原本咱们心愿 LLM 可能用人类罕用的命令形式来执行某个工作，然而目前技术还做不到，所以退而求其次，用这些代替技术来表白人类的工作需要。
如果了解了上述逻辑，很容易得出如下论断：few shot prompting（也被称为 In Context Learning）只是一种过渡时期的技术。如果咱们可能更天然地去形容一个工作，而且 LLM 能够了解，那么，咱们必定会毫不犹豫地摈弃这些过渡期的技术，起因很显著，用这些办法来形容工作需要，并不合乎人类的应用习惯。
这也是为何我将 GPT3.0+Prompting 列为过渡期技术的起因，ChatGPT 的呈现，扭转了这个现状，用 Instruct 取代了 Prompting，由此带来新的技术范式转换，并产生若干后续影响。

影响一：让 LLM 适配人的新型交互接口

在现实 LLM 的背景下，咱们再来看 ChatGPT，能更好了解它的技术奉献。ChatGPT 应该是目前所有的现有技术里，最靠近现实 LLM 的技术办法。如果演绎下 ChatGPT 最突出特点的话，我会用上面八个字：“能力弱小，善解人意”。
“能力弱小”这一点，我置信应该次要归功于 ChatGPT 所依靠的根底 LLM GPT3.5。因为 ChatGPT 只管退出了人工标注数据，然而量级只有数万，这个规模的数据量，和训练 GPT 3.5 模型应用的几千亿 token 级别的数据量相比，蕴含的世界常识（数据中蕴含的事实与常识）堪称沧海一粟，几可疏忽，根本不会对加强 GPT 3.5 的根底能力施展什么作用。所以它的弱小性能，应该次要来自于暗藏在背地的 GPT 3.5。GPT 3.5 对标现实 LLM 模型中的那个巨无霸模型。
那么，ChatGPT 向 GPT 3.5 模型注入新常识了吗？应该是注入了，这些常识就蕴含在几万人工标注数据里，不过注入的不是世界常识，而是人类偏好常识。所谓“人类偏好”，蕴含几方面的含意：首先，是人类表白一个工作的习惯说法。比方，人习惯说：“把上面句子从中文翻译成英文”，以此表白一个“机器翻译”的需要，然而 LLM 又不是人，它怎么会了解这句话到底是什么意思呢？你得想方法让 LLM 了解这句命令的含意，并正确执行。所以，ChatGPT 通过人工标注数据，向 GPT 3.5 注入了这类常识，不便 LLM 了解人的命令，这是它“善解人意”的要害。其次，对于什么是好的答复，什么是不好的答复，人类有本人的规范，例如比拟具体的答复是好的，带有歧视内容的答复是不好的，诸如此类。这是人类本身对答复品质好坏的偏好。人通过 Reward Model 反馈给 LLM 的数据里，蕴含这类信息。总体而言，ChatGPT 把人类偏好常识注入 GPT 3.5，以此来取得一个听得懂人话、也比拟礼貌的 LLM。
能够看出，ChatGPT 的最大奉献在于：根本实现了现实 LLM 的接口层，让 LLM 适配人的习惯命令表达方式，而不是反过来让人去适配 LLM，搜索枯肠地想出一个能 Work 的命令（这就是 instruct 技术进去之前，prompt 技术在做的事件），而这减少了 LLM 的易用性和用户体验。是 InstructGPT/ChatGPT 首先意识到这个问题，并给出了很好的解决方案，这也是它最大的技术奉献。绝对之前的 few shot prompting，它是一种更合乎人类表白习惯的人和 LLM 进行交互的人机接口技术。
而这必将启发后续的 LLM 模型，持续在易用人机接口方面做进一步的工作，让 LLM 更听话。

影响二：很多 NLP 子畛域不再具备独立钻研价值

就 NLP 畛域而言，这次范式转换，意味着很多目前独立存在的 NLP 钻研畛域，将被纳入 LLM 的技术体系，进而不再独立存在，逐渐隐没。通过第一次范式转换，只管 NLP 中很多“两头工作”，持续作为独立钻研畛域存在不再必要，然而大多数“最终工作”，依然是以独立钻研畛域存在的，只是切换成在“预训练 +fine-tuning”框架下，面对畛域独有问题，陆续提出新的改良计划。
目前钻研表明，很多 NLP 工作，随着 LLM 模型规模增长，成果会大幅晋升。据此，我感觉可失去如下推论：大多数某畛域所谓“独有”的问题，大概率只是不足畛域常识导致的一种外在表象，只有畛域常识足够多，这个所谓畛域独有的问题，就能够被很好地解决掉，其实并不需要专门针对某个具体畛域问题，左思右想去提出专用解决方案。兴许 AGI 的假相超乎预料地简略：你只有把这个畛域更多的数据交给 LLM，让它本人学习更多常识即可。
在这个背景下，同时，ChatGPT 证实了咱们当初是能够间接去追求理想 LLM 模型的，那么，将来的技术发展趋势应该是：谋求规模越来越大的 LLM 模型，通过减少预训练数据的多样性，来涵盖越来越多的畛域，LLM 自主从畛域数据中通过预训练过程学习畛域常识，随着模型规模一直增大，很多问题随之失去解决。钻研重心会投入到如何构建这个现实 LLM 模型，而非去解决某个畛域的具体问题。这样，越来越多 NLP 的子畛域会被纳入 LLM 的技术体系，进而逐渐隐没。
我认为，判断某个具体畛域是否该立刻进行独立钻研，其判断规范可采取以下两种办法，占其一即可：第一，判断某个工作，是否 LLM 的钻研成果超过人类体现，对于那些 LLM 成果超过人类的钻研畛域，已无独立钻研的必要。举个例子，GLUE 与 SuperGLUE 测试汇合里的很多工作，目前 LLM 成果已超过人类体现，与这个数据汇合密切相关的钻研畛域，其实就没有持续独立存在的必要。第二，比照两种模式的工作成果，第一种模式是用较大的畛域专用数据进行 Fine-tuning，第二种是 few-shot prompting 或 instruct-based 办法。如果第二种办法成果达到或超过第一种办法，则意味着这个畛域没有持续独立存在的必要性。如果用这个规范来看，其实很多钻研畛域，目前 fine-tuning 成果还是占优的（因为这种模式畛域训练数据量大），看似还可独立存在。然而思考到很多工作随着模型规模增大，few shot prompting 成果持续增长，随着更大模型的呈现，这个拐点很可能短期就会达到。
如果上述猜想成立，将意味着如下残暴事实：对于很多 NLP 畛域的钻研人员，将面临往何处去的抉择，是持续做畛域独有问题呢？还是放弃这种看似前途不大的形式，转而去建设更好的 LLM？如果抉择转向去建设 LLM，又有哪些机构有能力、有条件去做这个事件呢？你对这个问题的答复会是什么呢？

影响三：更多 NLP 之外的钻研畛域将被纳入 LLM 技术体系

如果站在 AGI 的视角，参照之前形容的现实 LLM 模型，它所能实现的工作，不应局限于 NLP 畛域，或某一两个学科畛域，现实中的 LLM 应该是畛域无关的通用人工智能模型，它当初在某一两个畛域做得好，不代表只能做这些工作。ChatGPT 的呈现，证实了当初这个期间，咱们去谋求 AGI 是有可行性的，而当初是抛开“畛域学科”这个思维解放的时候了。
ChatGPT 除了展现出以晦涩的对话模式解决各种 NLP 工作外，也具备弱小的代码能力。很天然的，之后越来越多其它的钻研畛域，也会被逐渐纳入 LLM 体系中，成为通用人工智能的一部分。

LLM 从 NLP 向外进行畛域拓展，一个天然的抉择就是图像处理及多模态相干工作。目前曾经有些工作在尝试把多模态融入，让 LLM 成为一个反对多模态输入输出的通用人机接口，典型的例子包含 DeepMind 的 Flamingo 和微软的“Language Models are General-Purpose Interfaces”，上图展现了这种形式的概念构造。
我的判断是无论是图像还是多模态，将来被融入 LLM 成为好用的性能，可能比咱们设想的进度要慢。次要起因在于：只管图像畛域最近两年也始终在模拟 Bert 预训练的路子，尝试引入自监督学习，开释模型自主从图像数据中学习常识的能力，典型技术就是“比照学习”和 MAE，这是两条不同的技术路线。然而，从目前成果来看，只管获得了很大的技术提高，但貌似这条路尚未走通，这体现在图像畛域预训练模型利用到上游工作，带来的成果收益，远不如 Bert 或 GPT 利用在 NLP 上游工作那样显著。所以，图像预处理模型仍需深刻摸索，以开释图像数据的后劲，而这会通畅它们被对立到 LLM 大模型的工夫。当然，如果哪天这条路被趟通，大概率会复现 NLP 畛域目前的场面，就是图像处理各个钻研子畛域可能会逐渐隐没，被融入到大型 LLM 中来，间接实现终端工作。
除了图像与多模态，很显著，其它畛域也会逐步被纳入到现实 LLM 中来，这个方向方兴未艾，是具备高价值的钻研主题。
以上是我对范式转换的集体思考，接下来，咱们来梳理下 GPT 3.0 之后 LLM 模型的支流技术停顿。如现实 LLM 模型所示，相干的技术其实能够分为两大类；一类是对于 LLM 模型如何从数据中排汇常识，也包含模型规模增长对 LLM 排汇常识能力带来的影响；第二类是对于人如何应用 LLM 外在能力来解决工作的人机接口，包含 In Context Learning 和 Instruct 两种模式。思维链（CoT）prompting 这种 LLM 推理技术，实质上也属于 In Context Learning，因为比拟重要，我就把它们独自拎进去讲一下。

02  学习者：从无尽数据到海量常识

从目前钻研后果看，Transformer 是足够弱小的特色抽取器，尚不须要做特地的改良。那么通过预训练过程，Transformer 学到了什么？常识是如何存取的？咱们又如何修改谬误常识？本节讲述这方面的研究进展。

2.1 求知之路：LLM 学到了什么常识

LLM 从海量自在文本中学习了大量常识，如果把这些常识做粗略分类的话，能够分为语言类常识和世界常识两大类。
语言类常识指的是词法、词性、句法、语义等有助于人类或机器了解自然语言的常识。对于 LLM 是否捕捉语言常识有较长钻研历史，自从 Bert 呈现以来就一直有相干钻研，很早就有论断，各种试验充分证明 LLM 能够学习各种档次类型的语言学常识，这也是为何应用预训练模型后，各种语言了解类自然语言工作取得大幅成果晋升的最重要起因之一。另外，各种钻研也证实了浅层语言常识比方词法、词性、句法等常识存储在 Transformer 的低层和中层，而形象的语言常识比方语义类常识，宽泛散布在 Transformer 的中层和高层构造中。
世界常识指的是在这个世界上产生的一些实在事件（事实型常识，Factual Knowledge），以及一些常识性常识(Common Sense Knowledge)。比方“拜登是现任美国总统”、“拜登是美国人”、“乌克兰总统泽连斯基与美国总统拜登举办会见”，这些都是和拜登相干的事实类常识；而“人有两只眼睛”、“太阳从西方升起”这些属于常识性常识。对于 LLM 模型是否学习世界常识的钻研也有很多，论断也比拟统一：LLM 的确从训练数据中排汇了大量世界常识，而这类常识次要散布在 Transformer 的中层和高层，尤其汇集在中层。而且，随着 Transformer 模型层深减少，可能学习到的常识数量逐步以指数级减少（可参考：BERTnesia: Investigating the capture and forgetting of knowledge in BERT）。其实，你把 LLM 看作是一种以模型参数体现的隐式常识图谱，如果这么了解，我认为是一点问题也没有的。
“When Do You Need Billions of Words of Pre-training Data?”这篇文章钻研了预训练模型学习到的常识量与训练数据量的关系，它的论断是：对于 Bert 类型的语言模型来说，只用 1000 万到 1 亿单词的语料，就能学好句法语义等语言学常识，然而要学习事实类常识，则要更多的训练数据。这个论断其实也是在意料中的，毕竟语言学常识绝对无限且动态，而事实类常识则数量微小，且处于一直变动过程中。而目前钻研证实了随着减少训练数据量，预训练模型在各种上游工作中成果越好，这阐明了从增量的训练数据中学到的更次要是世界常识。

2.2 记忆之地：LLM 如何存取常识

由上可知，LLM 的确从数据中学到了很多语言类及世界常识。那么，对于某条具体的常识，LLM 把它存储到了哪里？又是如何提取进去的？这也是一个有意思的问题。
显然，常识肯定存储在 Transformer 的模型参数里。从 Transformer 的构造看，模型参数由两局部形成：多头注意力（MHA）局部占了大概参数总体的三分之一，三分之二的参数集中在 FFN 构造中。MHA 次要用于计算单词或常识间的相干强度，并对全局信息进行集成，更可能是在建设常识之间的分割，大概率不会存储具体知识点，那么很容易推论出 LLM 模型的常识主体是存储在 Transformer 的 FFN 构造里。

但这样的定位，粒度还是太粗，无奈很好答复具体某条常识是如何存储与提取的，比方“中国的首都是北京”这条常识，以三元组表白就是 < 北京，is-capital-of，中国 >，其中“is-capital-of”代表实体间关系。这条常识它存储在 LLM 的哪里呢？
“Transformer Feed-Forward Layers Are Key-Value Memories”给出了一个比拟新鲜的察看视角，它把 Transformer 的 FFN 看成存储大量具体常识的 Key-Value 存储器。如上图所示（图左是原始论文图，其实不太好了解，能够看做了正文的图右，更好了解些），FFN 的第一层是个 MLP 宽隐层，这是 Key 层；第二层是 MLP 窄隐层，是 Value 层。FFN 的输出层其实是某个单词对应的 MHA 的输入后果 Embedding，也就是通过 Self Attention，将整个句子无关的输出上下文集成到一起的 Embedding，代表了整个输出句子的整体信息。
Key 层的每个神经元节点，记录了一对 <Key,Value> 信息。比方对于上图中 FFN 第一个隐层的第  个节点，兴许就是它记录了 < 北京，is-capital-of，中国 > 这条常识。节点对应的 key 向量，其实指的是节点  和输出层每个节点的权重向量；而对应的 Value 向量，指的是节点  和 FFN 第二层的 Value 层每个节点造成连贯的权重向量。每个神经元的 Key 向量，用于辨认输出中的某种语言或者常识模式，是一种模式探测器。如果输出中蕴含它要检测的某种模式，那么输出向量和  节点的 key 权重进行向量内积计算，加上 Relu，造成  的大数值响应，意味着  检测到了这个模式，于是再把这个响应值，通过  节点的 Value 权重向量向 FFN 第二层流传。这等价于将 Value 向量的值，用响应值加权，而后传递并体现到第二层 Value 层每个节点的输入上。如此这般，FFN 的正向流传计算过程，看起来就像是通过 Key 检测到某种常识模式，而后取出对应的 Value，并把 Value 体现在 FFN 的第二层输入上。当然，FFN 第二层每个节点，会收集 FFN 的 Key 层所有节点信息，所以是一种混合响应，而 Value 层所有节点的混合响应，能够解读为代表输入单词的概率分布信息。
听着可能还是比较复杂，咱们用个极其的例子来阐明。咱们假如上图的节点  就是记录 < 北京，is-capital-of，中国 > 这条常识的 Key-Value 存储器，它的 Key 向量，用于检测”中国的首都是…”这个常识模式，它的 Value 向量，根本存储了与单词“北京”的 Embedding 比拟靠近的向量。当 Transformer 的输出是“中国的首都是 [Mask]”的时候，节点从输出层探测到这个常识模式，所以产生较大的响应输入。咱们假如 Key 层其它神经元对这个输出都没有任何响应，那么对应的 Value 层的节点，其实只会接管到“北京”这个 Value 对应的单词 embedding，并通过  的大响应值，进行了进一步的数值放大。于是，Mask 地位对应的输入，就天然会输入“北京”这个单词。根本就是这么个过程，看着很简单，其实很简略。
而且这篇文章还指出 Transformer 低层对句子的表层模式作出反应，高层对语义模式作出反应，就是说低层 FFN 存储词法、句法等表层常识，中层和高层存储语义及事实概念常识，这和其它钻研论断是统一的。
要我猜，把 FFN 看成 Key-Value 存储器这种思路，很可能不是最终的正确答案，然而间隔最终正确答案的间隔，预计也不太远。

2.3 常识涂改液：如何修改 LLM 里存储的常识

既然咱们已知具体的某条世界常识存储在某个或者某些 FFN 节点的参数里，天然会引发另外一个问题：咱们是否修改 LLM 模型里存储的谬误或者过期的常识呢？比方对于问题：“英国的现任首相是谁？”鉴于近年来英国首相频繁更迭，你猜 LLM 更偏向输入“鲍里斯”还是更青眼“苏纳克”？很显著训练数据中蕴含“鲍里斯”的数据会更多，这种状况很大可能 LLM 会给出谬误答复，于是咱们就有修改 LLM 里存储的过期常识的必要性。
如果演绎下，目前有三类不同办法来修改 LLM 里蕴含的常识：

第一类办法从训练数据的源头来修改常识。

“Towards Tracing Factual Knowledge in Language Models Back to the Training Data”这篇文章的钻研指标是：对于指定的某条常识，咱们是否能够定位到是哪些训练数据导致 LLM 学会了这条常识？答案是必定的，这意味着咱们能够逆向追踪到某条常识对应的训练数据源头。如果利用这项技术，假如咱们想要删除某条常识，则可首先定位到其对应的数据源头，删除数据源，而后从新预训练整个 LLM 模型，这样即可达成删除 LLM 中相干常识的目标。然而这里有个问题，如果修改一小部分常识，咱们就须要从新做一次模型预训练，这样做显著老本太高。所以这种办法不会太有发展前景，可能比拟适宜那种对于某个特定类别数据的一次性大规模删除场合，不适宜少量多次的惯例常识修改场景，比方可能比拟适宜用来做去除偏见等去 toxic 内容的解决。

第二类办法是对 LLM 模型做一次 fine-tuning 来修改常识。

一个直观能想到的办法是：咱们能够依据要修改成的新常识来构建训练数据，而后让 LLM 模型在这个训练数据上做 fine-tuning，这样领导 LLM 记住新的常识，忘记旧的常识。这个办法简略直观，然而也有一些问题，首先它会带来劫难忘记问题，就是说除了忘掉该忘的常识，还忘掉了不该忘的常识，导致这么做了之后有些上游工作成果降落。另外，因为目前的 LLM 模型规模十分大，即便是做 fine-tuning，如果次数频繁，其实老本也相当高。对这种办法感兴趣的能够参考“Modifying Memories in Transformer Models”。

另外一类办法间接批改 LLM 里某些常识对应的模型参数来修改常识。

假如咱们想要把旧常识 < 英国，现任首相，鲍里斯 >，修改到 < 英国，现任首相，苏纳克 >。首先咱们想方法在 LLM 模型参数中，定位到存储旧常识的 FFN 节点，而后能够强行调整更改 FFN 中对应的模型参数，将旧常识替换成新的常识。能够看出，这种办法波及到两项关键技术：首先是如何在 LLM 参数空间中定位某条常识的具体存储地位；其次是如何修改模型参数，来实现旧常识到新常识的修改。对于这类技术的细节，能够参考“Locating and Editing Factual Associations in GPT”和“Mass-Editing Memory in a Transformer”。了解这个修改 LLM 常识的过程，其实对于更深刻了解 LLM 的外部运作机制是很有帮忙的。

03  规模效应：当 LLM 越来越大时会产生什么

咱们晓得，近年来，LLM 模型规模在快速增长，目前成果最好的 LLM 模型，其参数规模大都超过了千亿（100B）参数规模。比方，OpenAI 的 GPT 3 的规模为 175B，Google 的 LaMDA 规模为 137B，PaLM 的规模为 540B，DeepMind 的 Gogher 规模为 280B 等，不一而足。国内也有中文巨型模型，比方智源 GLM 规模 130B，华为“盘古”规模 200B，百度“文心”规模 260B，浪潮“源 1.0”规模 245B。那么，一个很天然的问题就是：随着 LLM 模型规模一直增长，会产生些什么呢？
预训练模型的利用往往是两阶段的：预训练阶段，及具体场景利用阶段。在预训练阶段，其优化指标是穿插熵，对 GPT 这种自回归语言模型来说，也就是看 LLM 是否正确预测到了下一个单词；而场景利用阶段，个别要看具体场景的评估指标。个别咱们的直觉是：如果 LLM 模型在预训练阶段的指标越好，天然它解决上游工作的能力就越强。然而，事实并非齐全如此。现有钻研已证实，预训练阶段的优化指标的确和上游工作体现出正相干关系，然而并非齐全正相干。也就是说，只看预训练阶段的指标，来判断一个 LLM 模型是否够好，这是不够的。基于此，咱们分头来看在这两个不同阶段，随着 LLM 模型增大，有什么影响。

首先，咱们先看在预训练阶段，随着模型规模逐渐增大，会产生什么。OpenAI 在“Scaling Laws for Neural Language Models”中专门钻研了这个问题，并提出 LLM 模型所遵循的“伸缩法令”（scaling law）。如上图所示，这个钻研证实：当咱们独立减少训练数据量、模型参数规模或者缩短模型训练工夫（比方从 1 个 Epoch 到 2 个 Epoch），预训练模型在测试集上的 Loss 都会枯燥升高，也就是说模型成果越来越好。
既然三个因素都重要，那么咱们在理论做预训练的时候，就有一个算力如何调配的决策问题：假如用于训练 LLM 的算力总预算（比方多少 GPU 小时或者 GPU 天）给定，那么是应该多减少数据量、缩小模型参数呢？还是说数据量和模型规模同时减少，缩小训练步数呢？此消彼长，某个因素规模增长，就要升高其它因素的规模，以维持总算力不变，所以这里有各种可能的算力调配计划。最终 OpenAI 抉择了同时减少训练数据量和模型参数，然而采纳早停策略 (early stopping) 来缩小训练步数的计划。因为它证实了：对于训练数据量和模型参数这两个因素，如果只独自减少其中某一个，这不是最好的抉择，最好能依照肯定比例同时减少两者，它的论断是优先减少模型参数，而后才是训练数据量。假如用于训练 LLM 的算力总预算减少了 10 倍，那么应该减少 5.5 倍的模型参数量，1.8 倍的训练数据量，此时模型成果最佳。
DeepMind 的一项钻研（参考：Training Compute-Optimal Large Language Models）更深刻地探索了这个问题，其根本论断和 OpenAI 的论断差不多，比方的确须要同时减少训练数据量和模型参数，模型成果才会更好。而很多大模型在做预训练的时候，并没有思考这一点，很多 LLM 大模型只是枯燥减少模型参数，而固定住了训练数据量，这个做法其实是不对的，限度了 LLM 模型的后劲。然而它修改了两者的比例关系，认为训练数据量和模型参数是等同重要的，也就是说，假如用于训练 LLM 的算力总预算减少了 10 倍，那么应该减少 3.3 倍的模型参数量，3.3 倍的训练数据量，这样模型成果才最好。
这意味着：减少训练数据量的重要性，比咱们之前所认为的，还要重要。基于这个认知，DeepMind 在设计 Chinchilla 模型时，在算力调配上抉择了另外一种配置：对标数据量 300B、模型参数量 280B 的 Gopher 模型，Chinchilla 抉择减少 4 倍的训练数据，然而将模型参数升高为 Gopher 的四分之一，大概为 70B。然而无论预训练指标，还是很多上游工作指标，Chinchilla 成果都要优于规模更大的 Gopher。
这带给咱们如下启发：咱们能够抉择放大训练数据，并同比例地缩小 LLM 模型参数，以达到在不升高模型成果的前提下，极大放大模型规模的目标。放大模型规模有很多益处，比方在利用的时候，推理速度会快很多等，无疑这是一个很有前途的 LLM 倒退路线。
以上是从预训练阶段来看模型规模的影响，如果从 LLM 解决上游具体任务成果的角度来看，随着模型规模增大，不同类型的工作有不同的体现，具体而言，有以下三类状况。

第一类工作完满体现了 LLM 模型的 scaling law，就是说随着模型规模逐渐放大，工作的体现越来越好，如上图里的（a）图所示。这类工作通常合乎如下共性：它们往往都是常识密集型工作，也就是说如果 LLM 模型蕴含的常识量越多，这类工作体现越好。而很多钻研曾经证实越大的 LLM 模型学习效率越高，也就是说雷同训练数据量，模型越大工作成果越好，阐明面对的即便是同样的一批训练数据，更大的 LLM 模型绝对规模小一些的模型，从中学到了更多的常识。更何况个别状况下，在增大 LLM 模型参数的时候，往往会同步减少训练数据量，这意味着大模型能够从更多数据中学习更多的知识点。这些钻研能够很好地解释上图，为何随着模型规模增大，这些常识密集型的工作成果越来越好。大多数传统的自然语言了解类工作，其实都属于这种常识密集型工作，而很多工作在近两年取得了极大的成果晋升，甚至超过了人类体现。很显著，这大概率是 LLM 模型的规模增长带来的，而非归功于某项具体的技术改良。
第二类工作展现出 LLM 具备某种“涌现能力（Emergent Ability）”，如上图（b）所示。所谓“涌现能力”，指的是当模型参数规模未能达到某个阀值时，模型根本不具备解决此类工作的任何能力，体现为其性能和随机抉择答案成果相当，然而当模型规模跨过阀值，LLM 模型对此类工作的成果就呈现忽然的性能增长。也就是说，模型规模是解锁 (unlock)LLM 新能力的要害，随着模型规模越来越大，会逐步解锁 LLM 越来越多的新能力。这是个很神奇的景象，因为它意味着如下让人对将来可报乐观预期的可能：或者很多工作，目前 LLM 还不能很好地解决，甚至站在当初这个时刻的咱们看起来，LLM 齐全没有能力解决这类工作，但因 LLM 具备“涌现能力”，所以如果咱们持续推大模型，兴许某一天它的这项能力就被忽然解锁了。LLM 模型的规模增长会给咱们带来意想不到的精彩礼物。
“Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models”这篇文章指出，这类体现出“涌现能力”的工作也有一些共性：这些工作个别由多步骤形成，要解决这些工作，往往须要先解决多个两头步骤，而逻辑推理能力在最终解决这类工作中施展重要作用。思维链（Chain of Thought）Prompting 是典型的加强 LLM 推理能力的技术，能大幅晋升此类工作的成果，对于 CoT 技术，在随后大节内容会做解释，此处暂不开展。
问题是，为何 LLM 会呈现这种“涌现能力”景象呢？上述文章以及“Emergent Abilities of Large Language Models”给出了几个可能的解释：
一种可能解释是有些工作的评估指标不够平滑。比如说有些生成工作的判断规范，它要求模型输入的字符串，要和标准答案齐全匹配才算对，否则就是 0 分。所以，即便随着模型增大，其成果在逐渐变好，体现为输入了更多的正确字符片段，然而因为没有齐全对，只有有任何小谬误都给 0 分，只有当模型足够大，输入片段全副正确能力得分。也就是说，因为指标不够平滑，所以不能体现 LLM 其实正在逐渐改善工作成果这一事实，看起来就是“涌现能力”这种外在体现。
另外一种可能的解释是：有些工作由若干两头步骤形成，随着模型规模增大，解决每个步骤的能力也在逐渐加强，然而只有有一个两头步骤是错的，最终答案就是错的，于是也会导致这种外表的“涌现能力”景象。
当然，下面的解释目前还都是猜测，至于为何 LLM 会呈现这种景象，还须要进一步更深刻的钻研。

还有少部分工作，随着模型规模增长，工作的成果曲线展现出 U 形个性：随着模型规模逐步变大，工作成果逐步变差，然而当模型规模进一步增长，则成果开始越来越好，呈现出 U 形增长趋势，如上图所示的粉红色 PaLM 模型在两个工作上的指标走势。为何这些工作体现得如此非凡呢？“Inverse scaling can become U-shaped”这篇文章给出了一种解释：这些工作，外部其实隐含了两种不同类型的子工作，一种是真正的工作，另外一种是“烦扰工作（distractor task）”。当模型规模小的时候，无奈辨认任意一种子工作，所以模型的体现跟随机抉择答案差不多，当模型增长到中等规模的时候，次要执行的是烦扰工作，所以对真正的工作成果有负面影响，体现为真正工作成果的降落，而当进一步减少模型规模，则 LLM 能够疏忽烦扰工作，执行真正的工作，体现为成果开始增长。
对于那些随着模型规模增大，成果始终降落的工作，如果采纳思维链（CoT）Prompting，则局部工作的体现转换为遵循 Scaling law，即模型规模越大成果越好，而其它工作则转换为 U 性增长曲线。这其实侧面阐明了：此类工作应属于推理类型的工作，所以退出 CoT 后工作体现会产生质的变动。

04  人机接口：从 In Context Learning 到 Instruct 了解

个别咱们常常提到的人和 LLM 的接口技术包含：zero shot prompting、few shot prompting、In Context Learning，以及 Instruct。这些其实都是表白某个具体任务的形容形式。不过如果你看文献，会发现叫法比拟乱。
其中 Instruct 是 ChatGPT 的接口方式，就是说人以自然语言给出工作的形容，比方“把这个句子从中文翻译成英文”，相似这种。zero shot prompting 我了解其实就是当初的 Instruct 的晚期叫法，以前大家习惯叫 zero shot，当初很多改成叫 Instruct。只管是一个外延，然而具体做法是两种做法。晚期大家做 zero shot prompting，实际上就是不晓得怎么表白一个工作才好，于是就换不同的单词或者句子，重复在尝试好的工作表达方式，这种做法目前曾经被证实是在拟合训练数据的散布，其实没啥意思。目前 Instruct 的做法则是给定命令表述语句，试图让 LLM 了解它。所以只管外表都是工作的表述，然而思路是不同的。
而 In Context Learning 和 few shot prompting 意思相似，就是给 LLM 几个示例作为范本，而后让 LLM 解决新问题。我集体认为 In Context Learning 也能够了解为某项工作的形容，只是 Instruct 是一种形象的形容形式，In Context Learning 是一种例子示范的例子阐明法。当然，鉴于目前这几个叫法用的有点乱，所以上述了解仅代表集体认识。
所以咱们此处只对 In Context Learning 和 Instruct 进行介绍，不再提 zero shot 和 few shot 了。

4.1 神秘的 In Context Learning

如果你细想，会发现 In Context Learning 是个很神奇的技术。它神奇在哪里呢？神奇在你提供给 LLM 几个样本示例，而后给它，LLM 居然可能胜利预测对应的
。听到这你会反诘：这有什么神奇的呢？Fine-tuning 不就是这样工作的吗？你要这么问的话，阐明你对这个问题想得还不够深刻。

Fine-tuning 和 In Context Learning 外表看似都提供了一些例子给 LLM，但两者有质的不同（参考上图示意）：Fine-tuning 拿这些例子当作训练数据，利用反向流传去修改 LLM 的模型参数，而修改模型参数这个动作，的确体现了 LLM 从这些例子学习的过程。然而，In Context Learning 只是拿出例子让 LLM 看了一眼，并没有依据例子，用反向流传去修改 LLM 模型参数的动作，就要求它去预测新例子。既然没有修改模型参数，这意味着貌似 LLM 并未经验一个学习过程，如果没有经验学习过程，那它为何可能做到仅看一眼，就能预测对新例子呢？这正是 In Context Learning 的神奇之处。这是否让你想起了一句歌词：“只是因为在人群中多看了你一眼 再也没能忘掉你相貌”，而这首歌名叫“传奇”。你说传奇不传奇？
看似 In Context Learning 没从例子里学习常识，实际上，难道 LLM 通过一种奇怪的形式去学习？还是说，它的确也没学啥？对于这个问题的答案，目前仍是未解之谜。现有一些钻研各有各的说法，形形色色，很难判断哪个讲述的是事实的假相，甚至有些钻研论断还互相矛盾。这里提供几个目前的说法，至于谁对谁错，只能你本人把握了。当然，我认为谋求这个神奇景象背地的假相，是一个好的研究课题。试图证实 In Context Learning 没有从例子中学习的工作是“Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?”。它发现了：在提供给 LLM 的样本示例
中，是否对应的正确答案，其实并不重要，如果咱们把正确答案替换成随机的另外一个答案，这并不影响 In Context Learning 的成果。这起码阐明了一点：In Context Learning 并没有提供给 LLM 那个从映射到的映射函数信息：，否则的话你乱换正确标签，必定会扰乱这个 映射函数。也就是说，In Context Learning 并未学习这个输出空间到输入空间的映射过程。
真正对 In Context Learning 影响比拟大的是：和的散布，也就是输出文本的散布和候选答案有哪些，如果你扭转这两个散布，比方把替换成候选答案之外的内容，则 In Context Learning 成果急剧下降。
总之，这个工作证实了 In Context Learning 并未学习映射函数，然而输出和输入的散布很重要，这两个不能乱改。
有些工作认为 LLM 还是从给出的示例学习了这个映射函数，不过是种隐式地学习。比方“What learning algorithm is in-context learning? Investigations with linear models”认为 Transformer 可能隐式地从示例中学习 x 到 y 的映射过程，它的激活函数中蕴含了一些简略映射函数，而 LLM 通过示例可能激发对应的那一个。而“Why Can GPT Learn In-Context? Language Models Secretly Perform Gradient Descent as Meta-Optimizers”这篇文章则将 ICL 看作是一种隐式的 Fine-tuning。
总而言之，目前这还是一个未解之谜。
神奇的 Instruct 了解
咱们能够把 Instruct 当作一种不便人类了解的工作表述，在这个前提下，目前对于 Instruct 的钻研能够分成两种：偏学术研究的 Instruct，以及对于人类实在需要形容的 Instruct。

咱们先来看第一种：偏学术研究的 Instruct。它的外围钻研主题是多任务场景下，LLM 模型对 Instruct 了解的泛化能力。如上图中 FLAN 模型所示，就是说有很多 NLP 工作，对于每个工作，钻研人员结构一个或者多个 Prompt 模版作为工作的 Instruct，而后用训练例子对 LLM 模型进行微调，让 LLM 以同时学习多个工作。训练好模型后，给 LLM 模型一个它没见过的全新工作的 Instruct，而后让 LLM 解决 zero shot 工作，从工作解决得是否足够好，来判断 LLM 模型是否有对 Instruct 了解的泛化能力。
如果演绎下目前的钻研论断（可参考“Scaling Instruction-Fine-tuned Language Models”/“Super-NaturalInstructions: Generalization via Declarative Instructions on 1600+ NLP Tasks”），可能无效减少 LLM 模型 Instruct 泛化能力的因素包含：减少多任务的工作数量、减少 LLM 模型大小、提供 CoT Prompting，以及减少工作的多样性。如果采取任意一项措施，都能够减少 LLM 模型的 Instruct 理解能力。
第二种是人类实在需要下的 Instruct，这类钻研以 InstructGPT 和 ChatGPT 为代表。这类工作也是基于多任务的，然而和偏差学术研究类工作最大的不同，在于它是面向人类用户实在需要的。为什么这么说呢？因为它们用于 LLM 多任务训练的工作形容 Prompt，是从大量用户提交的实在申请中抽样而来的，而不是固定好钻研工作的范畴，而后让钻研人员来写工作形容 prompt。这里所谓的“实在需要”，体现在两个方面：首先，因为是从用户提交的工作形容里随机抽取的，所以涵盖的工作类型更多样化，也更合乎用户的实在需要；其次，某个工作的 prompt 形容，是用户提交的，体现了个别用户在表白工作需要时会怎么说，而不是你认为用户会怎么说。很显著，这类工作改进去的 LLM 模型，用户体验会更好。InstructGPT 论文里，也拿这种办法和 FLAN 那种 Instruct based 办法做了比拟。首先在 GPT3 上用 FLAN 提到的工作、数据以及 Prompt 模版进行微调，来在 GPT 3 上复现 FLAN 办法，而后和 InstructGPT 进行比拟，因为 InstructGPT 的根底模型也是 GPT3，所以只有数据和办法的差异，两者可比，后果发现 FLAN 办法的成果，间隔 InstructGPT 有很大的差距。那么背地的起因是什么呢？论文剖析数据后认为，FLAN 办法波及到的工作畛域绝对少，是 InstructGPT 波及畛域的子集，所以成果不好。也就是说，FLAN 论文里波及到的工作和用户实在需要是不符的，而这导致在实在场景下成果不够好。而这对咱们的启发是：从用户数据中收集实在需要，这事件是很重要的。
In Context Learning 和 Instruct 的分割
如果咱们假如 In Context Learning 是用一些例子来具象地表白工作命令，Instruct 是一种更合乎人类习惯的形象工作形容。那么，一个很天然的问题是：它们之间有什么分割吗？比方，咱们是否可能提供给 LLM 实现某个工作的若干具体示例，让 LLM 找出其对应的自然语言形容的 Instruct 命令？

目前有零星的工作在摸索这个问题，我认为这个方向是很有钻研价值的。先说答案，答案是：Yes，LLM Can。“Large Language Models Are Human-Level Prompt Engineers”是做这个方向很乏味的工作，如上图所示，对于某项工作，给 LLM 一些示例，让 LLM 主动生成可能形容这项工作的自然语言命令，而后它再用 LLM 生成的工作形容去测试工作成果。它应用的根底模型是 GPT 3 和 InstructGPT，通过这项技术加持后，LLM 生成的 Instruct 的成果相比未采纳这项技术的 GPT 3 以及 InstuctGPT 来说，指标有极大地晋升，而且在一些工作上超过人类的体现。
这阐明了：具象的工作示例和工作的自然语言形容之间，有种神秘的内在联系。至于这种分割到底是什么？咱们目前对此还无所不知。

05  智慧之光：如何加强 LLM 的推理能力

目前很多钻研已证实 LLM 对于常识具备弱小的记忆能力，然而，个别咱们不会因为一个人记忆能力强，就说这人很聪慧，是否具备弱小的推理能力，往往是咱们判断一个人是否聪慧的重要规范。相似的，如果 LLM 的成果想让人感觉很惊艳，弱小的推理能力是必备的。推理能力实质上是综合使用很多相干知识点，去推导出新常识或新论断。对于 LLM 的推理能力，是最近一年来 LLM 里最重要和热门的钻研畛域之一。于是，咱们关怀的问题就是：LLM 具备推理能力吗？如果具备，那么它的推理能力够强吗？
这两个问题目前的答案仿佛应该是：当模型规模足够大的时候，LLM 自身是具备推理能力的，在简略推理问题上，LLM 曾经达到了很好的能力，然而简单推理问题上，还须要更多深刻的钻研。
如果梳理现有 LLM 推理相干工作的话，我把它们归到两大类，体现出开掘或促成 LLM 推理能力不同的技术思路：第一类钻研比拟多，能够统称为基于 Prompt 的办法，核心思想是通过适合的提醒语或提醒样本，更好地激发出 LLM 自身就具备的推理能力，Google 在这个方向做了大量很有功效的工作。第二类做法是在预训练过程中引入程序代码，和文本一起参加预训练，以此进一步加强 LLM 的推理能力，这应该是 OpenAI 实际出的思路。比方 ChatGPT 必定具备很强的推理能力，但它并不要求用户必须提供一些推理示例，所以 ChatGPT 弱小的推理能力，大概率来源于应用代码参加 GPT 3.5 的预训练。
这两种思路其实大方向是迥异的：利用代码加强 LLM 推理能力，这体现出一种通过减少多样性的训练数据，来间接加强 LLM 推理能力的思路；而基于 Prompt 的办法，它并不会促成 LLM 自身的推理能力，只是让 LLM 在解决问题过程中更好地展现出这种能力的技术办法。能够看出，前者（代码办法）治标，后者治本。当然，两者其实也是互补的，但从长远看，治标的办法更重要。

5.1 基于 Prompt 的办法

这方面工作十分多，如果演绎一下的话，大抵能够分为三条技术路线。

第一种思路是间接在问题上追加辅助推理 Prompt。这种办法简略间接，但在泛滥畛域都很无效。这个做法是由“Large language models are zero-shot reasoners”提出的，也被称为 zero-shot CoT。具体而言，分为两个阶段（如上图所示），第一阶段在发问的问题上追加“Let’s think step by step”这句提醒语，LLM 会输入具体的推理过程；第二阶段，在第一阶段的问题后，拼接 LLM 输入的具体推理过程，并再追加 Prompt=“Therefore, the answer (arabic numerals) is”，此时 LLM 会给出答案。如此简略的操作，却能够大幅减少 LLM 在各项推理工作中的成果，比方在数学推理测试集 GSM8K 上，加上提醒语后，推理准确率间接从原先的 10.4% 晋升到了 40.4%，堪称神奇。
为什么 LLM 会具备给一句“Let’s think step by step”提醒语，就能列出具体的推理步骤并算出答案呢？其起因目前尚无定论，我的猜想是：很可能因为预训练数据外面存在大量的此种数据，就是以“Let’s think step by step”结尾，而后前面是具体的推理步骤，最初给出答案，而 LLM 在预训练的时候记住了这些模式。而当咱们输出这个提醒语的时候，激发 LLM 含糊得“回顾”起某些例子的推导步骤，于是即可模拟这些例子进行步骤推理并给出答案。当然这只是我的无根据推论，若事实真的如此，如果你看过前面介绍的规范 CoT 做法，会发现 Zero-shot CoT 实质上和规范 CoT 很可能没什么区别，只是规范 CoT 由人工来写推理步骤的示例，而 Zero-shot CoT 大概率是通过提醒语，激活了记忆中的某些蕴含推理步骤的示例，很可能是如此区别。而规范 CoT 成果比 Zero-Shot CoT 成果好也齐全能够了解，因为毕竟靠 LLM 回顾示例，精准性预计不会太高，而人工给出的示例，准确性是有保障的，所以天然规范 CoT 成果会更好。
这侧面阐明了一个情理，就是 LLM 自身是具备推理能力的，只是咱们没有方法把它的这种能力激发进去而已，通过适合的提醒语来进行两步提醒，就在肯定水平上能够开释出它的这种后劲。另外，对于中文，很可能存在另外一个黄金提醒语，比方“具体解题思路如下”，相似这种，因为中文语料在解说推理步骤的时候，常常用的疏导句和“让咱们一步一步来思考”应该是不同的，这是显著的东方说法，而摸索出这个中文黄金提醒语，其实也是很有必要的。
第二种思路个别被称为基于示例的思维链（few-shot CoT,Chain of Thought）Prompting。这个方向目前是 LLM 推理钻研的主方向，很多工作都是在这个思路上做的，咱们简略介绍几个效果显著的代表性工作，根本能代表 CoT 的技术倒退方向。

CoT 的主体思维其实很直白；为了教会 LLM 模型学会推理，给出一些人工写好的推理示例，示例里把失去最终答案前，一步步的具体推理步骤说分明，而这些人工写的具体推理过程，就是思维链 Prompting，具体例子可参照上图中蓝色文字局部。CoT 的意思是让 LLM 模型明确一个情理；就是在推理过程中，步子不要迈得太大，否则很容易出错，扭转思维模式，化大问题为小问题，步步为营，积小胜为大胜。最早明确提出 CoT 这个概念的文章是“Chain of thought prompting elicits reasoning in large language models”，论文公布于 22 年 1 月份，尽管做法很简略，然而利用 CoT 后 LLM 模型的推理能力失去了微小晋升，GSM8K 数学推理测试集准确率进步到 60.1% 左右。当然，这种给出具体推理步骤和两头过程的思维，并非 CoT 最早提出的，更早一些的“scratchpad”技术（可参考：Show Your Work: Scratchpads for Intermediate Computation with Language Models）首先采纳了相似的思路。

CoT 提出不久，很快在 22 年 3 月份，一项被称为“Self-Consistency”的改良技术就将 GSM8K 测试集准确率进步到 74.4%，提出这项改良的论文是“Self-Consistency Improves Chain of Thought Reasoning in Language Models”。“Self-Consistency”的思路也很直观（参考上图）：首先能够利用 CoT 给出几个写了推理过程的示例，而后要求 LLM 对给定的问题进行推理，如果是 CoT，间接输入一个推理过程和答案，整个过程就完结了。“Self-Consistency”则不然，它要求 LLM 输入多个不同的推理过程和答案，而后采纳投票的形式选出最佳答案，思路非常简单间接，然而成果也的确好。“Self-Consistency”其实是教诲 LLM 学会这么一个情理：孔乙己说过茴香豆的“茴”字有四种写法，相似的，一个数学题的正确解法也能够有很多种，每个不同的推导过程都指向最终的答案。条条大路通罗马，虽说也有个别迷路走到北京的，然而迷路的毕竟是多数，看看大多数人走到哪里，哪里就是正确答案。简略的办法往往蕴含着粗浅的哲学含意，是不是这情理？
再往后，“On the Advance of Making Language Models Better Reasoners”这个工作在“Self-Consistency”根底上，进一步集成了“从一个 Prompt 问题拓展到多个 Prompt 问题、查看推理两头步骤的正确性以及对多个输入的答复加权投票”这三个改良点，将 GSM8K 测试集准确率进步到 83% 左右。

第三种思路体现了一种分治算法的思维。当然这个所谓“分治”是我演绎的，他人没这么说。这种思路的核心思想是：对于一个简单的推理问题，咱们把它分解成若干容易解决的子问题，一一解决掉子问题后，咱们再从子问题的答案推导简单问题的答案。你看这的确比拟相似分治算法的思维吧。我集体感觉，这种思路可能才是揭示问题实质、最终解决 LLM 简单推理问题正宗的路线。咱们以“Least-to-most prompting”技术为例来阐明这种思路的一种具体实现形式，如上图所示：它分为两个阶段，第一个阶段，从原始问题咱们能够得悉最终要问的问题是什么，咱们假如最终问题是 Final Q，而后从原始问题填充 Prompt 模版：“如果要解决 Final Q 问题，那么我须要先解决”，而后把原始问题和这个 Prompt 交给 LLM，让 LLM 模型给出答案，等于让 LLM 给出最终问题的前置子问题 Sub Q；接下来咱们进入第二个阶段，让 LLM 先答复方才拿到的子问题 Sub Q，并拿到对应的答案，而后原始问题拼接子问题 Sub Q 及对应答案，再去问 LLM 最终那个问题 Final Q，此时 LLM 会给出最初的答案。如此这般，体现出拆解子问题，并从子问题的答案逐渐找出最终答案的思路。

5.2 代码预训练加强 LLM 推理能力

以上是目前利用 Prompt 激发 LLM 模型推理能力的三种支流做法，而对于 LLM 的推理能力，目前还察看到一个乏味且费解的景象：除了文本外，如果可能退出程序代码一起参加模型预训练，则能大幅晋升 LLM 模型的推理能力。这个论断从不少论文的试验局部都能够得出（能够参考：AUTOMATIC CHAIN OF THOUGHT PROMPTING IN LARGE LANGUAGE MODELS/Challenging BIG-Bench tasks and whether chain-of-thought can solve them 等论文的试验局部）。

上图给出了一份试验数据，来自于论文“On the Advance of Making Language Models Better Reasoners”，其中 GPT3 davinci 就是规范的 GPT 3 模型，基于纯文本训练；code-davinci-002（OpenAI 外部称为 Codex）是同时在 Code 和 NLP 数据上训练的模型。如果比拟两者成果，能够看出，不管采纳具体哪种推理方法，仅仅是从纯文本预训练模型切换到文本和 Code 混合预训练模型，在简直所有测试数据汇合上，模型推理能力都失去了微小的成果晋升，比方咱们以“Self Consistency”办法为例，在大多数据汇合上的性能晋升，都间接超过了 20 到 50 个百分点，这是很恐怖的性能晋升，而其实在具体推理模型层面，咱们什么也没做，仅仅是预训练的时候除了文本，额定退出了程序代码而已。
除了这个景象，从上图数据中，咱们还能够得出其它一些论断，比方 GPT 3 这种纯文本预训练模型，其实是具备相当程度的推理能力的，除了在 GSM8K 这种数学推理上成果比拟差外，其它推理数据数据汇合体现也还能够，前提你须要采纳适合的办法，来激发出它自身就具备的这种能力；再比方，text-davinci-002，也就是在 code-davinci-002 根底上退出 instruct fine-tuning 后的模型（就是退出 InstructGPT 或 ChatGPT 模型的第一步），其推理能力要弱于 Codex，然而有其它钻研表明它在自然语言解决工作又要强于 Codex。而这貌似阐明了，退出 instruct fine-tuning，会侵害 LLM 模型的推理能力，然而会在肯定水平上晋升自然语言理解能力。而这些论断其实都是很有意思的，也能启发后续进一步的思考和摸索。
那么，一个天然的疑难是：为何预训练模型能够从代码的预训练中取得额定的推理能力？确切起因目前未知，值得深刻摸索。我猜想可能是因为原始版本的 Codex（只应用代码训练，可参考文献：Evaluating Large Language Models Trained on Code）的代码训练是从文本生成代码，而且代码中往往蕴含很多文本正文，实质上这相似于预训练模型做了 < 文本,Code> 两种数据的多模态对齐工作。而数据中必然蕴含相当比例的数学或逻辑问题的代码、形容和正文，很显著这些数学类或逻辑推理类的数据，对于解决上游数学推理问题是有帮忙的，我猜大概率起因在此。

5.3 对于 LLM 推理能力的思考

下面介绍了 LLM 推理的支流技术思路和现有的一些论断，接下来谈谈我对 LLM 模型推理技术的思考，以下内容纯集体推断，没有太多证据，还请审慎参考。我的判断是：尽管最近一年来，对于激发 LLM 的推理能力，这方面的技术停顿很快，也获得了很大的技术提高，然而总体感觉是，咱们可能走在正确的方向上，然而间隔接触到真正的问题实质还有一段距离，对此要有更深刻的思考和摸索。
首先，我比拟同意上述分治算法的主体思路，对于简单的推理问题，咱们应该把它拆解成若干简略的子问题，因为子问题对于 LLM 来说答复正确的概率就大很多，让 LLM 一一答复子问题后，再逐渐推导出最终答案。受到“Least-to-most prompting”技术的启发，如果进一步思考，我感觉 LLM 推理实质上很可能会是如下两种可能的其中之一：一直和 LLM 进行交互的图上推理问题，抑或是一直和 LLM 进行交互的程序流程图执行问题。

先说图上推理问题，如上图所示，假如咱们有方法可能把简单问题拆解成由子问题或者子步骤形成的图构造，图中的节点是子问题或者子步骤，图中的边代表了子问题之间的依赖关系，就是说只有答复好子问题 A，能力答复子问题 B，而且图中大概率存在循环构造，就是重复做某几个子步骤。假如咱们可能失去上述的子问题拆解图，那么能够依据依赖关系，疏导 LLM 一步一步依照图构造，答复必须首先答复的子问题，直到推导出最终答案。

再说程序流程图问题，参考上图，假如咱们有方法把简单问题拆解成子问题或子步骤，并产生一个由子步骤形成的相似程序流程图的构造，在这个构造里，有些步骤会重复执行屡次（循环构造），有些步骤的执行须要进行条件判断（条件分支）。总而言之，在执行每个子步骤的时候和 LLM 进行交互，失去子步骤的答案，而后依照流程一直执行，直到输入最终答案。相似这种模式。假如这个思路大抵正确的话，兴许能够从这个角度来解释为何退出代码会加强预训练模型的推理能力：大概率因为 < 文本，代码 > 的多模态预训练模型，在模型外部是通过相似这种隐含的程序流程图作为两个模态的桥梁，将两者分割起来的，即由文本形容到隐含的流程图，再映射到由流程图产生具体的代码。也就是说，这种多模态预训练，能够加强 LLM 模型从文本构建出隐含的流程图并依照流程图执行的能力，也就是增强了它的推理能力。
当然，上述思路最大的问题是，咱们如何依据文本形容的问题，可能靠 LLM 模型，或者其它模型，失去图构造或者流程图构造？这个可能是其中的难点。一种可能的思路就相似持续加强文本和更高质量的代码预训练，走隐式学习外部隐含构造的办法。而目前的 CoT 技术，如果套到上述思路来思考的话，能够这么了解：规范 CoT，其实就是靠自然语言文原本形容图构造或者程序流程图的；而“Least-to-most prompting”技术，则是试图依据最初一个图节点，靠倒推来试图推导出其中的图构造，然而很显著，目前的办法限度了它倒推的深度，也就是说它只能推导出非常简单的图构造，这正是限度它能力的所在。

06  将来之路：LLM 钻研趋势及值得钻研的重点方向

这里列出一些我集体认为比拟重要的 LLM 钻研畛域，或值得深刻摸索的钻研方向。

6.1 摸索 LLM 模型的规模天花板

只管持续推大 LLM 模型的规模，这事看似没有技术含量，然而其实这个事件异样重要。我集体判断，自从 Bert 呈现以来，到 GPT 3，再到 ChatGPT，大概率这些给人印象粗浅的关键技术冲破，外围奉献都来自于 LLM 模型规模的增长，而非某项具体技术。说不定，揭开 AGI 真正的钥匙就是：超大规模及足够多样性的数据、超大规模的模型，以及充沛的训练过程。再者，做超大规模的 LLM 模型，对技术团队的工程实现能力要求是十分高的，也不能认为这事件不足技术含量。
那么持续推大 LLM 模型规模，有什么钻研意义呢？我感觉有两方面的价值。首先，如上所述，咱们已知，对于常识密集型的工作，随着模型规模越大，各种工作的成果会越来越好；而对很多推理类型的有难度的工作，加上 CoT Prompting 后，其成果也呈现出遵循 Scaling law 的趋势。那么，很天然的一个问题就是：对于这些工作，LLM 的规模效应，能将这些工作解决到何种水平？这是包含我在内，很多人关怀的问题。其次，思考到 LLM 具备的神奇的“涌现能力”，如果咱们持续减少模型规模，它会解锁哪些让咱们意想不到的新能力呢？这也是很有意思的问题。思考到以上两点，咱们依然须要一直增大模型规模，看看模型规模对解决各类工作的天花板在哪里。
当然，这种事件也就只能说说，对 99.99% 的从业者来说，是没有机会和能力做这个事件的。要做这个事件，对钻研机构的财力及投入志愿、工程能力、技术激情，都有极高的要求，缺一不可。能做这事件的机构，粗估下来，国外不超过 5 家，国内不超过 3 家。当然，思考到老本问题，将来兴许会呈现“股份制大模型”，就是有能力的几家机构单干，集思广益，一起来共建超级大模型的景象。

6.2 加强 LLM 的简单推理能力

正如之前对 LLM 推理能力的叙述，只管 LLM 在最近一年推理能力失去了很大的晋升，然而很多钻研（参考：Limitations of Language Models in Arithmetic and Symbolic Induction/Large Language Models Still Can’t Plan）表明，目前 LLM 可能解决得比拟好的推理问题，往往都绝对简略，LLM 的简单推理能力依然单薄，比方即便是简略的字符拷贝推理或者加减乘除运算，当字符串或者数字十分长的时候，LLM 推理能力会极速降落，再比方行为布局能力等简单推理能力很弱。总而言之，增强 LLM 的简单推理能力，应该是 LLM 将来钻研中最重要的环节之一。
前文有述，退出代码退出预训练，这是一种间接加强 LLM 推理能力的方向。这个方向目前钻研尚显有余，更像是实践经验的总结，摸索背地的原理，并进而引入更多类型除代码外的新型数据来加强 LLM 的推理能力，这可能是更实质晋升推理能力的方向。

6.3 LLM 纳入 NLP 之外更多其它钻研畛域

目前的 ChatGPT 善于 NLP 和 Code 工作，作为通向 AGI 的重要种子选手，将图像、视频、音频等图像与多模态集成进入 LLM，乃至 AI for Science、机器人管制等更多、差异化更显著的其它畛域逐渐纳入 LLM，是 LLM 通往 AGI 的必经之路。而这个方向才刚刚开始，因而具备很高的钻研价值。

6.4 更易用的人和 LLM 的交互接口

如前所述，ChatGPT 的最大技术奉献即在此。然而很显著，目前的技术并不完满，必定还有很多命令 LLM 了解不了。所以，沿着这个方向，寻找更好的技术，来让人类应用本人习惯的命令表达方式，而 LLM 又能听懂，这是个新的，且十分有前景的技术方向。

6.5 建设高难度的综合工作评测数据集

好的评测数据集，是疏导技术不断进步的基石。随着 LLM 模型逐渐增大，工作成果疾速晋升，导致很多规范测试集疾速过期。也就是说，这些数据汇合绝对现有技术来说，太容易了，在没有难度的测试汇合下，咱们不晓得目前技术的缺点和盲点在哪里。所以构建高难度的测试汇合，是促成 LLM 技术提高的关键所在。
目前行业应呈现了一些新的测试集，有代表性的包含 BIGBench、OPT-IML 等。这些测试集合体现出一些个性，比方绝对 LLM 现有技术具备肯定的难度、综合了各种各样多种类型的工作等。
受到 ChatGPT 的启发，我感觉除此外应纳入另一思考因素：体现实在用户需要。就是说，这些工作的表述由用户实在发动，这种形式构建进去的 LLM 模型，能力解决用户理论需要。
除此外，置信 LLM 会疾速将能力溢出到 NLP 之外的畛域，而如何融入更多其它畛域的评测数据，也是须要提前去思考。

6.6 高质量数据工程

对于预训练模型来说，数据是其基本，预训练过程能够了解为从数据中汲取其中所蕴含常识的过程。因而，咱们须要进一步增强对高质量数据的开掘、收集及荡涤等工作。
对于数据，须要思考两个方面：数据的品质和数量。而依据 T5 的比照试验，咱们能够得出结论：在数量和品质两个因素里，品质优先，正确的路线应该是在保证数据品质的前提下，再去增大数据规模。
数据品质，包含数据的信息含量以及数据的多样性等多个衡量标准，比方 Wiki 显著就属于世界常识密度极高的高质量数据，这是从信息含量来说的；而减少数据类型的多样性，无疑是激发 LLM 各种新能力的基本，比方退出问答网站的数据，对于 LLM 的 QA 能力晋升是有间接帮忙的。多样化的数据赋予了 LLM 更好解决更多不同类型工作的能力，所以，这可能是数据品质里最要害的规范。
对于数据数量，原则上互联网上公开公布的数据都能够纳入 LLM 模型的预训练过程。那么，它的极限在哪里？“Will we run out of data? An analysis of the limits of scaling datasets in Machine Learning”对此进行了估算，论断是到 2026 年左右，高质量的 NLP 数据将会用光，低质量 NLP 数据会在 2030 到 2050 年用光，而低质量图像数据会在 2030 到 2060 年用光。而这意味着：要么到时咱们有新类型的数据源，要么咱们必须减少 LLM 模型对数据的利用效率。否则，目前这种数据驱动的模型优化形式将会进行提高，或者收益缩小。

6.7 超大 LLM 模型 Transformer 的稠密化

目前规模最大的 LLM 中，有相当比例的模型采取了稠密（Sparse）构造，比方 GPT 3、PaLM、GLaM 等，GPT 4 大概率也会走稠密模型路线。之所以采纳 Sparse 化的模型，次要益处是它能够极大缩小 LLM 的训练工夫和在线推理工夫。Switch Transformer 论文里指出：在雷同算力估算的前提下，应用稠密化 Transformer，绝对 Dense Transformer，LLM 模型的训练速度能够晋升 4 倍到 7 倍。为何 Sparse 模型能够放慢训练和推理工夫呢？这是因为只管模型参数微小，然而对于某个训练实例，Sparse 模型通过路由机制，只应用整个参数中的一小部分，参加训练和推理的沉闷参数量比拟少，所以速度快。
我认为将来超大的 LLM 模型大概率会收敛到稠密模型。次要有两个起因：一方面，现有钻研表明（参考：Large Models are Parsimonious Learners: Activation Sparsity in Trained Transformers），规范的 Dense Transformer 在训练和推理时，它自身也是稠密激活的，就是说只有局部参数会被激活，大部分参数没有参加训练和推理过程。既然这样，咱们不如间接迁徙到稠密模型；另外，毫无疑问 LLM 模型的规模会持续推大，而昂扬的训练老本是障碍其进一步扩充模型的重要阻力，应用稠密模型能够极大升高超大模型的训练老本，所以随着模型规模越大，稠密模型带来的收益越显著。思考到这两个方面，大概率将来更大的 LLM 模型会采纳稠密模型计划。
那为何目前其它大规模模型不走稠密模型的路线呢？因为 Sparse 模型存在训练不稳固、容易过拟合等问题，不太容易训练好。所以，如何修改稠密模型面临的问题，设计出更容易训练的稠密模型，是很重要的将来钻研方向。

07  取经之路：复刻 ChatGPT 时要留神些什么

如果心愿能复刻相似 ChatGPT 这种成果令人惊艳的 LLM 模型，综合目前的各种钻研论断，在做技术选型时须要重点衡量如下问题：
首先，在预训练模式上，咱们有三种抉择：GPT 这种自回归语言模型，Bert 这种双向语言模型，以及 T5 这种混合模式 (Encoder-Decoder 架构，在 Encoder 采取双向语言模型，Decoder 采取自回归语言模型，所以是一种混合结构，但其本质仍属于 Bert 模式)。咱们应抉择 GPT 这种自回归语言模型，其起因在本文范式转换局部有做剖析。目前看，国内 LLM 在做这方面技术选型的时候，貌似很多都走了 Bert 双向语言模型或 T5 混合语言模型的技术路线，很可能方向走偏了。
第二，弱小的推理能力是让用户认可 LLM 的重要心理根底，而如果心愿 LLM 可能具备弱小的推理能力，依据目前教训，最好在做预训练的时候，要引入大量代码和文本一起进行 LLM 训练。至于其中的情理，在本文后面相干局部有对应剖析。
第三，如果心愿模型参数规模不要那么微小，但又心愿成果依然足够好，此时有两个技术选项可做配置：要么加强高质量数据收集、开掘、清理等方面的工作，意思是我模型参数能够是 ChatGPT/GPT 4 的一半，然而要想达到相似的成果，那么高质量训练数据的数量就须要是 ChatGPT/GPT 4 模型的一倍（Chinchilla 的路子）；另外一个能够无效减小模型规模的路线是采取文本检索（Retrieval based）模型 +LLM 的路线，这样也能够在成果相当的前提下，极大缩小 LLM 模型的参数规模。这两个技术选型不互斥，反而是互补的，也即是说，能够同时采取这两个技术，在模型规模绝对比拟小的前提下，达到超级大模型相似的成果。
第四，超级大模型因为模型规模大，所以训练老本过高，导致很少有机构有能力去做这件事。而且由上文剖析可见，持续一直推大 LLM 模型规模是必定会产生、也应该去做的事件。于是，如何通过技术手段升高 LLM 的训练老本就很重要。LLM 的特色抽取器 Sparse 化是无效升高模型训练及推理老本的技术抉择。由此可见，随着模型越来越大，LLM 模型 Sparse 化是一个应该思考的选项。
第五，ChatGPT 是目前最靠近现实 LLM 的技术计划，而现实中的 LLM 应该是以一个简直无所不能的根底通用大模型作为依靠，来反对各种各样的下层工作类型。目前看，反对越来越多的工作类型，次要是通过减少 LLM 预训练数据的多样性来达成的，数据多样性越好，LLM 可能反对的工作类型就越丰盛。所以，应该器重通过减少数据多样性来减少 LLM 新能力的思路。
第六，易用的人机操作接口。人类用他们本人习惯的表达方式来形容工作，而 LLM 要可能了解这些 Instruct 的实在含意。另外，也要留神这些 Instruct 是合乎人类实在需要的，就是说，要从最终用户那里收集工作表述形式，而不能靠研发人员本人的臆想或猜想。ChatGPT 给我最大的启发其实是这一点，至于是否用加强学习我倒感觉不重要，其它代替技术应该也能做相似的事件。

08  ChatGPT: 为什么是 OpenAI

为什么是 OpenAI 作出了 ChatGPT，而不是其它机构呢？咱们在这里能够做个简略剖析。
在本文结尾，咱们提到了 OpenAI 对待 LLM 的理念。OpenAI 是怎么对待 LLM 的呢？回顾它一直推出的技术，能够看出，它其实从 GPT 1.0 开始，根本就动摇地把 LLM 看做是通往 AGI 的一条必由之路。具体而言，在 OpenAI 眼中，将来的 AGI 应该长这个样子：有一个工作无关的超大型 LLM，用来从海量数据中学习各种常识，这个 LLM 以生成所有的形式，来解决各种各样的理论问题，而且它应该能听懂人类的命令，以便于人类应用。其实对 LLM 倒退理念的了解，在前半部分，就是“构建一个工作无关的超大型 LLM，让它从海量数据中学习各种常识”，这一点简直是大家的共识，能体现出 OpenAI 眼光的其实是后半局部。
OpenAI 的理念比拟超前，对自我定位从一开始就定得比拟高，始终坚韧不拔地摸索上述形式是否能够实现 AGI。OpenAI 之所以能作出 ChatGPT，胜在一个是定位比拟高，另一个是不受外界烦扰，态度上坚韧不拔。
咱们能够回顾下它走的一些要害途程：GPT 1.0 走的是生成模式的自回归语言模型路线，比 Bert 进去的还早些。Bert 证实了：双向语言模型对于很多 NLP 了解类工作，成果比自回归这种单向语言模型成果更好。尽管如此，GPT 2.0 并没有因而切换到双向语言模型这条路上，依然走文本生成的路，而且开始尝试零示例（zero shot）prompt 和大量示例（few shot）prompt。其实这时候，OpenAI 心目中的 AGI 曾经开始浮出水面，逐步显示出轮廓了。只是因为 zero shot/few shot 成果比 Bert+fine-tuning 差的比拟远，所以大家都没太当回事，甚至不了解它为什么要始终保持走单向语言模型的路线。这个时候，我预计即便是 OpenAI 本人，也不肯定能确保这条路必定能走通。
然而，这不障碍它持续在这条路上往后走。GPT 3.0 曾经展现出了比拟弱小的 zero shot/few shot prompt 能力，这时候 OpenAI 心目中的 AGI 曾经齐全漏出水面，轮廓清晰，而且它的成果也证实了这条路，是有较大可能走得通的。GPT 3.0 是一个决定 LLM 倒退方向的叉路口和分水岭，与之对应的另外一条路是“Bert+fine-tuning”模式。在这个岔路口，不同的从业者抉择走上了不同的路线，前面的技术差距也是从这里开始拉开的。很遗憾地是，国内很多从业者抉择持续在“Bert+fine-tuning”这条路上往后走，这也是造成明天落后场面的一个要害工夫节点。再往后，就是 InstructGPT 和 ChatGPT 了，OpenAI 通过 ChatGPT 证实了一点；尽管咱们间隔真正的 AGI，可能还有很长的路要走，然而通过超大 LLM 走向 AGI 这条路，目前看是可行的。
1、举荐 -《ChatGPT 调研报告》- 哈尔滨工业大学
2、万字拆解！追溯 ChatGPT/GPT3.5 各项能力的起源
3、复旦邱锡鹏：深度分析 ChatGPT 类大语言模型的关键技术
4、书籍举荐 -《深度学习及其在 NLP 和语音辨认中的利用》
5、为什么检测人工智能生成的文本如此艰难
6、一文读懂 chatGPT 模型原理（无公式）