关于深度学习:ChatGPT进化的秘密

2次阅读

共计 12991 个字符，预计需要花费 33 分钟才能阅读完成。

本文作者，符尧 yao.fu@ed.ac.uk，爱丁堡大学 (University of Edinburgh) 博士生，本科毕业于北京大学，与彭昊，Tushar Khot 在艾伦人工智能研究院 (Allen Institute for AI) 共同完成英文原稿，与剑桥大学郭志江独特翻译为中文，感激上海交通大学何俊贤，加州大学洛杉矶分校鲁盼，达特茅斯学院刘睿博对初稿的探讨与倡议。感激 Raj Ammanabrolu (Allen Institute for AI), Peter Liu (Google Brain), Brendan Dolan-Gavitt (New York University), Denny Zhou (Google Brain) 对终稿的探讨和倡议，他们的倡议极大水平上减少了本文的残缺度。英文版原文：https://franxyao.github.io/bl…

最近，OpenAI 的预训练模型 ChatGPT 给人工智能畛域的钻研人员留下了粗浅的印象和启发。毫无疑问，它又强又聪慧，且跟它谈话很好玩，还会写代码。它在多个方面的能力远远超过了自然语言解决研究者们的预期。

于是，咱们天然就有一个问题：ChatGPT 是怎么变得这么强的？它的各种弱小的能力到底从何而来？

在这篇文章中，咱们试图分析 ChatGPT 的突现能力（Emergent Ability），追溯这些能力的起源，心愿可能给出一个全面的技术路线图，来阐明 GPT-3.5 模型系列以及相干的大型语言模型是如何一步步进化成目前的弱小状态。

咱们心愿这篇文章可能促成大型语言模型的透明度，成为开源社区共同努力复现 GPT-3.5 的路线图。

致国内的同胞们：

在国内学术界看来，ChatGPT / GPT-3.5 是一种划时代的产物，它与之前常见的语言模型 (Bert/ Bart/T5) 的区别，简直是导弹与弓箭的区别，肯定要引起最高水平的器重。
在我跟国内同行的交换中，国内上的支流学术机构 (如斯坦福大学，伯克利加州大学) 和支流业界研究院（如谷歌大脑，微软研究院）都曾经全面拥抱大模型。
在以后这个阶段，国内的技术水准、学术视线、治学理念和国内前沿的差距仿佛并没有缩小，反而正在扩充，如果现状继续上来，极有可能呈现技术断代。
此诚危急存亡之秋。

多年当前，面对行刑队，奥雷里亚诺·布恩迪亚上校将会回想起父亲带他去见识冰块的那个边远的下午。——《百年孤独》加西亚·马尔克斯

1

初代 GPT- 3 展现了三个重要能力：

语言生成：遵循提醒词（prompt），而后生成补全提醒词的句子 (completion)。这也是明天人类与语言模型最广泛的交互方式。
上下文学习 (in-context learning): 遵循给定工作的几个示例，而后为新的测试用例生成解决方案。很重要的一点是，GPT- 3 尽管是个语言模型，但它的论文简直没有谈到“语言建模”(language modeling) —— 作者将他们全副的写作精力都投入到了对上下文学习的愿景上，这才是 GPT- 3 的真正重点。
世界常识 (world knowledge)：包含事实性常识 (factual knowledge) 和常识 (commonsense)。

那么这些能力从何而来呢？

基本上，以上三种能力都来自于大规模预训练：在有 3000 亿单词的语料上预训练领有 1750 亿参数的模型（训练语料的 60% 来自于 2016 – 2019 的 C4 + 22% 来自于 WebText2 + 16% 来自于 Books + 3% 来自于 Wikipedia）。其中：

语言生成 的能力来自于语言建模的 训练指标 (language modeling)。
世界常识 来自 3000 亿单词的 训练语料库（不然还能是哪儿呢）。
模型的 1750 亿参数 是为了 存储常识，Liang et al. (2022) 的文章进一步证实了这一点。他们的论断是，常识密集型工作的性能与模型大小非亲非故（https://crfm.stanford.edu/hel…）。
上下文学习的能力起源及为什么上下文学习能够泛化，依然难以溯源。直觉上，这种能力可能来自于同一个工作的数据点在训练时按顺序排列在同一个 batch 中。然而，很少有人钻研为什么语言模型预训练会促使上下文学习，以及为什么上下文学习的行为与微调 (fine-tuning) 如此不同。

令人好奇的是，初代的GPT- 3 有多强。

其实比拟难确定初代 GPT-3（在 OpenAI API 中被称为 davinci）到底是“强”还是“弱”。一方面，它正当地回应了某些特定的查问，并在许多数据集中达到了还不错的性能；另一方面，它在许多工作上的 体现还不如 T5 这样的小模型（参见其原始论文）。

在明天（2022 年 12 月）ChatGPT 的规范下，很难说初代的 GPT-3 是“智能的”。Meta 开源的 OPT 模型试图复现初代 GPT-3，但它的能力与当今的规范也造成了尖利的比照。许多测试过 OPT 的人也认为与当初的 text-davinci-002 相比，该模型的确“不咋地”。尽管如此，OPT 可能是初代 GPT-3 的一个足够好的开源的近似模型了（依据 OPT 论文和斯坦福大学的 HELM 评估）。

尽管初代的 GPT-3 可能外表上看起来很弱，但起初的试验证实，初代 GPT-3 有着十分强的后劲。这些后劲起初被代码训练、指令微调 (instruction tuning) 和基于人类反馈的强化学习 (reinforcement learning with human feedback, RLHF) 解锁，最终体展现出极为弱小的突现能力。

2
从 2020 版 GPT- 3 到 2022 版 ChatGPT

从最后的 GPT-3 开始，为了展现 OpenAI 是如何倒退到 ChatGPT 的，咱们看一下 GPT-3.5 的进化树：

2020 年 7 月，OpenAI 公布了模型索引为的 davinci 的初代 GPT-3 论文（Brown. et. al. 2020. Language Models are Few-Shot Learners），从此它就开始一直进化。

2021 年 7 月，Codex 的论文（Chen et. al. 2021. Evaluating Large Language Models Trained on Code）公布，其中初始的 Codex 是依据（可能是外部的）120 亿参数的 GPT-3 变体进行微调的。起初这个 120 亿参数的模型演变成 OpenAI API 中的 code-cushman-001。在 2022 年 3 月，OpenAI 公布了指令微调 (instruction tuning)（Ouyang et. al. 2022. Training language models to follow instructions with human feedback）的论文，其监督微调 (supervised instruction tuning) 的局部对应了 davinci-instruct-beta 和 text-davinci-001。

2022 年 4 月至 7 月，OpenAI 开始对 code-davinci-002 模型进行 Beta 测试，也称其为 Codex。而后 code-davinci-002、text-davinci-003 和 ChatGPT 都是从 code-davinci-002 进行指令微调失去的。详细信息请参阅 OpenAI 的模型索引文档（https://beta.openai.com/docs/…）。

只管 Codex 听着像是一个只管代码的模型，但 code-davinci-002 可能是最弱小的针对 自然语言 的 GPT-3.5 变体（优于 text-davinci-002 和 -003）。code-davinci-002 很可能在文本和代码上都经过训练，而后依据指令进行调整（将在上面解释）。

2022 年 5-6 月公布的 text-davinci-002 是一个基于 code-davinci-002 的有监督指令微调 (supervised instruction tuned) 模型。在 text-davinci-002 下面进行 指令微调 很可能升高了模型的 上下文学习能力 ，然而 加强了 模型的 零样本能力（将在上面解释）。

而后是 text-davinci-003 和 ChatGPT，它们都在 2022 年 11 月 公布，是应用的基于人类反馈的强化学习的版本指令微调 (instruction tuning with reinforcement learning from human feedback) 模型的两种不同变体。text-davinci-003 复原了（但依然比 code-davinci-002 差）一些在 text-davinci-002 中失落的局部 上下文学习能力 （大略是因为它在微调的时候混入了语言建模）并进一步改良了零样本能力（得益于 RLHF）。另一方面，ChatGPT 仿佛 就义了简直所有的上下文学习的能力 来换取建模对话历史的能力。

总的来说，在 2020 – 2021 年期间，在 code-davinci-002 之前，OpenAI 曾经投入了大量的精力通过代码训练和指令微调来加强 GPT-3。当他们实现 code-davinci-002 时，所有的能力都曾经存在了。很可能后续的指令微调，无论是通过有监督的版本还是强化学习的版本，都会做以下事件（稍后会具体阐明）：

指令微调 不会为模型注入新的能力 —— 所有的能力都曾经存在了。指令 微调的作用是解锁 / 激发这些能力。这次要是因为指令微调的数据量比预训练数据量少几个数量级（根底的能力是通过预训练注入的）。
指令微调 将 GPT-3.5 的分化到不同的技能树。有些更善于上下文学习，如 text-davinci-003，有些更善于对话，如 ChatGPT。
指令微调 通过就义性能换取与人类的对齐（alignment）。OpenAI 的作者在他们的指令微调论文（Ouyang et. al. 2022. Training language models to follow instructions with human feedback）中称其为“对齐税”(alignment tax)。许多论文（比方：Suzgun et. al. 2022. Challenging BIG-Bench tasks and whether chain-of-thought can solve them/Chung et. al. 2022. Scaling Instruction-Finetuned Language Models 等）都报道了 code-davinci-002 在基准测试中实现了最佳性能（但模型不肯定合乎人类冀望）。在 code-davinci-002 上进行指令微调后，模型能够生成更加合乎人类期待的反馈（或者说模型与人类对齐），例如：零样本问答、生成平安和公正的对话回复、回绝超出模型它常识范畴的问题。

3

在 code-davinci-002 和 text-davinci-002 之前，有两个两头模型，别离是 davinci-instruct-beta 和 text-davinci-001。两者在很多方面都比上述的两个 -002 模型差（例如，text-davinci-001 链式思维推理能力不强（参见附录中的图 8 https://arxiv.org/pdf/2201.11…））。所以咱们在本节中重点介绍 -002 型号。

3.1 简单推理能力的起源和泛化到新工作的能力

咱们关注 code-davinci-002 和 text-davinci-002，这两兄弟是第一版的 GPT3.5 模型，一个用于代码，另一个用于文本。它们体现出了三种重要能力与初代 GPT-3 不同的能力：

响应人类指令：以前，GPT-3 的输入次要训练集中常见的句子。当初的模型会针对指令 / 提醒词生成更正当的答案（而不是相干但无用的句子）。
泛化到没有见过的工作：当用于调整模型的指令数量超过肯定的规模时，模型就能够主动在从没见过的新指令上也能生成无效的答复。这种能力对于上线部署至关重要，因为用户总会提新的问题，模型得答得进去才行。
代码生成和代码了解：这个能力很显然，因为模型用代码训练过。
利用思维链 (chain-of-thought) 进行简单推理：初代 GPT3 的模型思维链推理的能力很弱甚至没有。code-davinci-002 和 text-davinci-002 是两个领有足够强的思维链推理能力的模型。
- 思维链推理之所以重要，是因为思维链可能是解锁突现能力和超过缩放法令 (scaling laws) 的要害。请参阅上一篇博文（https://yaofu.notion.site/A-C…）。

这些能力从何而来？

与之前的模型相比，两个次要区别是 指令微调 和代码训练。具体来说：

可能 响应人类指令 的能力是 指令微调 的间接产物。
对没有见过的指令做出反馈的泛化能力是在指令数量超过肯定水平之后主动呈现的，T0（Sanh. et. al. Oct 2021. Multitask Prompted Training Enables Zero-Shot Task Generalization）、Flan（Wei et. al. Sep 2021. Finetuned Language Models Are Zero-Shot Learners）和 FlanPaLM（Chung et. al. Oct 2022. Scaling Instruction-Finetuned Language Models）论文进一步证实了这一点。
应用 思维链 进行 简单推理 的能力很可能是 代码训练 的一个神奇的副产物。对此，咱们有以下的事实作为一些反对：
- 最后的 GPT-3 没有承受过代码训练，它不能做 思维链。
- text-davinci-001 模型，尽管通过了指令微调，但第一版思维链论文（第一个版本 (https://arxiv.org/pdf/2201.11…) 报告了 davinci 在 GSM8K 上的准确率 12.4 v.s. 第五个版本 (https://arxiv.org/pdf/2201.11…) 报告了 code-davinci-002 准确率为 63.1）报告说，它的它思维链推理的能力十分弱 —— 所以指令微调可能不是思维链存在的起因，代码训练才是模型能做思维链推理的最可能起因。
- PaLM（Chowdhery et. al. Apr. 2022. PaLM: Scaling Language Modeling with Pathways）有 5% 的代码训练数据，能够做思维链。
- Codex 论文（Chen et. al. Jul 2021. Evaluating Large Language Models Trained on Code）中的代码数据量为 159G，大概是初代 GPT-3 5700 亿训练数据的 28%。code-davinci-002 及其后续变体能够做思维链推理。
- 在 HELM 测试中，Liang et al. (2022)（Liang et. al. Nov 2022. Holistic Evaluation of Language Models）对不同模型进行了大规模评估。他们发现了针对代码训练的模型具备很强的语言推理能力，包含 120 亿参数的 code-cushman-001.。
- 咱们在 AI2 的工作（Fu et. al. Oct 2022. Complexity-based Prompting for Multi-Step Reasoning. https://openreview.net/forum?…）也表明，当装备简单的思维链时，code-davinci-002 在 GSM8K 等重要数学基准上是目前体现最好的模型
- 直觉来说，面向过程的编程 (procedure-oriented programming) 跟人类 逐渐解决工作 的过程很相似，面向对象编程 (object-oriented programming) 跟人类 将简单工作合成为多个简略工作 的过程很相似
- 以上所有察看后果都是代码与推理能力 / 思维链之间的相关性。代码和推理能力 / 思维链之间的这种相关性对钻研社区来说是一个十分乏味的问题，但目前仍未失去很好的了解。然而，依然没有确凿的证据表明代码训练就是 CoT 和简单推理的起因。思维链的起源依然是一个开放性的钻研问题。
此外，代码训练 另一个可能的副产品是 长距离依赖，正如 Peter Liu（https://twitter.com/peterjliu…）所指出：“语言中的下个词语预测通常是十分部分的，而代码通常须要更长的依赖关系来做一些事件，比方前后括号的匹配或援用远处的函数定义”。这里我想进一步补充的是：因为面向对象编程中的类继承，代码也可能有助于模型建设编码层次结构的能力。咱们将对这一假如的测验留给将来的工作。

另外还要留神一些细节差别：

text-davinci-002 与 code-davinci-002
- Code-davinci-002 是根底模型，text-davinci-002 是指令微调 code-davinci-002 的产物（见 OpenAI 的文档（https://beta.openai.com/docs/…））。它在以下数据上作了微调：（一）人工标注的指令和期待的输入；（二）由人工标注者抉择的模型输入。
- 当有上下文示例 (in-context example) 的时候，Code-davinci-002 更善于上下文学习；当没有上下文示例 / 零样本的时候，text-davinci-002 在零样本工作实现方面体现更好。从这个意义上说，text-davinci-002 更合乎人类的期待（因为对一个工作写上下文示例可能会比拟麻烦）。
- OpenAI 不太可能成心就义了上下文学习的能力换取零样本能力 —— 上下文学习能力的升高更多是指令学习的一个副作用，OpenAI 管这叫对齐税。
001 模型（code-cushman-001 和 text-davinci-001）v.s. 002 模型（code-davinci-002 和 text-davinci-002）
- 001 模型次要是为了做纯代码 / 纯文本工作；002 模型则深度交融了代码训练和指令微调，代码和文本都行。
- Code-davinci-002 可能是第一个深度交融了代码训练和指令微调的模型。证据有：code-cushman-001 能够进行推理但在纯文本上体现不佳，text-davinci-001 在纯文本上体现不错但在推理上不大行。code-davinci-002 则能够同时做到这两点。

3.2 这些能力是在预训练之后曾经存在还是在之后通过微调注入？

在这个阶段，咱们曾经确定了指令微调和代码训练的关键作用。一个重要的问题是如何进一步剖析代码训练和指令微调的影响？具体来说：

上述三种能力 是否曾经存在于初代的 GPT- 3 中 ，只是 通过指令和代码训练触发 / 解锁？或者这些能力在初代的 GPT-3 中 并不存在，是通过指令和代码训练注入？

如果答案曾经在初代的 GPT-3 中，那么这些能力也应该在 OPT 中。因而，要复现这些能力，或者能够间接通过指令和代码调整 OPT。然而，code-davinci-002 也可能不是基于最后的 GPT-3 davinci，而是基于比初代 GPT-3 更大的模型。如果是这种状况，可能就没方法通过调整 OPT 来复现了。钻研社区须要进一步弄清楚 OpenAI 训练了什么样的模型作为 code-davinci-002 的根底模型。

咱们有以下的假如和证据：

code-davinci-002 的 根底模型可能不是初代 GPT-3 davinci 模型。以下是证据：
- 初代的 GPT- 3 在数据集 C4 2016 – 2019 上训练，而 code-davinci-002 训练集则在缩短到 2021 年才完结。因而 code-davinci-002 有可能在 C4 的 2019-2021 版本上训练。
- 初代的 GPT-3 有一个大小为 2048 个词的上下文窗口。code-davinci-002 的上下文窗口则为 8192。GPT 系列应用相对地位嵌入 (absolute positional embedding)，间接对相对地位嵌入进行外推而不经过训练是比拟难的，并且会重大侵害模型的性能（参考 Press et al., 2022（Press et. al. 2022. Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation））。如果 code-davinci-002 是基于初代 GPT-3，那 OpenAI 是如何扩大上下文窗口的？
另一方面，无论根底模型是初代的 GPT-3 还是起初训练的模型，遵循指令和零样本泛化的能力都可能曾经存在于根底模型 中，起初才通过指令微调来 解锁（而不是注入）
- 这次要是因为 OpenAI 的论文（Ouyang et. al. 2022. Training language models to follow instructions with human feedback）报告的指令数据量大小只有 77K，比预训练数据少了几个数量级。
- 其余指令微调论文进一步证实了数据集大小对模型性能的比照，例如 Chung et al. (2022) 的工作中，Flan-PaLM 的指令微调仅为预训练计算的 0.4%。一般来说，指令数据会显著少于预训练数据。
然而，模型的简单推理能力可能是在预训练阶段通过代码数据注入
- 代码数据集的规模与上述指令微调的状况不同。这里的代码数据量足够大，能够占据训练数据的重要局部（例如，PaLM 有 8% 的代码训练数据）
- 如上所述，在 code-davinci-002 之前的模型 text-davinci-001 大略没有在代码数据下面微调过，所以它的推理 / 思维链能力是十分差的，正如第一版思维链论文中所报告的那样，有时甚至比参数量更小的 code-cushman-001 还差。
辨别代码训练和指令微调成果的最好办法可能是比拟 code-cushman-001、T5 和 FlanT5
- 因为它们具备类似的模型大小（110 亿和 120 亿），类似的训练数据集 (C4)，它们最大的区别就是有没有在代码上训练过 / 有没有做过指令微调。
- 目前还没有这样的比拟。咱们把这个留给将来的钻研。

4

在以后阶段（2022 年 12 月），text-davinci-002、text-davinci-003 和 ChatGPT之间简直没有严格的统计上的比拟，次要是因为：

text-davinci-003 和 ChatGPT 在撰写本文时才公布不到一个月。
ChatGPT 不能通过 OpenAI API 被调用，所以想要在规范基准上测试它很麻烦。

所以在这些模型之间的比拟更多是 基于钻研社区的个体教训（统计上不是很严格）。不过，咱们置信初步的描述性比拟依然能够揭示模型的机制。

咱们首先留神到以下 text-davinci-002，text-davinci-003 和 ChatGPT 之间的比拟：

所有三个模型都通过指令微调。
text-davinci-002 是一个通过监督学习指令微调 (supervised instruction tuning) 的模型
text-davinci-003 和 ChatGPT 是基于人类反馈的强化学习的指令微调 (Instruction tuning with Reinforcement Learning from Human Feedback RLHF)。这是它们之间最显着的区别。

这意味着大多数新模型的行为都是 RLHF 的产物。

那么让咱们看看 RLHF 触发的能力：

翔实的回应：text-davinci-003 的生成通常比 text-davinci-002 长（https://help.openai.com/en/ar…）。ChatGPT 的回应则更加简短，以至于用户必须明确要求“用一句话答复我”，能力失去更加简洁的答复。这是 RLHF 的间接产物。
公正的回应：ChatGPT 通常对波及多个实体利益的事件（例如政治事件）给出十分均衡的答复。这也是 RLHF 的产物。
回绝不当问题：这是内容过滤器和由 RLHF 触发的模型本身能力的联合，过滤器过滤掉一部分，而后模型再回绝一部分。
回绝其常识范畴之外的问题：例如，回绝在 2021 年 6 月之后产生的新事件（因为它没在这之后的数据上训练过）。这是 RLHF 最神奇的局部，因为它使模型可能隐式地区分哪些问题在其常识范畴内，哪些问题不在其常识范畴内。

有两件事件值得注意：

所有的能力都是模型原本就有的，而不是通过 RLHF 注入的 。RLHF 的作用是 触发 / 解锁突现能力。这个论点次要来自于数据量大小的比拟：因为与预训练的数据量相比，RLHF 占用的计算量 / 数据量要少得多。
模型 晓得它不晓得什么不是通过编写规定来实现的，而是通过 RLHF 解锁的。这是一个十分令人诧异的发现，因为 RLHF 的最后指标是让模型生成复合人类冀望的答复，这更多是让模型生成平安的句子，而不是让模型晓得它不晓得的内容。

幕后产生的事件可能是：

ChatGPT: 通过 就义上下文学习 的能力 换取建模对话历史 的能力。这是一个基于教训的观测后果，因为 ChatGPT 仿佛不像 text-davinci-003 那样受到上下文演示的强烈影响。
text-davinci-003：复原了 text-davinci-002 所就义的 上下文学习能力 （见 https://arxiv.org/pdf/2210.11… 的附录 D）， 进步零样本的能力（https://help.openai.com/en/ar… https://scale.com/blog/gpt-3-davinci-003-comparison）。依据 instructGPT 的论文，这是来自于强化学习调整阶段混入了语言建模的指标（而不是 RLHF 自身）。

5

到目前为止，咱们曾经仔细检查了沿着进化树呈现的所有能力，下表总结了演变门路：

咱们能够得出结论：

语言生成能力 + 根底世界常识 + 上下文学习都是来自于预训练（davinci）
存储大量常识的能力来自 1750 亿的参数量。
遵循指令和泛化到新工作的能力来自于扩充指令学习中指令的数量（Davinci-instruct-beta)
执行简单推理的能力很可能来自于代码训练（code-davinci-002）
生成中立、主观的能力、平安和翔实的答案来自与人类的对齐。具体来说：
- 如果是监督学习版，失去的模型是 text-davinci-002
- 如果是强化学习版 (RLHF)，失去的模型是 text-davinci-003
- 无论是有监督还是 RLHF，模型在很多工作的性能都无奈超过 code-davinci-002，这种因为对齐而造成性能消退的景象叫做对齐税。
对话能力也来自于 RLHF（ChatGPT），具体来说它就义了上下文学习的能力，来换取：
- 建模对话历史
- 减少对话信息量
- 回绝模型常识范畴之外的问题

6

尽管 GPT-3.5 是自然语言解决钻研中的重要一步，但它并没有齐全蕴含许多钻研人员（包含 AI2）构想的所有现实属性。以下是 GPT-3.5 不具备的某些重要属性：

实时改写模型的信念：当模型表白对某事的信念时，如果该信念是谬误的，咱们可能很难纠正它：
- 我最近遇到的一个例子是：ChatGPT 保持认为 3599 是一个质数，只管它抵赖 3599 = 59 * 61。另外，请参阅 Reddit 上对于游得最快的陆地哺乳动物（https://www.reddit.com/r/Chat…）的例子。
- 然而，模型信念的强度仿佛存在不同的档次。一个例子是即便我通知它达斯·维达（星球大战电影中的人物）博得了 2020 年大选，模型依旧会认为美国现任总统是拜登。然而如果我将选举年份改为 2024 年，它就会认为总统是达斯·维达是 2026 年的总统。
模式推理：GPT-3.5 系列不能在数学或一阶逻辑等模式严格的零碎中进行推理：
- 在自然语言解决的文献中，“推理”一词的定义很多时候不太明确。但如果咱们从模糊性的角度来看，例如一些问题 (a) 十分不置可否，没有推理；(b) 有点儿逻辑在外面，但有些中央也能够含糊；(c) 十分谨严，不能有任何歧义。那么，
- 模型能够很好地进行 (b) 类的带模糊性的推理，例子有：
  （1）生成如何做豆腐脑的办法。做豆腐脑的时候，两头很多步骤含糊一点是能够承受的，比方到底是做咸的还是做甜的。只有整体步骤大抵正确，做进去的豆腐脑儿就能吃。
  （2）数学定理的证实思路。证实思路是用语言表达的非正式的逐渐解法，其中每一步的严格推导能够不必太具体。证实思路常常被用到数学教学：只有老师给一个大抵正确的整体步骤，学生就能够大略明确。而后老师把具体的证实细节作为作业安排给学生，答案略。
- GPT-3.5 不能进行类型 (c) 的推理（推理不能容忍歧义）。
  （1）一个例子是严格的数学证实，要求两头步骤中不能跳，不能含糊，不能错。
  （2）但这种严格推理到底是应该让语言模型做还是让符号零碎做还有待探讨。一个例子是，与其致力让 GPT 做三位数加法，不如间接调 Python。
从互联网进行检索：GPT-3.5 系列（临时）不能间接搜寻互联网
- 然而有一篇 WebGPT（https://openai.com/blog/webgpt/）论文发表于 2021 年 12 月，外面就让 GPT 调用了搜索引擎。所以检索的能力曾经在 OpenAI 外部进行了测试。
- 这里须要辨别的一点是，GPT-3.5 的两个重要但不同的能力是常识和推理。一般来说，如果咱们可能 将常识局部卸载到内部的检索系统，让语言模型只专一于推理，这就很不错了。因为：
  （1）模型的外部常识总是在某个工夫被切断。模型始终须要最新的常识来答复最新的问题。
  （2）回忆一下，咱们曾经探讨过 1750 亿的参数大量用于存储常识。如果咱们能够将常识卸载到模型之外，那么模型参数可能会大大减少，最终它甚至能够在手机上运行（疯狂的想法，但 ChatGPT 曾经足够科幻了，谁晓得将来会怎么呢).

7

在这篇博文中，咱们认真介绍了 GPT-3.5 系列的能力范畴，并追溯了它们所有突现能力的起源。初代 GPT- 3 模型通过预训练取得生成能力、世界常识和 in-context learning。而后通过 instruction tuning 的模型分支取得了遵循指令和能泛化到没有见过的工作的能力。通过代码训练的分支模型则取得了代码了解的能力，作为代码训练的副产品，模型同时潜在地取得了简单推理的能力。

联合这两个分支，code-davinci-002 仿佛是具备所有弱小能力的最强 GPT-3.5 模型。接下来通过有监督的 instruction tuning 和 RLHF 通过就义模型能力换取与人类对齐，即对齐税。RLHF 使模型可能生成更翔实和公正的答案，同时回绝其常识范畴之外的问题。

咱们心愿这篇文章可能帮忙提供一个清晰的 GPT 评估图，并引发一些对于语言模型、instruction tuning 和 code tuning 的探讨。最重要的是， 咱们心愿这篇文章能够作为在开源社区内复现 GPT-3.5 的路线图。

“因为山就在那里。”——乔治·马洛里，珠穆朗玛峰探险先驱

常见问题

这篇文章中的这些说法更像是假如 (hypothesis) 还是论断 (conclusion)？
- 简单推理的能力来自于代码训练 是咱们偏向于置信的假如
- 对没有见过的工作泛化能力来自大规模指令学习 是至多 4 篇论文的论断
- GPT-3.5 来自于其余大型根底模型，而不是 1750 亿参数的 GPT-3是有依据的猜想。
- 所有这些能力都曾经存在了，通过 instruction tuning，无论是有监督学习或强化学习的形式来解锁而不是注入这些能力 是一个强有力的假如，强到你不敢不信。次要是因为 instruction tuning 数据量比预训练数据量少了几个数量级
- 论断 = 许多证据反对这些说法的正确性；假如 = 有侧面证据但不够无力；有依据的猜想 = 没有确凿的证据，但某些因素会指向这个方向
为什么其余模型（如 OPT 和 BLOOM）没有那么弱小？
- OPT 大略是因为训练过程太不稳固
- BLOOM 的状况则未知。如果您有更多意见，请与我分割