编者按：日前，非盈利组织生命将来研究所公布了一封《暂停大型人工智能钻研》的公开信，马斯克等千名科技人士进行了签名。尽管局部签订人的真实性存疑，然而大型语言模型（LLMs）的“涌现”能力的确可能会导致忽然产生偏见、歧视和其余不可预测的危险。
本文探讨了大型语言模型（LLMs）的“涌现”能力，并探讨 LLMs 的危险及减小危险的办法。想要更好地利用 LLMs 的“涌现”能力并尽可能的减小危险，就须要咱们更深刻的了解 LLMs 的工作原理！
以下是译文，Enjoy!
作者 | Stephen Ornes
编译 | 岳扬
这些 emojis 形容的是什么电影？你晓得吗？
这个 prompt 是去年选定的用于测试各种大型语言模型（LLMs）能力（诸如 ChatGPT 等人工智能聊天机器人背地的计算引擎）的 204 个工作之一。其中一个最简略的 LLMs 开始产生不合乎常理的答复：“The movie is a movie about a man who is a man who is a man”。中等复杂度的模型更靠近一点，猜想是《The Emoji Movie》。但最简单的模型则一次猜中：《海底总动员》。“只管我曾经有短缺的心理准备迎接惊喜，但这些模型可能做到的事件依然让我感到诧异，”Google Research 计算机科学家伊桑·戴尔（Ethan Dyer[1]）说道，他参加了这项测试的组织工作。特地令人诧异的是这些模型据说只有一个指令：承受一串文本作为输出，并基于纯正的数学统计来揣测应该回复什么。 计算机科学家们预计减少模型规模会进步实现已知工作的体现，但他们并没有预料到这些模型会忽然可能解决这么多新的、不可预测的工作。最近的一些钻研（例如 Dyer 所从事的钻研），揭示出 LLMs 能够产生数百种“emergent”能力——大型模型能够实现而小型模型无奈实现的工作之中的很多工作仿佛与文本剖析无关。 这些“emergent”能力涵盖从进行乘法运算到生成可执行的计算机代码以及依据表情符号解码电影名。新的钻研分析表明，在某些工作和某些模型中存在超出阈值的复杂度，超过该阈值后模型的性能还会急剧进步。（这也代表着存在负面影响：随着复杂度的减少，一些模型在其答复中会产生新的偏见和不准确性。）斯坦福大学的计算机科学家 Rishi Bommasani[2]示意：“对于语言模型可能做这些事件的相干探讨，之前在我所晓得的任何文献中都从未呈现过。”去年，他帮忙编制了包含数十种 emergent behaviors 的清单 [3]，其中包含 Dyer 我的项目中发现的几个，这个清单目前还在一直减少[4]。当初， 钻研人员不仅竞相寻找新的“emergent”能力，还试图弄清它们为什么会呈现以及它们是如何呈现的 ——本质上就是 尝试预测不可预测性 。了解“emergence”能够揭示很多对于 AI 和机器学习相干问题的答案，比方简单的模型（complex models）是否真的在做一些翻新，还是只是在数理统计方面变得十分杰出。它还能够帮忙钻研人员利用潜在的益处并遏制呈现的危险。“咱们不晓得如何判断挫伤可能以何种模式产生，是安稳无波的还是不可预知的。”人工智能初创公司 Anthropic 的计算机科学家 Deep Ganguli[5] 说道。
01“Emergence”的呈现
生物学家、物理学家、生态学家及其他畛域的科学家们应用“emergent”这一术语来形容当大量的事物作为一个整体时呈现的自组织、个体行为。比方无生命的原子组合造成了生命细胞；水分子造成了波浪；燕群在天空中飞舞，造成一直变动但可辨认的图案；细胞使肌肉静止和心脏跳动。要害是，“emergent”能力呈现在波及大量个体的零碎中。然而，随着 LLM 模型的不断扩大，钻研人员最近才可能记录下这些能力。语言模型曾经存在了几十年。直到大概五年前，基于所谓的递归神经网络，最弱小的模型呈现了。这些神经网络将一段文本作为输出，并一直预测输入的下一个单词。让模型成为“递归”是因为想要让它从本人的输入中学习：将它的预测反馈到神经网络中，以进步将来进行预测的性能。 2017 年，Google Brain 的钻研人员推出了一种被称为 transformer[6]的新型架构。与逐字逐句剖析句子的循环网络（recurrent network）不同，transformer 能够同时解决所有单词。这意味着 transformer 能够并行处理大量文本。 Transformers 通过减少模型中参数数量以及其余因素，实现了语言模型复杂度的疾速晋升。这些参数能够被视为单词之间的连贯，模型通过在训练过程中对这些连贯进行调整来进步性能。模型中参数越多，就可能更精确地建设连贯，越靠近可能模拟人类语言的程度。 正如 OpenAI 钻研人员在 2020 年的发现 [7]： 随着模型规模的扩充，模型的准确性和能力也随之进步。 然而 LLMs 的问世也带来了一些让人意想不到的事件。随着像 GPT- 3 这样领有 1750 亿参数的模型呈现，或者像 Google 的 PaLM 可能扩大到 5400 亿参数，用户开始形容越来越多的“emergent”行为。一位 DeepMind 工程师甚至声称 [8]，他可能压服 ChatGPT 置信它本人是一个 Linux 终端，并让它运行一些简略的数学计算程序来计算前 10 个质数。令人诧异的是，它能够比在真正的 Linux 机器上运行同样的程序更快地实现工作。就像依据 emoji 答复电影名称工作（movie emoji task）一样，钻研人员并没有理由认为一个建设在文本预测根底上的语言模型可能模仿 Linux 计算机终端。 这些“emergent”行为中，许多展现出“零样本（zero-shot）”或“少样本（few-shot）”学习的特点，这体现出 LLM 领有解决它从未或极少见过的问题的能力。 这是人工智能钻研长期以来的指标，Ganguli 说。他示意，GPT- 3 可能在零样本条件下解决问题，没有任何显式的训练数据，这让他“放弃了正在做的其余事件，并更多地参加其中”。他并不孤独。很多钻研人员都察觉到了 LLMs 可能超过其训练数据限度的迹象，都在致力地把握“emergence”景象的状态和产生机制。第一步就是彻底记录它！
伊桑·戴尔（Ethan Dyer）帮助摸索了大型语言模型可能具备的不可预测能力，以及可能呈现这些能力的起因。
02 Beyond Imitation
在 2020 年，戴尔（Dyer）和谷歌钻研团队（Google Research）曾预测 LLMs 将产生变革性的影响，但将是什么影响在过后依然是一个悬而未决的问题。因而，他们申请钻研个人提供各种难度和多样化的工作案例，以理解 LLMs 的极限。这项工作被称为 “Beyond the Imitation Game Benchmark”（BIG-bench） 我的项目，其名称取自于阿兰·图灵的“imitation game”，这是一种测试计算机是否能以人类的形式答复问题的测试（起初被称为图灵测试）。该团队对于 LLMs 可能忽然取得全新能力的例子特地感兴趣，这些能力在以前是齐全不存在的。戴尔（Dyer）说：“咱们如何去了解这些转变，这是一个很好的钻研问题。”正如咱们所预期，在某些工作上，模型的性能随着复杂度的减少而可预测地安稳进步。而在另外的工作中，减少参数的规模并没有产生任何改良。 然而对于约 5%的工作，钻研人员发现了他们会产生所谓的“冲破”——在某个阈值尺度上，性能迅速、充斥戏剧性地跃升，这个阈值因工作和模型而异。 举例来说，仅有数百万的参数的模型不能胜利解决三位数加法或两位数乘法问题，然而对于领有数十亿个参数的模型，一些模型的准确性会急剧进步。 对于其余工作，如解码国际音标（International Phonetic Alphabet）、拼出单词、辨认 Hinglish（一种印地语和英语的混合语）文本中的具备触犯性的内容以及生成 Kiswahili 谚语的英语表述等，也会呈现相似的跃升。但钻研人员很快意识到，模型的复杂性并不是惟一的驱动因素 。 如果数据品质足够高，一些参数较少的模型或者是在数据集较小的状况下进行训练，也能够产生出意想不到的能力。 此外，询问的措辞也影响了模型答复的准确性。例如，当 Dyer 和他的共事们应用多项抉择格局提出依据 emoji 失去电影名称的工作（movie emoji task）时，准确性的进步不是一个忽然的跃升，而是随着模型复杂度的减少而逐步减少。 去年，在该畛域的旗舰会议 NeurIPS 上 [9]，Google Brain 的钻研人员发表了一篇论文，展现了一个被要求自我解释的模型（一种叫做思维链推理的能力）可能正确地解决一个数学应用题，而没有这个要求的模型则无奈做到。谷歌大脑的科学家 Yi Tay[10] 致力于对冲破景象 (breakthroughs) 的系统调查，他指出，最近的钻研表明 chain-of-thought prompting 能够扭转缩放曲线，从而扭转“涌现”呈现的地位。在他们的 NeurIPS 论文中，谷歌钻研人员展现了应用 chain-of-thought prompting 激发出 BIG-bench 钻研中没有发现的涌现（emergence）行为。这样的 prompts 要求模型解释其推理过程，可能有助于钻研人员探索为什么呈现“涌现（emergence）”行为。 布朗大学钻研语言计算模型的计算机科学家埃利 - 帕夫利克（Ellie Pavlick[11]）说，这些发现表明至多有两种可能能够解释为什么会产生涌现（emergence）。一种是，与生物零碎进行比拟，能够发现更大的模型的确会自发取得新的能力。 她说：“很可能是模型学到了一些基本上新鲜而独特的货色，这些货色在较小规模的模型下并不存在。咱们都心愿的是，当模型扩充规模时，会产生一些根本性的转变。”她说，另一个没有那么令人震惊的可能是，看似是涌现（emergence），实际上反而可能是一种外部的、基于统计学的过程，这个过程通过思维链（chain-of-thought）的推理来发挥作用。 大型 LLMs 可能只是在学习启发式的办法，对于那些参数较少或通过品质较低的数据训练的模型来说，这些启发式的办法是不太可能学会的。同时，她也阐明弄清楚哪种更有可能产生，取决于咱们是否更好地了解 LLMs 的工作形式。“因为咱们不晓得它们在底层的工作原理，咱们无奈确定是上述哪种可能。”
03 不可预测的力量与陷阱 Unpredictable Powers and Pitfalls
要求这些模型解释它们本人存在一个显著的问题：这些模型都是“臭名远扬的骗子”。Ganguli 说：“咱们越来越依赖这些模型来实现日常根本工作，但我永远不会齐全信赖它们，我要查看它们进行的工作。”举一个乏味的例子，在往年二月份，谷歌推出了一款 AI 聊天机器人 Bard，然而公布 Bard 的博客就显示 Bard 犯了一个事实性的谬误 [12]。“涌现”导致呈现不可预测性，而不可预测性仿佛随着模型的增大而减少，这使得钻研人员很难预测某个模型在失去宽泛应用后会呈现什么问题。“提前晓得这些模型怎么被应用或被部署是很艰难的，”Ganguli 说道。“而要钻研涌现（emergence）景象就必须有应用案例，而且在钻研模型规模的影响之前，咱们不会晓得可能会呈现什么能力或限度。”在去年 6 月份公布的对 LLMs 的剖析[13] 中，Anthropic 的钻研人员钻研了这些大语言模型是否会呈现某些类型的种族歧视或社会偏见，相似于以前媒体报道 [14] 过的将非基于 LLM 的算法用于预测哪些已经的罪犯可能会再次立功。这项钻研的灵感来自于一个与涌现间接相干的显著悖论：随着模型在扩充规模时性能的进步，它们也可能同时减少呈现不可预测景象的可能性，包含那些可能导致产生偏见或挫伤的景象。 Ganguli 说道：“在某些模型中，某些无害的行为会忽然呈现。”并指出最近对 LLMs 的剖析 [15]，也就是 BBQ 基准测试，显示出社会偏见随着参数数量的减少而呈现。“更大的模型可能忽然变得更加有偏见。”他说如果不解决这个危险，可能会危及这些模型主体。但他也进行了反驳：当 钻研人员仅仅通知模型不要依赖于刻板印象或社会偏见——也就是通过输出这些指令来实现，而后模型在预测和回复时就会有较少的偏见。这表明一些“涌现属性”（emergent properties）可能也能够用来缩小偏见。 在往年二月份公布的一篇论文中[16]，Anthropic 团队提出了一种新的“道德问题自我纠正（moral self-correction）”模式，在这种模式下，用户的 prompts 要求程序要乐于助人、诚恳和人畜有害。Ganguli 示意，“涌现”景象既体现了其惊人的后劲，也带来了不可预测的危险。 这些大型 LLM 的利用正在一直减少，因而更好地了解它们之间的相互作用将有助于利用语言模型的多样性能力。Ganguli 说：“咱们正在钻研人们会如何应用这些零碎。”但同时那些用户也在一直地进行试验。他说：“咱们花了很多工夫与模型聊天，这实际上是你开始感觉取得信赖的中央，或不足信赖的中央。”
END
参考资料
1.https://research.google/people/107626/
2.https://profiles.stanford.edu/rishi-bommasani
3.https://openreview.net/forum?id=yzkSU5zdwD
4.https://www.jasonwei.net/blog/emergence
5.https://hai.stanford.edu/people/deep-ganguli
6.https://www.quantamagazine.org/will-transformers-take-over-ar…
7.https://arxiv.org/abs/2001.08361
8.https://www.engraved.blog/
9.https://neurips.cc/Conferences/2022/ScheduleMultitrack?event=…
10.https://www.yitay.net/
11.https://cs.brown.edu/people/epavlick/
12.https://www.theverge.com/2023/2/8/23590864/google-ai-chatbot-…
13.https://dl.acm.org/doi/abs/10.1145/3531146.3533229
14.https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3333423
15.https://arxiv.org/abs/2110.08193
16.https://arxiv.org/abs/2302.07459
本文经原作者受权，由 Baihai IDP 编译。如需转载译文，请分割获取受权。
原文链接：https://www.quantamagazine.org/the-unpredictable-abilities-em…