微信搜寻【大迁世界】, 我会第一工夫和你分享前端行业趋势，学习路径等等。
本文 GitHub https://github.com/qq449245884/xiaozhi 已收录，有一线大厂面试残缺考点、材料以及我的系列文章。
独家对话，带您深刻探访一场文化景象的幕后
作者：Will Douglas Heaven
2022 年 11 月底，OpenAI 在没有任何宣传的状况下公布了 ChatGPT，这家总部位于旧金山的人工智能公司对此并无太多冀望。当然，OpenAI 外部的人也没有筹备好迎接病毒式的超级热门。自那时以来，该公司始终在致力迎头赶上，并致力利用这一胜利。
OpenAI 的政策工作者 Sandhini Agarwal 示意，公司外部将其视为“钻研预览”，这是对两年前技术的更加成熟的版本，更重要的是，它试图通过收集公众的反馈来打消其中的一些缺点。在 OpenAI 工作的科学家 Liam Fedus 示意：“咱们不想把它吹牛成一个重大的根本停顿。”
为了理解这个聊天机器人背地的底细故事——它是如何制作的，自公布以来 OpenAI 如何更新它，以及其制造者对其胜利的认识——我与四位帮忙构建这个成为有史以来最受欢迎的互联网利用之一的人交谈。除了 Agarwal 和 Fedus，我还与 OpenAI 的联结创始人 John Schulman 和 OpenAI 对齐团队的负责人 Jan Leike 交谈，该团队致力于解决让 AI 依照用户的志愿去做事（而不是别的）的问题。
我得出的论断是，OpenAI 对其钻研预览的胜利依然感到困惑，但已抓住机会推动这项技术的倒退，察看数百万人如何应用它，并致力解决呈现的最重大问题。
自 11 月以来，OpenAI 曾经屡次更新了 ChatGPT。钻研人员正在应用一种名为对抗性训练的技术来阻止 ChatGPT 让用户诱导它体现顽劣（称为越狱）。这项工作让多个聊天机器人相互反抗：一个聊天机器人充当对手并通过生成文本攻打另一个聊天机器人，迫使其冲破通常的束缚并产生不须要的回应。胜利的攻打将被增加到 ChatGPT 的训练数据中，心愿它学会疏忽它们。
OpenAI 与微软签订了一项数十亿美元的协定，并发表与寰球治理征询公司贝恩结盟。贝恩打算在其客户（包含可口可乐公司）的营销流动中应用 OpenAI 的生成式 AI 模型 1[3]。在 OpenAI 之外，对于 ChatGPT 的热议引发了寰球大型语言模型的又一次热潮，各地的公司和投资者纷纷退出。
短短三个月内，这引起了很大的关注。ChatGPT 从何而来？OpenAI 采取了哪些措施确保产品公布前做好筹备？他们接下来会走向哪里？
Jan Leike：瞎话说，这让咱们有点手足无措。咱们感到诧异，咱们始终在致力迎头赶上。
John Schulman：公布之后的几天，我始终在亲密关注 Twitter，那段时间推特上充斥着 ChatGPT 截图。我原以为它会很合乎人们的直觉，并会取得肯定的关注，但我没料到它会达到如此宽泛的支流遍及度。
Sandhini Agarwal：我认为咱们都没有料到人们会如此热衷于应用它。咱们如此专一于这些模型，以至于有时遗记了它们对外界来说是如许惊人。
Liam Fedus：咱们的确对它受到的热烈欢迎感到诧异。之前有很屡次通用聊天机器人的尝试，我晓得咱们面临的挑战不小。然而，咱们的私人测试让咱们置信，咱们可能真的做出了一款人们喜爱的产品。
Jan Leike：我想更好地理解驱动这所有的起因——推动其病毒式流传的起因。说实话，咱们不理解。咱们不晓得。
团队的困惑局部源于 ChatGPT 外部的大部分技术并不是新的。ChatGPT 是 GPT-3.5 的一个优化版本，而 GPT-3.5 是 OpenAI 在公布聊天机器人之前几个月公布的大型语言模型家族。GPT-3.5 自身是 2020 年呈现的 GPT- 3 的更新版本 1。OpenAI 通过将这些模型作为应用程序编程接口（API）提供在其网站上，让其他软件开发人员能够轻松地将模型嵌入到他们本人的代码中。2022 年 1 月，OpenAI 还公布了一种名为 InstructGPT 的 GPT-3.5 的优化版本。然而这些先前的技术版本都没有向公众推广。
Liam Fedus 示意，ChatGPT 模型是从与 InstructGPT 雷同的语言模型中微调而来的，他们应用了相似的微调办法。他们增加了一些对话数据并对训练过程进行了调整，因而不心愿将其适度宣传为重大的根本提高。事实证明，对话数据对 ChatGPT 产生了很大的踊跃影响。
John Schulman示意，只管从规范基准来评估这些模型的原始技术能力并没有实质性的差别，但 ChatGPT 更易于拜访和应用。
Jan Leike解释说，从某种意义上说，ChatGPT 能够被了解为咱们曾经有的 AI 零碎的一个版本。它并不比以前的模型具备更弱小的性能。在 ChatGPT 问世前的一年里，雷同的根本模型曾经在 API 上可用。另一方面，他们使其更合乎人们想要用它做的事件。它以对话的形式与您交换，易于在聊天界面中拜访，致力提供帮忙。这是令人惊叹的提高，人们正在意识到这一点。
John Schulman指出，ChatGPT 更容易推断出用户的用意，而且用户能够通过重复对话来取得他们想要的内容。
ChatGPT 的训练形式与 InstructGPT 十分类似，采纳了一种称为基于人类反馈的强化学习（RLHF）的技术。这是 ChatGPT 的秘密武器。基本思路是采纳一个偏向于随便输入内容的大型语言模型——在这种状况下是 GPT-3.5——并通过教它人类用户理论更喜爱的回应类型来进行调优。
Jan Leike：咱们让一大群人浏览 ChatGPT 的提醒和回应，而后说出哪个回应比另一个回应更可取。所有这些数据随后合并到一个训练运行中。很多内容与咱们在 InstructGPT 中做的事件雷同。你心愿它能提供帮忙，要实在，要无毒。而后还有一些特定于产生对话和成为助手的事件：比方，如果用户的查问不分明，它应该提出后续问题。它还应该廓清本人是一个 AI 零碎。它不应该假如本人没有的身份，不应该宣称领有它所没有的能力，当用户要求它执行不应该执行的工作时，它必须写出回绝信息。在这次培训中呈现的一句话是：“作为一个由 OpenAI 训练的语言模型……”这并非是成心放进去的，但它是人类评估者高度评价的事物之一。
Sandhini Agarwal：是的，我认为这就是产生的事件。人类评估者必须依据各种规范对模型进行排名，比方真实性。然而他们也开始更喜爱他们认为是良好实际的事物，比方不伪装是你不是的货色。
因为 ChatGPT 是应用与 OpenAI 之前应用的雷同技术构建的，因而在筹备将此模型公布给公众时，团队并未采取任何不同的做法。他们认为之前模型的规范曾经足够了。
Sandhini Agarwal：在筹备公布时，咱们并没有将此模型视为一个全新的危险。GPT-3.5 曾经在世界上存在，咱们晓得它曾经足够平安。通过 ChatGPT 对人类偏好的培训，模型主动学会了回绝行为，回绝了很多申请。
Jan Leike：咱们的确为 ChatGPT 进行了一些额定的“红队”测试，OpenAI 的每个人都坐下来尝试破解模型。咱们还有内部团队做同样的事件。咱们还有一个晚期拜访打算，信赖的用户会提供反馈。
Sandhini Agarwal：咱们的确发现它产生了一些不须要的输入，但这些都是 GPT-3.5 也会产生的货色。因而在危险方面，作为一个钻研预览——因为这是它最后的目标——感觉还不错。
John Schulman：你不能等到你的零碎白璧无瑕才公布。咱们曾经对晚期版本进行了几个月的测试，测试人员对产品给予了踊跃的评估。咱们最大的担心是对于事实性的问题，因为模型喜爱捏造事实。但 InstructGPT 和其余大型语言模型曾经在那里了，所以咱们认为，只有 ChatGPT 在事实性和其余平安问题上优于那些模型，它就应该能够应用。在公布前，咱们确认了依据咱们无限的评估，这些模型仿佛比其余模型在事实性和安全性方面更强一些，所以咱们决定持续公布。
自 ChatGPT 公布以来，OpenAI 始终在察看人们如何应用它，这是第一次看到一款大型语言模型在数千万可能试图测试其极限和发现其缺点的用户手中如何体现。团队试图关注 ChatGPT 产生的最具问题性的例子——从对于神对强奸神父之爱的歌曲到窃取信用卡号的恶意代码——并用它们来束缚模型的将来版本。
Sandhini Agarwal：咱们有很多下一步要做的事件。我的确认为 ChatGPT 的病毒式流传使咱们晓得的很多问题变得十分突出，并变得十分要害——这些都是咱们心愿尽快解决的问题。比方，咱们晓得模型依然存在很大的偏见。是的，ChatGPT 很善于回绝不良申请，但编写提醒让模型不回绝咱们心愿它回绝的内容也相当容易。
Liam Fedus：看到用户多样化和富裕创意的利用令人振奋，但咱们始终专一于须要改良的畛域。咱们认为通过部署、获取反馈和优化的迭代过程，咱们能够生产出最合乎需要和最有能力的技术。随着咱们的技术一直倒退，新问题不可避免地会呈现。
Sandhini Agarwal：公布后的几周里，咱们查看了一些人们发现的最蹩脚的例子，这些都是人们在事实中看到的最蹩脚的事件。咱们对这些例子进行了评估，探讨了如何解决这些问题。
Jan Leike：有时候是因为在 Twitter 上病毒式流传的内容，但咱们也有一些人悄悄地与咱们取得联系。
Sandhini Agarwal：咱们发现的很多问题都是越狱行为，这相对是咱们须要解决的问题。但因为用户必须尝试这些简单的办法来让模型说出一些不好的货色，这并不是咱们齐全漠视了的问题，或者对咱们来说十分令人诧异的事件。然而，咱们当初正在踊跃解决这个问题。当咱们发现越狱行为时，咱们会将它们增加到咱们的训练和测试数据中。咱们看到的所有数据都会输出到将来的模型中。
Jan Leike：每次咱们有了更好的模型，咱们都心愿将其投放进来并进行测试。咱们十分乐观地认为，一些针对性的对抗性训练能够大大改善越狱问题。只管不分明这些问题是否会齐全隐没，但咱们认为咱们能够使越狱行为变得更加艰难。再次强调，在公布之前，咱们并不是不晓得越狱是可能的。我认为，在部署这些零碎后，真正预测这些零碎会呈现的平安问题十分艰难。所以咱们非常重视监测人们应用零碎的目标，察看产生了什么，而后对此做出反馈。这并不是说咱们不应该在预见到平安问题时被动进行缓解。但的确，预感零碎进入事实世界时理论产生的所有十分艰难。
1 月份，微软公布了名为 Bing Chat 的搜寻聊天机器人，许多人猜想这是 OpenAI 尚未正式发表的 GPT-4 的一个版本。（OpenAI 示意：“Bing 是由微软专门为搜寻定制的咱们的下一代模型之一驱动的。它联合了 ChatGPT 和 GPT-3.5 的技术提高。”）技术巨头们为了爱护数十亿美元的名誉而应用聊天机器人，这为负责构建底层模型的人们带来了新的挑战。
Sandhini Agarwal：当初的危险必定比六个月前要高得多，但依然低于一年后可能的程度。很显著，这些模型的应用环境对它们的重要性十分大。就像 Google 和 Microsoft，即便是一件事实不清的事件，也因为它们被认为是搜索引擎而成为了一个大问题。用于搜寻等场景的大型语言模型所需的行为与仅仅是一个趣味聊天机器人的要求十分不同。咱们须要弄清楚如何在所有这些不同的用处之间找到均衡，为人们发明出在一系列场景中有用的货色，其中所需的行为可能真的有很大差异。这减少了更多的压力。因为咱们当初晓得，咱们正在构建这些模型，以便它们能够变成产品。ChatGPT 当初是一个产品，因为咱们有了 API。咱们正在构建这种通用技术，咱们须要确保它在所有方面都能运作良好。这是咱们目前面临的要害挑战之一。
John Schulman：我低估了人们在探测和关怀 ChatGPT 政治方面的水平。在收集训练数据时，咱们本能够做出一些更好的决策，从而加重这个问题。咱们当初正在解决这个问题。
Jan Leike：从我的角度来看，ChatGPT 失败很多——还有很多事件要做。咱们并没有解决这些问题。咱们都必须十分分明地意识到本人和他人的技术局限性。我的意思是，语言模型曾经存在了一段时间，但当初依然是初期阶段。咱们晓得它们存在的所有问题。我认为咱们只须要十分坦率地面对，治理冀望，并明确这不是一个成品。
总结
本文介绍了 ChatGPT 是如何由 OpenAI 团队开发进去的。ChatGPT 是一个大型的语言模型，它能够依据用户的输出生成自然语言响应。自 ChatGPT 推出以来，OpenAI 始终在关注用户的应用状况，以理解大量语言模型在成千上万的用户手中的体现。
文章中提到，开发团队在构建 ChatGPT 时遇到了许多挑战，例如如何让模型更好地了解语言、如何在解决大量数据时放弃稳定性等。他们采取了一些翻新的办法来解决这些问题，例如应用无监督的学习办法和对抗性训练。
此外，文章还提到了一些对于语言模型将来倒退的认识，包含模型的加强、模型的可解释性以及模型与人类语言能力之间的关系。
编辑中可能存在的 bug 没法实时晓得，预先为了解决这些 bug, 花了大量的工夫进行 log 调试，这边顺便给大家举荐一个好用的 BUG 监控工具 Fundebug。
原文：https://www.technologyreview.com/2023/03/03/1069311/inside-st…
交换
有幻想，有干货，微信搜寻 【大迁世界】 关注这个在凌晨还在刷碗的刷碗智。
本文 GitHub https://github.com/qq449245884/xiaozhi 已收录，有一线大厂面试残缺考点、材料以及我的系列文章。