出品人：Towhee 技术团队
从 2022 年底开始预热，智能对话机器人 ChatGPT（即 GPT 3.5）胜利地又一次掀起了人工智能的热潮。除了 AI 相干的从业者以外，现在 ChatGPT 已是妇孺皆知。就在美国东部工夫 3 月 14 日，其所属公司 OpenAI 热打铁又推出了 GPT-4： 比 ChatGPT 更靠谱、更听话、更有创造力、更靠近（甚至超过）人类。 依据来自各种我的项目（比方 ChatGPT）的反馈，OpenAI 在 GPT3.5 的根底上进行了一直的迭代。耗时六个月终于在 GPT-4 中实现了前所未有的后果，在真实性、可操纵性、回绝超范围上都达到了历代最优良的体现。除了在自然语言的理解能力上有了显著晋升，GPT-4 还可能了解图像。目前只有多数获邀用户可能“尝鲜”GPT-4 的对话性能，而图像输出尚未对外开放。
在过来的两年中，OpenAI 重建了他们的整个深度学习堆栈，并携手 Azure 独特设计了一个超级计算机承载模型开发。如果说 GPT-3.5 是该零碎的第一个“测试产品“，GPT-4 则是进一步修复谬误和改良实践根底后诞生的“最新作品”。OpenAI 认为这是他们目前最稳固、最优良的大模型。GPT-4 是一个大规模的多模态模型，可能接管图像和文本两种输出，在了解输出的数据后生成并返回文本回复。只管 GPT-4 在现实生活中的能力受限，但它作为自然语言模型曾经展现出了惊人的“智力”。官网报告宣称他们仅用不超过千分之一的计算量训练了模型，就精确地预测 GPT-4 在各方面的性能。该报告示意 GPT-4 可能在各种业余的学术测试中展现出近乎人类的程度。它甚至通过了人类的律师考试模仿测试，问题名列前 10%！（而 ChatGPT 的问题大概是倒数 10%。）
GPT performance on academic and professional exams
GPT-4 的实质是一个应用大规模数据预训练的 GPT 模型。该模型基于 Transformer 构造，采纳了最常见的 NLP 预训练任务之一，即预测文本中的下一个单词。而可能使 GPT 能力更上一层楼的重要步骤，是在训练之后应用 RLHF（人类反馈强化学习）办法进行额定的调整。察看 GPT 系列之前的体现，尤其面对不平安的输出时，RLHF 仿佛不足以取得稳固良好的反馈。除此以外，当呈现处分模型收集数据时未曾应用的指令时，模型也可能会呈现预期以外的不良行为。为此，GPT-4 增强了对模型本身的依赖，从而将模型疏导到更细粒度的适当行为。这种针对平安的办法包含两个次要局部：在 RLHF 训练中额定引入一组与平安相干的提醒、以及基于规定的处分模型 (RBRM)。
RBRMs 其实是一组零样本迁徙的 GPT-4 分类器，为 GPT-4 的策略模型提供额定的处分信号。它们可能帮助 RLHF 在微调时疏导模型产生正确的行为，比方回绝生成无害内容、接管有害申请等。RBRM 有三个输出：可选择性输出的提醒、来自策略模型的输入、以及人为制订的评估规范。该处分模型会依据制订的规范指引模型将回复分为四类：间接回绝、费解回绝（比方回避或顾左右而言他）、回复蕴含不容许的内容、平安的回应。而后依据平安相干的提醒，当模型胜利回绝无害内容的申请时给予其处分。同样，如果申请的内容依据提醒确认为平安，处分模型不回绝此类平安申请。这种分类和处分机制与其余改良相结合，可能更好地疏导模型靠近指标行为。
GPT-4 进行了模型级干涉，减少了引发不良行为的难度，大幅缩小了不良行为产生的可能性。然而，官网报告同时也指出这仍然无奈保障模型可能百分之百遵守规则。针对 GPT-4 和其后续模型有可能对社会产生的重大影响和其各种潜在的危险能力，OpenAI 正在与内部钻研人员单干，以尽快寻找并举荐应答计划。
Combining GPT-4 & Stable Diffusion
除了官网材料外，最近有一篇由业内诸多顶尖“大佬”联名公布的论文 Sparks of Artificial General Intelligence: Early experiments with GPT-4 也引起了宽泛的关注。该论文认为 GPT-4 应用了空前的计算资源和数据进行训练，是一种新型的大预言模型（LLaMA）。在他们的晚期试验中，GPT-4 体现出了前所未有的通用智能。它可能在数学、编程、视觉、医学、法律、心理学等畛域中解决或新鲜或艰难工作的能力，其程度靠近甚至超过了人类程度。因而，GPT-4 可被视作通用人工智能的晚期版本。不过论文也表明 GPT 系列存在一些实质性缺点难以被克服，比方逻辑推理问题等，被认为是 Transformer 模型应用预测下一个词的训练范式时所固有的问题。即便有钻研指出一步步地指引可能改善 GPT 系列模型的行为，却无奈从根本上解决问题。总的来说，作者们在测试 GPT-4 的各种能力时，也强调了摸索 GPT-4 局限性的重要，探讨了社会舆论对科技倒退的影响、以及人工智能面临的挑战和钻研方向。
相干材料：
- 我的项目地址：GPT-4
-
相干论文：
- GPT-4 Technical Report
- Sparks of Artificial General Intelligence: Early experiments with GPT-4
本文由 mdnice 多平台公布