共计 10159 个字符，预计需要花费 26 分钟才能阅读完成。
OneFlow 编译
翻译|杨婷、贾川、徐佳渝
三十年前，互联网（Web 1.0）时代开启。人们只能在轻便的电脑上用鼠标点击由 HTML 编写的网页文本，随后开始反对插入图片，能够上传视频，于是有了网络新闻、搜寻、电子邮件、短信、网游 …… 互联网带来了全新的商业模式，粗浅扭转了人们的生产生存。
三十年后的当下，以 ChatGPT 为代表的大模型问世了。起初人们拿它当玩具，直到 ChatGPT 的诞生与人类实现惊艳交互，主动生成文本信息，而刚刚公布的 GPT- 4 更是进化成反对文本和图像的多模态大模型，还能了解图像、代码，目前曾经接入到微软 Office 全家桶 ……
看到两者的共性了吗？
比尔·盖茨说，ChatGPT 不亚于互联网的诞生。而 OpenAI 总裁、联结创始人 Greg Brockman 更含糊其辞：“咱们会拿下 Web 4.0。”在去年 ChatGPT 公布前与 ScaleAI CEO Alexandr Wang 的对话中他这样谈到。而在 3 月 10 日举办的 SXSW 23 大会的另一场对话上，他称：咱们正在创立新型互联网或相似的货色。
多模态 GPT- 4 更像往这一方向演变的雏形。在 ChatGPT 公布后，仅仅通过四个月的大概五次更迭，这个升级版模型展现出更震撼的成果和更大影响力。
这让始终在钻研人类大脑运作机制的“深度学习教父”Geoffrey Hinton（https://mp.weixin.qq.com/s/ryxvfA9hoc8TZuELLRezdA）也未免感到冲动：“毛毛虫提取营养物质，而后破茧成蝶。而人们曾经萃取了数十亿了解的精髓，GPT- 4 就是人类的 ’ 蝴蝶 ’（humanity’s butterfly）。”他还评估了让 ChatGPT 大获胜利的秘密武器（https://mp.weixin.qq.com/s/sDeBYMvAwbJr5_tj7Q20-w）：人类反馈的强化学习（RLHF）是在教育一个超自然早熟的孩子。
这使得人类与机器实现了动静互动，让机器的智能特色体现得更显著，不同于人类与传统互联网交互的动态形式。在 Brockman 看来，咱们正走在一个充满活力的世界，AI 将扭转人们与信息互动的形式，它会了解并帮忙你。换句话说，GPT 模型在真正扭转人机交互的形式。
GPT 模型所获得的成就令人艳羡，不过这建设在 OpenAI 数年的技术摸索和坚定信念上。
作为深度参加了 GPT 模型从 0 到 1 生产过程（https://mp.weixin.qq.com/s/E1_30D9Jw1XHBQnrrSh4NQ），以及推动 GPT 钻研和工程落地的次要“幕后推手”，Brockman 对此深有体会，“它并非试图像疾速致富那样过眼云烟，而是始终在迟缓积攒价值，才有了指数级增长带来的微小回报。”
人们好奇包含 GPT-4、ChatGPT 在内的模型在暴发前所经验的蛰伏和执着，尤其是有志于打造类 GPT 模型的研究者们很想晓得，GPT 模型是如何从最后的胚胎想法逐渐被 OpenAI 培养成孩子的？这个孩子又将如何长成 AGI？它在可预感的将来对这个世界会带来哪些改革？
对于这些纳闷，问 Brockman 再适合不过了。此前，在 SXSW 23 以及与 Alexander Wang 的两场对话中，他对此进行了具体论述，OneFlow 按 QA 模式进行了编译整顿。（内容转载请分割 OneFlow 取得受权。）
1
ChatGPT 的爆火
Q：ChatGPT 是如何产生的？GPT 模型当初公布时显得有些违反常识，但却在某种程度上掀起了最新的 AI 浪潮，这与你们当初构建这些技术时的预期是否统一?
A：ChatGPT、GPT-3、DALL·E 2 这些模型看似一夜成名，但其实构建这些模型消耗了整整五年工夫，饱含多年的心血。
GPT 模型的构建要从 2017 年公布的情感神经元论文（Neural Sentiment Neuron: A novel Neural Architecture for Aspect-based Sentiment Analysis）说起，这篇论文的思维很新鲜，不过很多人可能曾经忘了。
OpenAI 研究员 Alec Radford 对语言十分感兴趣（https://mp.weixin.qq.com/s/Q1G0Yv11WRYWrXcmIcuKjg），并致力于聊天机器人的钻研。咱们真的很喜爱 Alec，十分反对他在咱们去调研庄重我的项目时做任何他想做的事。
过后他负责的一个我的项目始终在训练 LSTM 模型，以此来预测亚马逊商品评估中的下一个字符。该模型能预测下一个字符，理解评估类型，还会像机器人一样学习，不过它也并非无所不知。
咱们发现 LSTM 模型中的单个神经元有助于开发出 SOTA 情感剖析分类器（sentiment analysis classifier），能够告知你文本情感（侧面评估或负面评估），这一发现听起来平平无奇，但咱们十分分明地晓得，这是一个超过语法并转向语义的时刻。
咱们必须一直去推动。2017 年底，Transformer 问世，过后 OpenAI 联结创始人 Ilya Sutskever 立刻发现这正是 OpenAI 始终在期待的模型（https://mp.weixin.qq.com/s/Q1G0Yv11WRYWrXcmIcuKjg）。因而，只管过后 Transformer 还并不欠缺，但咱们基于它相继研发了 GPT 模型，基于对好的和蹩脚的事实进行训练，以预测给定单词序列的下一个词。而后应用强化学习，让人类疏导模型找到正确的答案。
咱们外部运行的算法就是通过这些小办法来获取生存迹象（signs of life）。对于特定的数据集，必须十分小心能力辨别出真正的生存迹象，否则就难以获得停顿。但如果你的直觉精确，就会晓得是时候加大算力和钻研人员的投入，进行模型扩大了。
GPT- 2 的问世显然令人眼前一亮，通过函数曲线就晓得模型越大，须要投入的算力和数据就越多，同时取得的工程细节就越多，曲线就变得更好了。咱们的指标只是突破现有范式，不断改进模型，直到曲线趋于稳定。
始终到研发 ChatGPT，咱们所做的额定工作就是让模型更有“生机（alive）”，并创立了一个超级简略易用的交互界面，收费提供给所有人。
Q：ChatGPT 是在去年 11 月底上线的，为什么会在这个节点公布？
A：筹备公布 ChatGPT 时，我始终通知团队，咱们能够十分激进，比方回绝做任何看起来有点粗率的事件，最重要的是，不能在公布后的三天内就因为陷入舆论麻烦而敞开 ChatGPT。
咱们有数百个测试人员花了好几个月去做测试，但这与让它齐全裸露在充斥多样性和对抗性的实在用户应用环境中十分不同。
从 2020 年 6 月开始，咱们曾经做了很长时间的迭代部署，第一次凋谢产品的 API 给普通用户必定很缓和，但我确信团队能应付自如。
Q：ChatGPT 正式上线两个月内用户超过 1 亿，成为历史上增长最快的利用，而 Facebook 用了 4.5 年，TikTok 用了 9 个月达到相似的成就。当初所有人都在探讨 ChatGPT，为什么它会成为杀手级利用？
A：实际上，我常常思考这个问题，ChatGPT 背地的模型大概是在一年前研发的，所以并不是新技术，但它的不同在于对话更具一致性，你真的能够和它对话，它会做你想要做的事。其次，咱们让用户很容易就能够体验它的能力。
十分乏味的是，随着 ChatGPT 真正开始流行起来，人们能够看到，相当长一段时间内技术可能做到的事件以及理论能做的事件之间的差距。确保人们晓得事物的倒退方向真的很重要。对我来说，这兴许是最大的播种。
Q：你认为生成式 AI 最乏味和最具颠覆性的用例是什么？
A：我想讲一个集体轶事。医疗诊治相对是一个高风险畛域。几年前，我妻子得了一种神秘的疾病，她的腹部右下方感到疼痛，会是阑尾炎吗？咱们看了两个医生都认为是细菌感化，开了不同的抗生素，但都杯水车薪。第四个医生做了超声波检测才找到了病因。
而当我把那些症状输出到 ChatGPT 中，给出的答案是：第一，确保不是阑尾炎；第二，卵巢囊肿破裂，而这正是确诊的病因。但我不想让它取代医生，也不想让它通知我去服用这种超级常见的抗生素。
Q：ChatGPT 有时会不苟言笑地胡言乱语，就像醉酒的疯子。
A：的确，所以在应用过程中更要有信息甄别能力。其实 ChatGPT 的准确性很高，只是咱们在训练过程中损坏了一些信息。我很快乐人们通过与其交换来缕清思路，只将其当做一种全天候待命的认知辅助工具。
Q：你能分享一下对于 GPT 模型将来版本的想法吗？它是否会更审慎、更具创造力？
A：先解释下咱们是如何构建这些零碎的。第一步，咱们须要训练一个根底模型，它的指标只是预测下一个单词。咱们会给这个模型提供大量的文本数据，但并不会通知它哪些信息是正确的。这个模型须要在这些文本数据中学习，并且在这个过程中必须思考所有上下文信息来预测下一个词。所以这个模型同时也会习得偏见、意识形态和思维等信息。
第二步是进行人类反馈的强化学习（RFHL），也被称为前期训练（post training）。在这一阶段，咱们会从大量的文本数据中抉择有用的数据，通知它如何正确地解决数据。
然而，还存在一个十分重要同时又十分辣手的问题，那就是 AI 应该做些什么？谁来作出这个决定？这是一个十分不同的议题，咱们正在不懈努力让它具备合法性（legitimacy）。咱们发现，根底模型自身实际上是依据其不确定性进行校准的，但这对前期训练来说是一项须要解决的工程性难题。
自去年 12 月以来，咱们曾经公布了四到五个不同版本的 ChatGPT，例如事实准确性和幻觉问题均已失去了改善。这得益于通过前期训练不断改进。
我置信，将来咱们将会领有更加精确、可能自我查看工作品质、晓得何时回绝、何时提供帮忙的 GPT 零碎，同时还能帮助人类实现更加艰巨的工作。
2
构建 GPT 模型的信念
Q：很多人在首次应用 GPT- 3 时就深受震撼，尤其是模型的定性新行为（qualitatively new behaviors），而不只是模型在既定工作上的良好体现。你看到晚期模型成绩时是否会感到这很神奇？
A：过后的后果令我非常兴奋。咱们只须要写出函数名称和文档字符串就能真正编写出函数，只管不是十分复杂的函数，但它可能依据要求写出代码，做一些小小的批改就能满足需要。
乏味的是，以前咱们认为模型只在特定数据分布中表现出色，一旦超出散布范畴就会呈现问题，而 GPT- 3 的范式能够利用于不同的数据分布。你会发现模型具备泛化能力，而且对已知的数据，泛化能力更强。
那模型对于未知的数据的泛化能力怎么样？人类不太善于未涉足的畛域，而模型能够从大量不同配置中学习并提取有用信息，这几乎不堪设想。
Q：在开发 GPT- 3 的过程中，须要投入大量的计算资源，而且试验也不肯定能胜利，这须要很大的信念和信心。在整个过程中，你是否狐疑过本人，或者是否置信只有一直进行尝试就能取得成功？
A：实现模型扩大并不是想当然的事，须要一直尝试能力找到最佳解决方案。乏味的是，当咱们失去首个扩大后果时，确信这是正确的办法，能够始终推动，直至获得最佳后果。
咱们钻研 DOTA 这款游戏整整三年。一开始，咱们对这款游戏无所不知，通过一直致力战胜了游戏开发商外部的团队，最终胜利击败职业团队。期间，咱们进行模型扩大，并且解决所有 bug，在每一个维度上一直迭代，从而获取更好的回报。这同样实用于 GPT- 2 模型扩大，其迭代过程相当简单，为此还须要调配出大量的计算资源，这须要具备动摇的信念。
另一方面，模型扩大是迭代的过程，因而你不用思考会做出不可逆转的决定，因为每一步都能从事实中失去反馈，这样就能够从大局思考“如果这个计划胜利了会怎么”。同时，还能确保你已为胜利做好了筹备。
不过，也不要自觉将一整年工夫都花在可能不会获得预期后果的事上。均衡这两者才是关键所在。
Q：从 DOTA 和情感神经元中学到的货色是你们制胜的要害。尽管从内部看，这些零散的常识不是很直观，但将其整合在一起就为扩大和构建 GPT- 3 指明了方向。这如同就是翻新的形式：将各种试验成绩整合在一起，就构建出了新事物。
A：这就是第一性原理的实际。
3
为何看好 AI 的倒退
Q：2017 年左右，AI 算法还十分弱，但你就深信 AI 的能力会逐步晋升，领有很好的发展前景，为什么你会对 AI 有如此乐观的态度？
A：在某种程度上来说，这其实是一种直觉。我在上学时就对 NLP 十分感兴趣，还找了一位这方面的专家，申请与他做 NLP 方面的钻研，他批准了。他给我解说了一些 NLP 畛域的相干内容，但听完后感觉，NLP 不是我想要的货色，因为它没有正确的个性（properties），就如同咱们在 NLP 零碎中投入了大量精力，做了大量工作，但却无奈说分明语言到底是如何运行的，好像短少了某种外在的货色。相同，神经网络的运作就十分清晰，神经网络系统就像海绵一样大量排汇数据、算力，它有正确的形态因子（form factor）。
但咱们疏忽了一件事，那就是这个神经网络是否被训练，要思考是否有足够的数据、算力、是否有足够的能力等。
2012 年，Alex 的论文让神经网络重获关注，我认为这是神经网络畛域获得的第一个重大成果。人们在计算机视觉钻研方面花了几十年的工夫，但 CNN 的呈现让这一畛域有了质的飞跃。
这就如同是一些本来彼此断绝的部门的断绝状态一天天被突破，分明地表明某些事件行将产生，有某种微小的后劲正在期待被开掘。
Q：你们是否狐疑过技术方面的抉择，还是说始终都很有信念，从未波动过？
A：在这个过程中，咱们难免会质疑所做的抉择，狐疑策略是否正确，所做的事是否正确。比方咱们会进行屡次计算以确定模型大小，因为犯错在劫难逃，必须找出这背地的起因，毕竟不能指望 AI 去找起因。
扩大定律（scaling law）就是一个很好的例子，咱们做这个钻研是为了更迷信地了解模型在各个函数图轴上的晋升形式，咱们一直给模型提供算力和数据，但究竟无限。多年当前，咱们忽然意识到对这条函数曲线的了解有误，因而，咱们又投入了大量的 token 和数据去训练模型。
从上游论断来看，训练数据太少，所以得出的论断就不太对。之后在某个时刻，你会忽然意识到原来问题出在根本假如上，这样所有就都说得通了。
我始终有一种感觉，在工作中如果坚定不移，一直摸索，做到极致，将是最激动人心的时刻，这意味着咱们涉及到技术畛域的极限，真正做成了一些事件，同时也意味着终于能看清下一步的方向。
Q：这让我想到了 Stripe 公司的经营准则之一：宏观上乐观，宏观上乐观。这句话很能引起共鸣，在面对技术问题时，咱们必须要做好最坏的打算，但显然，从长期来看，你对本人的工作始终很有信念。
A：是的，这是一个充斥激情与生机，领有弱小力量的畛域，咱们要怀有敬畏。
这些模型最后只是一堆随机数字，在数字的根底上人们倒退出了超级计算机，海量数据集，咱们做了算法开发等大量的工程工作，而后再进行整合。
神经网络是举世无双的技术畛域，从根本上来说，它就像是一块海绵，咱们只须要喂入数据，就能训练出模型，这个模型能够重复使用，能够解决跨畛域的工作。而传统软件须要人工去写下所有规定，从这些规定中失去反馈，人们兴许能够利用 Spark 集群来解决一些事务，但我并不想这样做，我对神经网络更感兴趣。
Q：在开办 OpenAI 之前，你负责过 Stripe 首席技术官，这两家企业能够说都是业内标杆，但它们有何异同？
A：很乏味的一点是，当这两家公司面临问题时，采取的思维形式都是第一性原理思维。
Stripe 在产品预公布时激发了肯定的浪花，究其实质是咱们在晚期就领有肯定的客户。过后，一位做风险投资的敌人想晓得产品预公布胜利的秘诀。当我通知他不过是改良了付款形式，他一脸的不堪设想，但那其实就是秘密武器。
咱们从第一性原理登程，即事物的实质登程去从新思考做事的形式，而非一味地照搬别人做法。咱们会问本人：应该怎么做？难点在哪儿？有必要这样做吗？
OpenAI 在 AI 畛域做事的形式与之前类似。为了进军 AI 界，咱们雇佣了很多接触过该畛域的员工，不过也有人从未涉足过 Ai，而是以初学者的身份进入 AI 界。在我看来，以这种形式进入一个未知领域能免受其惯例做法的解放，所有从零开始，排除外在因素的影响。
两家公司之间也存在差别。对 Stripe 而言，它开发了传统的 Playbook，在思考出翻新点后，就对产品进行构建、打磨，而且在构建产品的第一天就有指标客户。OpenAI 则须要钻研客户是谁，从 2015 年底开始，到 2020 年咱们才领有了第一款真正意义上的产品。
因而，要弄清楚做什么以及能做好什么，而对这些事件的思考都源于组织外部而非内部。
4
乐观对待 AI 的潜在危险
Q：人们对 OpenAI 的钻研也有很多担心，比拟忧心技术方面潜在的负面影响。人们说 AI 将取代咱们的工作。那么，哪些职业的危险最高？
A：过来，人们认为 AI 将首先代替那些从事体力劳动的工作，但理论状况并非如此。当初，AI 在认知方面的倒退曾经获得了巨大进步（例如写诗），但在物理性质的事物倒退上却没有十分大的提高。
这表明，AI 的倒退过程与人们的预期相差甚远。此外，仍有一些工作无奈实现自动化，这表明人类的能力比咱们设想得更弱小。
作为一名程序员，我的冀望是可能借助工具进步工作效率。目前，咱们应用的 AI 代码助手 Copilot 可能主动补全代码，对于一些不太熟悉编程语言或特定的库函数的人来说十分有用。而 ChatGPT 更弱小，能够帮忙咱们编写整个函数，或者依据需要编写聊天机器人框架。
将来的编码过程将会变得更加简化，咱们只需做出设计决策，而不用亲自编写每一行代码，这将大大提高工作效率，同时也能够帮忙咱们在职业上更进一步。
Q：如果将认知能力都外包给 AI，那么人类的智力会不会有降落危险？
A：这也是最让我彻夜难眠的事。放在以前，这种趋势可能会令人兴奋，但我发现，人们逐步不再喜爱浏览和思考。所以在这项新技术降临之前，咱们要确保如何使其成为人类的“智力倍增器”而非“削减器”。
人类真正须要的是能为咱们合成问题的“导师”，而不是帮咱们全盘解决问题的 AI。正所谓授人以鱼不如授人以渔，只有这样咱们能力走得更远。
Q：随着数据、算法和计算规模的一直增长，大公司会竞相构建更大、性能更好的超级计算机，而领有更大的超级计算机就意味着比其余超级计算机更具劣势，这种状况会成为将来的发展趋势吗？是否能找到一种更凋谢、更有用的形式，防止它成为大公司之间的竞争工具？
A：将来的发展趋势就像计算技术在更多畛域的重演。将来依然会呈现只有多数人把握的越来越宏大的超级计算机，能创立出常人无奈构建的超级大模型，但这并不会减弱人们利用这些模型所做事件的价值。
我认为，超级弱小的、具备双重用处的、极度简单的零碎，像风力涡轮机那样将扩散在各处的、更加容易掌控的零碎之间进行衡量是很重要的。对于十分弱小的新兴技术，必须采取双重解决方案。
随着技术的倒退，人们对 AI 的认识也产生了变动，开始发现 AI 真的有用。敌人们，是时候开始构建（AI）了。
Q：有钻研表明，以后迷信倒退的脚步整体上在放缓，而 AI 绝对在逐渐减速甚至正走向振兴。你是否放心 AI 的倒退在将来也会放缓？
A：事物总是呈 S 型曲线倒退，而且通常会有范式转变。Ray Kurzweil 的《奇点邻近》一书介绍了计算机不同行业的倒退曲线，展现了各种性能的工夫变动。100 年来，咱们差不多经验了五次不同的范式转变，才发明出了以后的计算机。咱们当下在做的事件也会是 S 形曲线，并呈现范式转变，这体现了人类的创造力。
另一方面，范式是否产生转变并不重要。当初 AI 的重点是它的用处，咱们心愿通过 AI 来晋升计算机的能力，让计算机施展更大的作用，当然，它也带来了一些新问题，但总的来说，它解决的问题要比发明的问题多得多，并且扭转了人类的交互方式。
在 AI 畛域，咱们获得了一些新的冲破，以 GitHub Copilot 为例，它能在很低的时延下实现代码的主动编写，但如果时延超过了 1500 毫秒，那么该工具就没有人会应用。
当初有些事件人类实现不了，但能够用机器来辅助咱们实现，这才是重点。如果咱们正在做的事件倒退进入停滞，也并不影响它们能发明的价值。
Q：你对 AI 倒退的最大顾虑是什么？
A：人们对于 AI 的认识始终都比拟有意思。如果回到十年前，你打开任何一篇文章，或者说问街上的任何一个人对于 AI 的认识，肯定都是负面的，人们对于 AI 的认识始终都比较复杂，混合着恐怖的情绪。人们有时能看到 AI 的后劲，有时看不到，然而大家始终在试图看清 AI。
我齐全同意人们所说的，既要看到 AI 好的一面，也要看到坏的一面，不能做一个自觉的乐观主义者，也不能齐全乐观，如同人类快要走向灭亡一样，这两种认识都是有问题的。
AI 倒退将经验不同的倒退阶段。当初面临的最大挑战是滥用问题，零碎自身还不是那么弱小，但其实问题的本源在于背地的人心，尽管文字具备弱小的力量，但不会间接影响这个世界，问题出在人们的口头上。咱们要在社会和技术层面找到防止滥用的办法并对系统进行监督，这至关重要。
另外，未来零碎自身会变得非常弱小，假如零碎在没有监控的状况下与多人互动，将产生什么样的影响？对于这种状况 OpenAI 曾经有所警惕，咱们要建造与全人类价值观相符的零碎，有选择性地让特定价值观进入到零碎当中。当然，要做到这一点并不容易。
5
AI 的将来倒退方向
Q：AI 在哪些方面有值得期待的利用场景？
A：AI 真正能做的是加强人类现有的能力，在写作、编程和娱乐等常识工作方面就是如此。最令我感到兴奋的是，技术门槛将会升高。对于那些有创意并想付诸实践的人来说，AI 会为他们提供一个“残缺的创意工作室”。专业人士也将有机会发明出比任何业余人士都更好的货色。
AI 不仅不会使人们的技能隐没，反而还会使生产力倍增。比方激发人们的创造力，不会画画的人当初能够通过模型发明出各种图像，当初咱们能够让本人脑海中的画面真正呈现在纸面上。比方 3D 设计师们能够先利用 DALL·E 对他们想要的货色进行渲染，而后再开始制作。
很多人都看过《势力的游戏》，但我晓得终局却没能遂每个人的愿。有了 AI，人们就能够制作本人想要的终局，甚至将本人作为配角代入其中。有人可能会说“我并不需要”，但这就像口袋里的手机，你能够不必，但须要的时候，它就能派上用场。
Q：你怎么对待 AI 的将来？
A：AI 依然会是一个沉闷且多变的畛域，它的倒退兴许会出乎所有人的预料。咱们的工作是尽可能地为 AI 倒退提供便当。
最早一批利用 GPT- 3 提供服务的客户估值曾经达到了数十亿美元。看着模型为如此多的人发明微小价值，是一件很有成就感的事件。
将来十年，这些模型将疾速倒退，利用将无处不在。AI 的倒退会和互联网相似，1990 年，人们对互联网还知之甚少，21 世纪初，人们开始对互联网感兴趣，这时时机与挑战并存。当初，互联网曾经成为商业倒退中不可分割的一部分。
咱们的工作就是开发通用人工智能，去建造出一种可能解决所有工作的全能机器，并将这一技术开发到极致，让它们在最具经济价值的工作上达到超过人类的体现。要做到这种水平只是工夫问题，当这些工具真的倒退到了如此有创造性的境地，且可能超过人类的时候，它们甚至会自发地开始工作。
将来，咱们还不晓得 AI 的价值会如何调配，也不晓得该如何利用 AI 来解决人们目前难以应答的挑战，例如气候变化、大学教育等等。
Q：这些技术呈现的机会也很有意思，去年，人人都在探讨 Web 3.0 是加密货币（crypto），但现在看来，AI 才是真正的 Web 3.0。
A：咱们会拿下 Web 4.0。
Q：你提到两个十分有意思的方向，一是 GPT 模型等现存技术的提高，它们在商业上的利用越来越宽泛，二是通用人工智能算法的继续晋升。目前来看，AGI 的倒退方向会是怎么的？
A：人类很早以前就开始了对通用人工智能的钻研，这点仅从神经网络的倒退历史就能够看出。2012 年是扭转世界的一年，算力需要每年增长 10 倍，而且还在持续增长。回报开始变得可预期，所以咱们要投入更多的资金来建造大规模的超级计算机。
通过注入更多算力、更好地利用反向流传神经网络技术，构建更弱小的模型，这个流程是很固定的。但其中的细节可能会有所变动，比方你想要开发 GPT 模型还是 Whisper、注入语音数据还是从互联网注入文本数据，这些细节可能很重要，这关系到你要做什么，要下载什么资源。但如果放大视角对待这项技术，这又没那么重要。
咱们学会了利用扩大定律来进行所有的迷信调整，务必要确保这些模型不仅聪慧，而且与人类的用意保持一致。咱们的指标是每年都做一些以前不可能做成的事件。
咱们正在构建的货色就跟构建计算机一样。在摩尔定律的辉煌期间，新芯片层出不穷。因为要想建设最好的计算机，只须要一直构建下一个最好的芯片，并继续对技术中的各局部进行改良。
相干链接：
[1]. https://aibusiness.com/nlp/sxsw-23-openai-co-founder-shares-t…
[2]. https://www.youtube.com/watch?v=Rp3A5q9L_bg
[3]. https://www.youtube.com/watch?v=YNkxVDAiA1Q
欢送 Star、试用 OneFlow 最新版本：https://github.com/Oneflow-Inc/oneflow/
