共计 16527 个字符，预计需要花费 42 分钟才能阅读完成。
作者：京东科技 李俊兵
各位看官好，我是球神（江湖代号）。
自去年 11 月 30 日 ChatGPT 问世以来，迅速爆火出圈。
起初我仍然认为这是和当年 Transformer, Bert 一样的“热点”模型，然而当一篇篇文章 / 报告一直推送到我的眼前，我后知后觉地发现这次真的不一样。
很间接的一点是，ChatGPT 曾经影响到非 AI、非互联网、非计算机的每一个人了。
你会看到，泛滥科技界大佬，马斯克、纳德拉、李开复、李彦宏、周鸿祎等，都在发宣称 ChatGPT 将扭转世界；
太多的互联网公司，如微软、谷歌、百度、阿里、腾讯等正在抢占商业先机；
还有更多的学术机构、高校也开始探讨 ChatGPT 生成论文是否合乎学术标准；
忽然之间各行各业从业者开始担心被 ChatGPT 代替……
「初看认为是热点，再看已成经典…」
于是我决定好好钻研它一番，并力争把它写得全面而通俗易懂一点，最终就有了这篇万字长文报告，倡议珍藏、缓缓浏览。
文章主题对于：「ChatGPT 背地的 AI 背景、技术门道和商业利用。」
以下是目录和注释内容：
引言
我和聊天机器人的小故事
一、AI 背景
1.1 ChatGPT 的出圈和能力圈
1.2 人工智能倒退简史
1.3 ChatGPT 背地的 NLP 和 Transformer
二、技术门道
2.1 GPT- 1 到 ChatGPT 的演进和技术原理
2.2 ChatGPT 的局限性
2.3 ChatGPT 的优化和摸索方向
三、商业利用
3.1 国内外资本投入层层加码
3.2 ChatGPT 商业化尾声曾经拉开
3.3 ChatGPT 助力 AIGC 浪潮再起
后记
ChatGPT 会引领第四次科技反动吗？
ChatGPT 会给人类带来就业潮吗？
ChatGPT 适宜下海守业吗？
ChatGPT 以及 AIGC 产业链有值得投资的机会吗？
参考文献
笔者相干背景简介
引言
我和聊天机器人的小故事
早在 2017 年末至 2018 年上半年，我刚拿到计算机专业研究生的入场券，同时须要实现本科毕业设计。因而，我抉择提前进入研究生实验室并带回一个毕设课题：中文文本对话零碎(俗称：聊天机器人)。
没错，从钻研方向来说，明天文章的配角 ChatGPT 正好属于我那会的钻研领域—自然语言解决(NLP)。只不过起初因为一些不可控因素，我更加关注于机器学习和计算机视觉畛域。
记得最初写本科毕业论文和问难的时候，我的中文文本聊天机器人 (基于 Seq2Seq + Attention 架构) 还很 low：只能放弃 4 - 5 轮对话逻辑；略微问难点答案就面目全非；对话的文本不能太长…
尽管同样在 2017 年，Transformer 架构曾经问世，但站在那个工夫节点，即使是一线钻研人员和工程师，恐怕也很难设想到 5 年后的 2022 年，就会有 ChatGPT 这样的景象级通用聊天机器人程序呈现。
“科技的倒退不是平均的，而是以浪潮的模式呈现”。—《浪潮之巅》，吴军
一、AI 背景
1.1 ChatGPT 的出圈和能力圈
只管 ChatGPT 曾经火爆到让很多人疯狂，咱们还是心愿静下心来认真看看它当初到底能做什么，它的边界又在哪里。
各大热门平台产品月沉闷用户数破亿所需时长
先看产品理论利用测试的成果：
再看产品体现背地形象出的深层次能力：
所以，从公布到当初 2 个多月来，ChatGPT 曾经证实了它的能力圈包含：主动问答、多轮聊天、文章创作、语言翻译、文本摘要、编写和 debug 代码等，同时这些表层能力背地反映了其具备了解人类用意、敢于质疑、抵赖不晓得、一直学习进化等深层次 ability。
并且这些能力体现曾经远超过往其余 AI 机器人，也曾经失去了包含 AI 研究者、工程师和各行各业产业专家们的统一认可。
不得不抵赖，从单项性能体现、整体性能笼罩、稳定性、时效性、鲁棒性等多个维度评估，目前的 ChatGPT 曾经足够颠覆，它让通用 AI 钻研和产业落地成为可能。
1.2 人工智能倒退简史
提起人工智能和计算机科学，有个名字总是无奈绕开。
他是英国人艾伦·图灵（Alan Turing）。
图灵 (Alan Turing，1912-1954) 出世的那年，他的祖国正处在“日不落”的全盛时期，占有的殖民地是外乡面积的百倍无余。而在边远的西方，中华民国临时政府在南京成立，中山学生就任长期大总统，属于中华民族的反动振兴才刚刚开始(「ChatGPT 应该写不出这段」)。
1950 年，时年 38 岁的图灵在数学和逻辑学畛域曾经成就颇丰，但当他在《计算机与智能》论文中提出驰名的“图灵测试”构想时，后世的人们更加不会遗记他对人工智能和计算机科学畛域做出的杰出贡献。
“如果第三者无奈分别人类与人工智能机器反馈的差别，则能够论断该机器具备人工智能”。— 图灵, 人工智能之父
工夫来到 1956 年 8 月，在美国达特茅斯学院，约翰·麦卡锡、马文·闵斯基、克劳德·香农、艾伦·纽厄尔、赫伯特·西蒙等科学家 一起探讨了用机器来模拟人类学习以及其余方面的智能等问题，首次提出了“人工智能”这个概念，也就此标记了人工智能学科的诞生。
尔后，人工智能的倒退经验了四次大的浪潮。
第一次浪潮(1956-1980)：首次凋敝到低谷
初代 AI 中计算机被用于证实数学定理、解决代数应用题等畛域。这一时期感知机 (1957)、模式识别(1961)、人机对话(1966)、专家系统(1968)、视觉计算(1976) 等实践先后被提出来。
好景不长，专家和学者们发现仅仅具备逻辑推理能力远远不够实现人工智能，许多难题并没有随着时间推移而被解决，很多 AI 零碎始终停留在了玩具阶段。之前的过于乐观使人们预期过高，又不足实质性的停顿，许多机构逐步进行了对 AI 钻研的赞助。人工智能遭逢了第一次低谷。
第二次浪潮(1980-1995)：二次复苏到萧条
AI 2.0 时代专家系统和多层神经网络失去推广应用，人机对话机器人、语音管制打字机逐步问世，这一时期贝叶斯网络 (1985)、反向流传(BP，1986)、反对向量机(SVM，1995) 等算法先后被提出来。
然而很快，专家系统所存在的应用领域狭隘、常识获取艰难、维护费用居高不下等问题开始裸露进去。AI 倒退遭逢了一系列财政问题，进入第二次低谷。
第三次浪潮(1995-2010)：安稳中积蓄力量
上个世纪 90 年代中期以来，随着计算机性能的高速倒退和海量数据的累积，人工智能的倒退正式进入古代 AI 时代。
1997 年，IBM 的国际象棋机器人深蓝（Deep Blue）战败国际象棋世界冠军卡斯帕罗夫，引起世界范畴内轰动。随后，条件随机场 (CRF，2001)、深度学习(Deep Learning, 2006)、迁徙学习(Transfer Learning，2010) 等实践先后被提出来。
第四次浪潮(2010- 至今)：暴发中走向低潮
进入 21 世纪的第二个十年以来，工业界开始陆续推出实打实的人工智能产品 / 利用。
2011 年 2 月，IBM 的问答机器人 Watson 在美国问答节目《Jeopardy！》上击败两位人类冠军选手；
2012 年 10 月，微软就在“21 世纪的计算”大会上展现了一个全自动同声传译零碎，它将演讲者的英文演讲实时转换成与他的音色相近、字正腔圆的中文；
2016 年 3 月，谷歌的围棋人工智能零碎 AlphaGo 与围棋世界冠军、职业九段选手李世石进行人机大战，并以 4:1 的总比分获胜；
随后在 2016 年末 -2017 年初，AlphaGo 又先后与中日韩数十位围棋高手进行快棋对决，连胜 60 局无一败绩，包含 3:0 完胜世界第一、中国选手柯洁。
与之对应的是，AI 学术界在这十多年来堪称百家争鸣，各显神通。
2012 年，Hinton(深度学习三巨头之一)和他的学生 Alex Krizhevsky 设计了第一个深度卷积神经网络 — AlexNet，并摘得了当年 ImageNet 图像分类较量的冠军；
尔后，CV 人相继提出了 VGGNet(2014)、Inception Net(2014)、ResNet(2015)、Fast RCNN(2015)、YOLO(2015)、Mask RCNN(2017)、MobileNet(2017)等 base model，引领了图像分类、人脸识别、指标检测、图像宰割、视频了解等畛域的疾速倒退；
NLP 人不甘示弱，他们先设计了 Word2Vec(2013)类能将单词转化为向量示意的工具，随后利用 LSTM(1997)系列循环神经网络，基于 Seq2Seq(2014) + Attention(2015)的架构实现了机器翻译、对话零碎等简单工作，并进一步在 2017 年提出了 Transformer 这一大杀器，同时进阶产生了 BERT(2018)系列性能更优更稳固的大模型。
还有另一群执着的 AI 者，他们更 focus 深度生成式网络模型。从变分自编码器 (VAE，2013) 到生成反抗网络 (GAN，2014)，再到去噪扩散模型(DDPM，2020) 和生成式预训练 Transformer (GPT 系列，2018- 至今)，这些具备开创性的模型真正带动了产业界 AIGC(生成式人工智能技术)的疾速倒退。
2017 年，微软“小冰”推出世界首部由人工智能创作的诗集《阳光失了玻璃窗》；2018 年，英伟达公布 StyleGAN 模型可主动生成高质量图片；2019 年，Deep Mind 公布 DVD-GAN 模型可生成连续性视频；直到 2022 年 11 月 30 日，OpenAI 公布 ChatGPT，本文的配角终于正式退场。
一部人工智能发展史也是一部信息技术反动发展史。
不同的是，当人工智能倒退到肯定阶段，它或者终将颠覆“机器帮忙人”的信息化时代，引领“机器代替人”的智能化时代。
「多年当前，兴许咱们会看到，ChatGPT 正是第四次科技反动开始的标志性事件之一。」
1.3 ChatGPT 背地的 NLP 和 Transformer
在理解 ChatGPT 的能力圈和人工智能的发展史之后，非 AI 从业者也能明确 ChatGPT 的钻研属于自然语言解决 (Natural Language Processing, NLP) 畛域领域。
自然语言解决(Natural Language Processing, NLP) 被誉为“人工智能皇冠上的明珠”，一方面表明了它的重要性，另一方面也突出了它的技术难度。
简略来说，NLP 要做的事就是利用计算机实现自然语言数据的智能化解决、剖析和生成，以期让计算机实现听、说、读、写、译这些人类所具备的语言能力。
更具体一点，NLP 畛域依据上游工作不同次要包含以下几类钻研方向：
仔细的读者曾经发现了，ChatGPT 根本曾经实现了以上 7 大类工作的中阶指标，所以 NLP 研究员和工程师们放心本人创造工具却抢了本人饭碗不是没有情理，其余技术含量不高的行业工作者也就更加战战兢兢。
NLP 的倒退也经验了三个大的阶段，即以规则学习为代表的第一阶段 (1960-1990)、以统计学习为代表的第二阶段(1990-2010) 和以深度学习为代表的第三阶段(2010- 至今)。
而其中真正影响 ChatGPT 和其余大语言模型产生的无疑是 Transformer 架构。
能够说，_Transformer 的呈现齐全关上了大规模预训练语言模型 (Pre-trained Language Model , PLM) 的空间，并且奠定了生成式 AI 的游戏规则。_
2017 年，Google 机器翻译团队在机器学习顶级会议 NIPS 上发表了《Attention is All You Need》论文，文章的外围正是 Transformer 模型。
Transformer 相比之前论文的 novalty 在于：大胆地摈弃了传统的 CNN 和 RNN 根底模型，整个网络结构齐全是由 Attention 机制组成。更精确地说，Transformer 由且仅由自注意力 (self-Attenion) 机制和前馈神经网络 (Feed Forward Neural Network) 组成。
而从理论利用的角度来看，Transformer 的次要奉献 (contribution) 在于以下几个方面：
1. 冲破了 RNN 模型不能并行计算的限度
2. 精度和模型复杂度相比 RNN/CNN + Attention 系列模型更优
3.Transformer 自身也能够作为 base model 扩大
咱们站在此刻回忆，ChatGPT 背地的 Transformer，其思维和架构恰好印证了那句:_「大道至简」_。
它首先在机器翻译工作中获得 SOTA，而后胜利被利用到 NLP 和 CV 等各个工作中，并取得了稳固优异的性能体现。
Transformer 模型架构图
起初的故事很多人都晓得了，Google 人再接再厉，他们在 2018 年 10 月提出来的 BERT(Bidirectional Encoder Representation from Transformers)模型再次轰动业界。
BERT 在机器浏览了解顶级程度测试 SQuAD1.1 中体现出惊人的问题: 全副两个掂量指标上全面超过人类，并且在 11 种不同 NLP 测试中创出 SOTA(业界最佳)体现，包含将 GLUE 基准推高至 80.4% (相对改良 7.6%)，MultiNLI 准确度达到 86.7% (相对改良 5.6%)，成为 NLP 发展史上的里程碑式的模型成就。
就当所有人认为 Google 会在大语言模型赛道中一骑绝尘时，最终率先让世人熟知的却是来自 OpenAI 的 GPT 系列模型。
二、技术门道
2.1 GPT- 1 到 ChatGPT 的演进和技术原理
GPT(Generative Pre-training Transformer)系列模型首先抉择和 BERT 绕道而行，只管 GPT-1(2018/06)公布的工夫比 BERT(2018/10)还要早。
BERT 仅应用了 Transformer 的编码器 (Encoder) 局部进行训练，而 GPT- 1 则只应用了 Transformer 的解码器 (Decoder) 局部。
由此二者各自走上了不同的路线。
GPT-1: 预训练 + 微调模式，117M 参数、12 层、2 亿单词
原文：Improving Language Understanding by Generative Pre-Training
预训练阶段：基于 Transformer Decoder 架构，以语言建模作为训练指标(自监督，依据已知的词预测未知的词)。
微调阶段：将训练好的 Decoder 参数固定，接上一层线性层，通过有监督训练任务微调线性层的参数，从而进行预测。
GPT- 1 的局限：微调只能用到特定工作中，如果 fine-tune 一个分类工作，就不能用到句子类似度工作中去。
所以能不能用一个模型去做所有 NLP 的工作？
这就是后续 GPT- 2 和 GPT- 3 的改良指标。
GPT-2: 多任务学习 + zero-shot learning，1542M 参数、48 层、400 亿单词
原文：Language Models are Unsupervised Multitask Learners
GPT- 2 的指标是试图用一个模型去做多个 NLP 工作，它的核心思想就反映在论文题目里：_语言模型 = 无监督多任务学习_。
艰深地解释一下：语言模型实际上是一种自监督的形式，依据已知的词预测未知的词，只是不须要显示地定义哪些字段是要预测的输入。那如何用无监督多任务的训练形式实现语言模型自监督训练 + 多任务微调的成果呢？咱们只须要将 input、output 和 task 都示意为数据，例如在一个英文翻译成法语的机器翻译工作中，咱们只须要将样本、标签和工作示意成如下格局，就实现了对 P(output|input,task) 的建模。
重要的是，这种形式能够实现无监督训练，并且外面的 task 能够变动，也就是说当初 GPT- 2 能够实现无监督多任务训练而不须要第二阶段分不同工作有监督的微调！
所以最初咱们看到，GPT- 2 绝对于 GPT-1，最大的改良就是去掉了第二阶段的微调 (fine-tune) 层，实现了多任务训练和 zero-shot 形式 (Zero-shot learning，零样本学习) 间接接诸多的上游工作，在多个工作下都能够获得很好的成果。
当然肉眼可见的还有数据集、网络层数、参数量、词汇表大小、初始化和 LN(layer normalization)的调整。
GPT-3：in-context learning + few-shot learning，1750 亿参数、96 层、5000 亿单词
原文：Language Models Are Few-shot Learners
GPT-3 根本继承了 GPT- 2 的模型架构和训练模式，除了鼎力出奇观的海量数据和巨型参数之外，GPT- 3 在模型设计层面绝对于 GPT- 1 和 GPT- 2 次要的改良点在于：in-context learning(上下文情境学习，ICL) 和 few-shot learning(小样本学习，FSL)配合服用。
咱们曾经晓得，GPT- 1 和 BERT 都须要对上游工作进行微调，而 GPT- 2 通过无监督多任务和零样本学习舍弃了微调，并且验证了性能更加优越，那是否在不须要微调的前提下持续晋升呢？
答案是能够，引入 in-context learning(上下文情境)学习机制。
这种机制能够了解为给模型加肯定的先验常识，适当对模型进行疏导，教会它该当输入什么内容。
比方你心愿 GPT3 帮你把中文翻译成英文，你能够这么向他发问：
用户输出到 GPT3：请把以下中文翻译成英文：你感觉球神帅吗？
如果你心愿 GPT3 答复你的问题，你能够换个形式问：
用户输出到 GPT3：模型模型你说说：你感觉球神帅吗？
这样模型就能够依据用户提醒的情境，进行针对性的答复了。
这里只是通知了模型怎么做，能不能先给个示例呢？
用户输出到 GPT-3：请答复以下问题：你感觉球神帅吗？=> 我感觉还挺帅的呢; 你感觉科比打球帅还是欧文打球帅？=>
其中答复球神帅不帅就是一个示例，用于让模型感知应该输入什么。
基于以上，只给提醒就是 zero-shot，给一个示例叫做 one-shot，给大量多个示例就是 few-shot。
业余的读者应该能发现，这里给提醒的 in-context learning(上下文情境)学习跟 prompt learning(提醒学习)的思维很类似。
GPT- 3 论文里提供了 3 个版本的性能比拟：
显然，in-context learning(情境学习)搭配 few-shot learning(小样本学习)成果更好。
InstructGPT: RLHF（人类反馈强化学习）+ PPO(近端策略优化)
原文：Training language models to follow instructions with human feedback
InstructGPT 绝对 GPT- 3 要解决的是大模型的 alignment(对齐)问题。其背景是：大型语言模型会生成一些不实在、有毒 (不合乎人类道德伦理等) 或对用户毫无帮忙的输入，显然这些与用户期待的不统一。
大模型在预训练过程中见识了各种各样的数据，因而针对一个 prompt/instruct(提醒)会输入什么货色，也可能是多种多样的，然而预训练数据中呈现的数据模式，不代表都是人类在应用模型时心愿看到的模式，因而须要一个 alignment(对齐)的过程，来标准模型的“言行举止”。
而实现这个过程 InstructGPT 引入了 RLHF 机制(人类反馈强化学习)，实际上 6 年前的 AlphaGo 正是充分利用了强化学习，才在围棋畛域实现了所到之处无敌手。
简略点说，InstructGPT 就是在 GPT- 3 根底上利用 RLHF 机制 (人类反馈强化学习) 做了微调，以解决大模型的 alignment(对齐)问题。
咱们无妨先想一下，应该如何解决模型输入跟人类期待不匹配的问题？
最间接的方法，就是人工结构一大批数据（标注员本人写 prompt 和期待的输入），完全符合人类的期待的模式，而后交给模型去学。然而，这代价显然太大了。因而，咱们得想方法怎么让这个过程变得更轻松一点，RLHF 机制 (人类反馈强化学习) 做到了这一点。
上面是 InstructGPT 的流程图，看懂了它也就能明确 RLHF 机制是如何实现的。
Step-1: 称初始模型为 V0，也就是 GPT-3。咱们能够先人工结构一批数据，不必数量很大，尽其所能，而后先让模型学一学，称这个时候模型为 V1。
Step-2: 而后让模型再依据一堆 prompt(提醒)输入，看看成果咋样，咱们让模型 V1 对一个 prompt 进行多个输入，而后让人对多个输入进行打分排序，排序的过程尽管也须要人工，然而比间接让人写训练数据，还是要不便的多，因而这个过程能够更轻松地标注更多数据。然而，这个标注数据，并不能间接拿来训练模型，因为这是一个排序，但咱们能够训练一个打分模型，称为 RM（reward-model，也即处分模型），RM 的作用就是能够对一个 <prompt,output> pair 打分，评估这个 output 跟 prompt 搭不搭。
Step-3: 接下来，咱们持续训练 V1 模型(被一个策略包装并且用 PPO 更新)，给定一些 prompt，失去输入之后，把 prompt 和 output 输出给 RM，失去打分，而后借助强化学习的办法，来训练 V1 模型(打分会交给包着 V0 模型内核的策略来更新梯度)，如此重复迭代，最终修炼失去 V2 模型，也就是最终的 InstructGPT。
整体了解一下：整个过程就是老师（人类标注员）先注入一些精髓常识，而后让模型试着模拟老师的爱好做出一些尝试，而后老师对模型的这些尝试进行打分，打分之后，学习一个打分机器，最初打分机器就能够和模型配合，自动化地进行模型的迭代，总体思路称为 RLHF：基于人类反馈的强化学习。
其中，PPO 机制 (Proximal Policy Optimization，近端策略优化) 是强化学习中 AC 类(Actor/Critic) 的经典算法，由 OpenAI 2017 年提出，既有 Policy Gradient 办法的劣势，同时基于 importance sampling 实现 experience buffer 的利用，施展相似 DQN 类算法的数据利用劣势。
PPO 是 OpenAI 罕用的 baseline 办法，实践局部相当简单，感兴趣的业余读者能够浏览原文和相干博客。
原文：Proximal policy optimization algorithms
非专业读者只须要了解到这是一种适应人类反馈强化学习 (RLHF) 机制实现整个流程训练的策略优化算法即可。
通过以上流程拆解，咱们不难发现 InstructGPT 能通过这种 RLHF 机制实现更好的性能，有一个大的前提：就是初始模型 GPT- 3 曾经足够弱小。
只有初始模型自身比拟弱小了，能力实现人类提供大量的精髓数据，就能够开始进行模拟，同时在第二步产出较为正当的输入供人类打分。
ChatGPT: 聊天升级版 InstructGPT
依据 OpenAI 官网介绍，2022/11 公布的 ChatGPT 和 2022/02 公布的 InstructGPT 在模型构造，训练形式上都完全一致，只是采集数据的形式上有所差别，然而目前没有更多的材料表明数据采集上有哪些细节不同。
所以，ChatGPT 的技术原理与他的小兄弟 InstructGPT 基本一致，相当于 InstructGPT 是 ChatGPT 的预热版，也被称为 GPT3.5，而传言行将公布的 GPT- 4 是一个多模态模型(能够解决图片 + 文本 + 语音等多模态数据)，期待。
至此，从 GPT- 1 到 ChatGPT 的演进和技术原理就解释得差不多了。
import 有点爆肝
最初来一张 Instruct/ChatGPT 中文架构流程图，更加清晰易懂。
2.2 ChatGPT 的局限性
只管 ChatGPT 曾经足够人工智能了，然而在泛滥实在智能人类的鉴定下，它目前还存在不少局限。
性能局限
1. 有时答案会呈现事实性谬误
2. 依然会产生有偏见、与人类道德伦理不对齐的内容
3. 没有与实时信息建设关联
4. 有时对输出的表达方式体现敏感
5. 有时答复过于简短
以上限度次要基于以下几点复合起因：
1.ChatGPT 乃至所有机器学习模型都是基于已有的数据、常识、关联、标签等做出的预测，因而只有它有所依赖和基于概率预测，谬误、不准、有偏见的答案实践上都是存在的，只是精度和召回的问题；
2.ChatGPT 的人工标注 (包含批示和输入) 准确度、表白层度、“价值观”等还能够晋升，目前的 AI 对齐形式 –RLHF 机制也未必是最优；
3.ChatGPT 的信息更新停留在了 2021 年，它目前还无奈连贯搜索引擎，将最新、最实时的信息反馈给用户。
技术局限
1. 再大的模型都不能无限大
2. 模型受处分模型和人工标注影响较大
这是 ChatGPT 技术架构的两大痛点，也是目前深度学习和强化学习钻研畛域的两大难点问题。
其余局限
1. 数据和算力带来技术的垄断
ChatGPT 训练须要的这种数据和算力体量，使得玩家根本就国外和国内那些科技巨头企业。而且目前 ChatGPT 也不会开源，这就使得学校和中小 AI 企业没得钻研，这并不利于 ChatGPT 自身的提高。
2. 模型轻量化和性能的均衡
ChatGPT 的参数量曾经达到千亿级，如此大的模型显然不适宜大规模实在场景利用，后续的模型轻量化钻研不可回避，而轻量化和性能的均衡也是一个微小的挑战。
3. 可解释性背地的 AI 可信
即便目前的 ChatGPT 在各项 NLP 工作上体现惊人，然而模型自身还像一个黑盒，可解释性仍然是业余算法人须要深刻摸索的点，用户的期待仍然是更加可信的 AI。
2.3 ChatGPT 的优化和摸索方向
1. 多模态扩大
ChatGPT 目前所展现进去的能力还次要在文本域和少部分跨模态 / 域的内容生成。
下一步的趋势曾经很显著，对立集成文本、图像、语音、视频等多模态了解和生成能力，像人一样，多模态思考、多模态解决。
_2. 不止于 RLHF，摸索其余 AI 对齐形式_RLHF(人类反馈强化学习)并不是惟一的 AI 对齐技术，针对强化学习的 AI 对齐还有很多办法、很多策略能够摸索。
3. 晋升批示的泛化和纠错能力
除了人工标注的标签 (ground truth)，ChatGPT 对批示(prompt) 的依赖也非常明显，进一步晋升模型对批示的泛化能力以及对谬误批示的纠错能力，不仅能晋升用户应用模型的体验，也能使模型可能适应更宽泛的利用场景。
4. 模型轻量化技术摸索
自深度学习框架成果被宽泛验证以来，CV 界和 NLP 界为了谋求性能，过来 10 年的钻研工作总体趋势是模型层数越来越深、参数越来越多、数据量越来越大。
然而在圈里的每个人其实又都晓得，到了某个阶段必须得破圈，现在，ChatGPT 尽管性能爆棚，但其模型之大之深显然不适宜大规模实在场景甚至在端上利用，将来对模型轻量化的钻研不可回避，而轻量化和性能的均衡也十分考验 AI 技术是否真的走向成熟。
5. 数据 + 算力 + 人工标注的降本增效
数据、算力和算法作为 AI 三要素，ChatGPT 胜利地把其中的数据、算力附加人工标注的资源老本打到高校、钻研机构、其余小 AI 公司无奈接受的程度，所以即使泛滥专家学者吐槽“鼎力出奇观”却也无可奈何。
技术仿佛又一次走在了迷信的后面，这对科技自身的长期提高显然并不无利。
然而，从 OpenAI 等大型资本加持的巨头企业角度来看，他们也同样心愿在将来可能逐渐降本增效，毕竟 AI 开发者的终极目标还是“AI，让生存更美妙”，只不过这其中会有诸如技术垄断、商业竞争等因素夹杂在其中更影响实现的工夫。
三、商业利用
3.1 国内外资本投入层层加码
除了 ChatGPT 能做什么以及背地的技术门道，人们或者更关怀它将来的产品化和商业化的过程。
而简单且高投入的技术要想可能大规模产品化和商业化，离不开资本的助力。
事实上，OpenAI 的倒退历程首先证实了这一点。
OpenAI 由创业家埃隆·马斯克、美国守业孵化器 Y Combinator 总裁阿尔特曼、寰球在线领取平台 PayPal 联结创始人彼得·蒂尔等人于 2015 年 12 月在旧金山创建。
起初它的定位是一家非盈利的 AI 钻研公司，而后在 2019 年 3 月，OpenAI 成立了一家叫做 OpenAI LP 的无限合伙公司，正式适度到“封顶盈利”性质。
转折点在 2019 年 7 月，微软向 OpenAI 豪注 10 亿美金，并取得了 OpenAI 技术商业化的受权。
所以 2020 年 5 月 OpenAI 胜利公布了 1750 亿参数 +45TB 数据量的 GPT- 3 语言模型，仅仅训练阶段就破费了大概 1200 万美元。
真就 Money is all you need.
而在 ChatGPT 大放异彩的 2023 年初，微软、谷歌、亚马逊、百度、腾讯等国内外科技巨头更加不违心错过机会，随之而来的是资本和研发投入的层层加码，烧钱 + 烧人。
3.2 ChatGPT 商业化尾声曾经拉开
2 月 1 日，微软发表推出由 ChatGPT 提供技术支持的视频会议及近程合作平台 Teams 的高级付费版 Microsoft Teams Premium，订阅者可享受 OpenAI GPT 提供反对的大型语言模型技术，用 AI 主动生成会议笔记。
2 月 2 日，OpenAI 发表，推出其人工智能聊天机器人 ChatGPT 的付费订阅版本，新的订阅服务名为 ChatGPT Plus，月费为 20 美元。订阅包含在顶峰应用工夫拜访聊天机器人。目前的收费版本在使用率高的时间段将限度对用户的服务。
2 月 8 日，微软推出了由 OpenAI 提供最新技术支持的新版搜索引擎必应（Bing）和 Edge 浏览器。
ChatGPT 曾经被亚马逊用于各种不同的工作职能中，包含答复面试问题、编写软件代码和创立培训文档等。
文案主动生成平台 Jasper，其技术底层是 OpenAI 的 GPT-3，在成立仅 18 个月后就达到了 15 亿美元的高估值。
2 月 7 日，百度发表将在 3 月份实现其 ChatGPT 产品的内测，面向公众凋谢，该我的项目名字为文心一言（ERNIE Bot）。
ChatGPT 利用场景宽泛，商业价值微小，无望赋能传媒、影视、营销、教育、金融、医疗、科研、游戏等多个行业。
ChatGPT 赋能传媒：实现智能新闻写作，晋升新闻的时效性
ChatGPT 能够帮忙新闻媒体工作者智能生成报道，将局部劳动性的采编工作自动化，更快、更准、更智能地生成内容。
ChatGPT 赋能影视：拓宽创作素材，晋升作品品质
ChatGPT 能够依据公众的趣味身定制影视内容，从而更有可能吸引公众的注意力，取得更好的收视率、票房和口碑。ChatGPT 能够为剧本创作提供新思路，创作者可依据 ChatGPT 的生成内容再进行筛选和二次加工，从而激发创作者的灵感，开辟创作思路，缩短创作周期。
ChatGPT 赋能营销：打造虚构客服，助力售前和售后
ChatGPT 赋能教育金融医疗：促成数实共生，助力产业降级
ChatGPT+ 教育：赋予教育教材新生机，让教育形式更个性化、更智能；
ChatGPT+ 金融：帮忙金融机构降本增效，让金融服务更有温度；
ChatGPT+ 医疗：赋能医疗机构诊疗全过程。
另外，ChatGPT 和之前热炒的元宇宙显然还不太一样。
元宇宙到目前为止更像是一个美妙的想法，还没有理论的产品和成熟的模式产生，公众甚至查阅材料都无奈明确元宇宙是要做什么。
但 ChatGPT 以及背地的生成式人工智能(AIGC)，不仅有 ChatGPT 这样 To C 触感十分强烈的产品，而且曾经能看到如上述一些比拟清晰的商业化模式。
当初缺的就是资本减速和技术冲破。
3.3 ChatGPT 助力 AIGC 浪潮再起
AIGC(Artificial Intelligence Generated Context)，是指利用人工智能技术来生成内容，常见如 AI 绘画、AI 写作、AI 生成图片、代码、视频等。
AIGC 顺着 AI 倒退的脉络，大抵经验了三个大的阶段：
2010 年以来，随着深度学习的疾速冲破以及数字内容的海量增长，AIGC 畛域相干技术突破了预约义规定的局限性，算法模型构造不断创新，使得疾速便捷且智慧地输入多模态的数字内容成为可能。
从 2017 年微软小冰作诗到 2018 年英伟达 StyleGAN 生成高质量图片，再到 2019 年谷歌 DeepMind DVD-E2 生成间断视频，AIGC 正在经验一波蓬勃发展。
直到本文的配角 ChatGPT 2022 年年底出场，AIGC 终于迎来了冲破式的拐点，新一轮的浪潮正在徐徐开展。
AIGC 利用场景
AIGC 按内容生成类别可划分为文本、代码、图像、音视频四大类，而跨模态生成技术是真正实现生成式智能的外围。
AIGC 的意义在于进步内容生产力、关上内容创作设想空间，这或者也是巨头争相加码 AIGC 的起因所在。从现有的利用场景来看，AIGC 曾经能够代替局部反复劳动力，并帮助局部创造性劳动，将来 AI 技术的倒退无望一直升高内容生产成本、进步生产效率并拓展内容边界。
AIGC 市场空间
2023 年人工智能从学术研究逐步走向产业化，商业与 AI 技术的交融造成互为支点的倒退格局，进入产业规模商用期。人工智能技术将一直地对 AI 数字商业的各个领域进行浸透。
据量子位预测，2030 年 AIGC 市场规模无望超过万亿元。在内容畛域，人机协同，对于存量业务，AIGC 的价值在于降本增效，对于增量业务，其价值在于跨模态的内容生成等。
据 Gartner 的“人工智能技术成熟度曲线”，生成式 AI 仍处于萌芽期，但其广大的利用场景和需要空间吸引大量资本和技术的投入，预计将在 2 - 5 年内实现规模化利用。
AIGC 有后劲产生数万亿元的经济价值，AIGC 凋敝倒退，将促成资产服务疾速跟进，通过对生成内容合规评估、资产治理、产权保护、交易服务等形成 AIGC 残缺生态链，并进行价值重塑，充沛开释其商业后劲，至 2025 年中国生成式 AI 商业利用规模至 2070 亿元。
AIGC 商业模式
过来 AI 倒退多年，尽管在诸多畛域也获得一些显著成绩，但从整个 AI 产业来看，过来的利用更多的像是通过业余学习的“专科生”，不具备通用场景的泛化性。
但 ChatGPT 的问世，证实了基于大模型的 AIGC 曾经像是一位承受过通识教育的“本科生”，尽管在倒退初期在特定业余畛域性能无限，却有着更强的可拓展性，可能赋能和落地各个商业畛域。并且直观来看，ChatGPT 通知世人，AI 变成了一个普通人也能够轻松使用、晋升效率的工具。
这意味着 AIGC 的商业模式更加显式化，不仅能够 To B 也能够 To C。
AIGC To B 模式次要心愿解决的痛点问题在于：用 AI 代替人工生产，帮忙企业实现降本增效。因为对 B 端带来的成果是快而显著的，因而客户的付费志愿较强。
而 To C 模式下，对于个人用户来说，一方面 AIGC 利用能够作为效率工具，可能在信息获取、格局整顿和工作流等各个流程进步个人用户的效率，并且 AI 模型作为基础设施可能集成到现有的工作流程中；另一方面能够作为创作工具，相似剪辑、修图软件一样，AIGC 可能在用户原创风行的明天，大幅度降低公众用户的创作门槛，强化集体媒体的 IP 价值。
从商业角度而言，将 AIGC 作为底层基础设施的 SaaS 订阅将成为中长期趋势。用户抉择付费的逻辑在于：更高效的信息获取形式；从辅助表白到代替表白；集成到已有的工作流；扩充用户创造力。
AIGC 产业链
一方面，AIGC 产业链可依据模型档次划分为根底层、中间层、应用层三层架构。
(1) 根底层：利用预训练模型搭建基础设施，该环节具备最高的进入门槛，参与者以头部企业为主
预训练模型是泛滥小模型的通用基底，为开发者升高 AI 开发与利用的门槛。预训练模型初始投入老本高、运行老本高，对软件、硬件均提出较高要求，因而涉足该环节的企业以微软、谷歌、英伟达、Meta 等科技巨头以及 OpenAI、Stability.ai 等 AI 钻研机构为主。
以 OpenAI 为例，2020 年该机构训练 GPT- 3 的硬件及电力老本达 1200 万美元；以 Meta 为例，为了提供更弱小的算力撑持，Meta 携手英伟达、Penguin Computing 及 Pure Storage 打造 AI 超级计算机 RSC，其测试数据显示，RSC 训练大型 NLP 模型的速度晋升 3 倍，运行计算机视觉工作的速度晋升 20 倍。
(2) 中间层：基于预训练模型开发垂直化、场景化、个性化的模型和利用工具
中间层厂商基于预训练的大模型生成场景化定制化的小模型，帮忙不同行业和垂直畛域实现 AIGC 的疾速部署。在预训练模型根底之上，开发者可依据不同行业、不同性能场景生成相应的小模型，根底层企业向中间层延长为趁势而为。
此外，根底层企业还可表演 MaaS（Model-as-a-Service）服务提供方，将其模型开源给更多企业以二次开发模型，如 Novel AI 基于 Stability.ai 的开源模型 Stable Diffusion 开发出二次元格调 AI 绘画工具。
(3) 应用层：面向 C 端用户提供文本、图像、音视频等内容生成服务
应用层是指面向 C 端提供 AIGC 相干服务，典型企业包含微软、Meta、百度、腾讯，阿里巴巴等。基于根底层、中间层的模型及工具，应用层企业可将其重心放在满足用户需要乃至发明内容生产需要上，AI 写作、AI 绘画等 AIGC 利用已在营销、娱乐、艺术珍藏等畛域落地。
以国内企业为例，视觉中国依靠其数字版权内容劣势布局 AIGC 数字藏品，借力 AI 继续裁减艺术多元性，截至目前多轮发售的 AIGC 数字藏品均已售罄；蓝色光标机器人小蓝博面向广告主推出 AI 绘画、AI 写作工具，其中 AI 绘画工具创意画廊可生成形象格调画作以适配不同营销场景。
另一方面，「数据算力、算法模型和下层利用」又形成了 AIGC 产业链的间接上中下游关系。
AIGC 上游次要包含数据供给方、算法机构、创作者生态以及底层配合工具等，中游次要是文字、图像、音频和视频解决厂商，其中玩家泛滥；上游次要是各类内容创作及散发平台以及内容服务机构等。
后记
ChatGPT，作为一项影响力出圈的 AI 技术利用，是近 10 年来人工智能和计算机技术疾速倒退、不断更新迭代、多种技术叠加在一起造成量变的产物，是自然语言解决 (NLP) 畛域近年来钻研的结晶。
ChatGPT 实现了一种使机器取得语言智能的残缺无效技术路线，但这个钻研方向依然面临诸多挑战，须要在迷信和技术上进一步摸索。
同时展望未来，它对 AIGC、产业互联网、数字经济等畛域的长足发展也将影响深远。
最初附上几个有争议性的话题，供读者思考和交换。
ChatGPT 会引领第四次科技反动吗？
关键词：生产力、规模、效率
ChatGPT 会给人类带来就业潮吗？
关键词：情感、创造力、稀缺性
ChatGPT 适宜下海守业吗？
关键词：技术、资金、团队、商业模式
ChatGPT 及 AIGC 产业链有值得投资的企业吗？
关键词：纳指 100、中概互联、腾讯、百度、科大讯飞
参考文献
学术论文：
Transformer: Attention Is All You Need, 2017. BERT: Bidirectional Encoder Representation from Transformers, 2018.
GPT-1: Improving Language Understanding by Generative Pre-Training, 2018.
GPT-2: Language Models are Unsupervised Multitask Learners, 2019.
GPT-3: Language Models Are Few-shot Learners, 2020.
InstructGPT: Training language models to follow instructions with human feedback, 2022.
ChatGPT: Optimizing Language Models for Dialogue, 2022.
证券研报：
1. 国泰君安 - 计算机行业：ChatGPT 钻研框架（2023）
2. 华西证券 - 计算机行业深度钻研报告：ChatGPT，开启 AI 新纪元
3. 银河证券 - 计算机行业：聊天机器人顶流 ChatGPT，开启自然语言解决畛域新篇章
4. 招商证券 - 计算机行业：ChatGPT 疾速风行，重构 AI 商业模式
5. 国联证券 - 计算机行业：ChatGPT 风口已至，商业化落地减速
6. 西方证券 - 计算机行业：ChatGPT 引领 AI 新浪潮，AIGC 商业化启程
7. 兴业证券 - 计算机行业：从 AIGC 到 ChatGPT，原理、前景和机会
8. 华泰证券 - 计算机行业：ChatGPT：深度拆解
9. 招银国内 - 中国互联网行业：ChatGPT & AIGC 在中国市场的发展前景
公众号文章：
慧博资讯：《ChatGPT 行业深度报告》
慧博资讯：《AIGC 行业深度报告》
TJUNLP：《对 ChatGPT 的二十点认识》，作者：熊得意老师
知乎文章：
https://zhuanlan.zhihu.com/p/589621442
https://zhuanlan.zhihu.com/p/517219229
https://zhuanlan.zhihu.com/p/34656727
https://zhuanlan.zhihu.com/p/595891945
https://zhuanlan.zhihu.com/p/597264009
https://zhuanlan.zhihu.com/p/563166533
https://zhuanlan.zhihu.com/p/606901798
https://www.zhihu.com/question/570431477/answer/2888747398
https://www.zhihu.com/question/581311491/answer/2882281060
