关于chatgpt:ChatGPT背后的AI背景技术门道和商业应用万字长文建议收藏

作者：京东科技 李俊兵

各位看官好，我是球神（江湖代号）。

自去年11月30日ChatGPT问世以来，迅速爆火出圈。

起初我仍然认为这是和当年Transformer, Bert一样的“热点”模型，然而当一篇篇文章/报告一直推送到我的眼前，我后知后觉地发现这次真的不一样。

很间接的一点是，ChatGPT曾经影响到非AI、非互联网、非计算机的每一个人了。

你会看到，泛滥科技界大佬，马斯克、纳德拉、李开复、李彦宏、周鸿祎等，都在发宣称 ChatGPT 将扭转世界；

太多的互联网公司，如微软、谷歌、百度、阿里、腾讯等正在抢占商业先机；

还有更多的学术机构、高校也开始探讨 ChatGPT 生成论文是否合乎学术标准；

忽然之间各行各业从业者开始担心被 ChatGPT 代替……

「初看认为是热点，再看已成经典…」

于是我决定好好钻研它一番，并力争把它写得全面而通俗易懂一点，最终就有了这篇万字长文报告，倡议珍藏、缓缓浏览。

文章主题对于：「ChatGPT背地的AI背景、技术门道和商业利用。」

以下是目录和注释内容：

引言

我和聊天机器人的小故事

一、 AI背景

1.1 ChatGPT的出圈和能力圈

1.2 人工智能倒退简史

1.3 ChatGPT背地的NLP和Transformer

二、技术门道

2.1 GPT-1到ChatGPT的演进和技术原理

2.2 ChatGPT的局限性

2.3 ChatGPT的优化和摸索方向

三、商业利用

3.1 国内外资本投入层层加码

3.2 ChatGPT商业化尾声曾经拉开

3.3 ChatGPT助力AIGC浪潮再起

后记

ChatGPT会引领第四次科技反动吗？

ChatGPT会给人类带来就业潮吗？

ChatGPT适宜下海守业吗？

ChatGPT以及AIGC产业链有值得投资的机会吗？

参考文献

笔者相干背景简介

引言

我和聊天机器人的小故事

早在2017年末至2018年上半年，我刚拿到计算机专业研究生的入场券，同时须要实现本科毕业设计。因而，我抉择提前进入研究生实验室并带回一个毕设课题：中文文本对话零碎(俗称：聊天机器人)。

没错，从钻研方向来说，明天文章的配角ChatGPT正好属于我那会的钻研领域—自然语言解决(NLP)。只不过起初因为一些不可控因素，我更加关注于机器学习和计算机视觉畛域。

记得最初写本科毕业论文和问难的时候，我的中文文本聊天机器人(基于Seq2Seq + Attention架构)还很low：只能放弃4-5轮对话逻辑；略微问难点答案就面目全非；对话的文本不能太长…

尽管同样在2017年，Transformer架构曾经问世，但站在那个工夫节点，即使是一线钻研人员和工程师，恐怕也很难设想到5年后的2022年，就会有ChatGPT这样的景象级通用聊天机器人程序呈现。

“科技的倒退不是平均的，而是以浪潮的模式呈现”。---《浪潮之巅》，吴军

一、AI背景

1.1 ChatGPT的出圈和能力圈

只管ChatGPT曾经火爆到让很多人疯狂，咱们还是心愿静下心来认真看看它当初到底能做什么，它的边界又在哪里。

各大热门平台产品月沉闷用户数破亿所需时长

先看产品理论利用测试的成果：

再看产品体现背地形象出的深层次能力：

所以，从公布到当初2个多月来，ChatGPT曾经证实了它的能力圈包含：主动问答、多轮聊天、文章创作、语言翻译、文本摘要、编写和debug代码等，同时这些表层能力背地反映了其具备了解人类用意、敢于质疑、抵赖不晓得、一直学习进化等深层次ability。

并且这些能力体现曾经远超过往其余AI机器人，也曾经失去了包含AI研究者、工程师和各行各业产业专家们的统一认可。

不得不抵赖，从单项性能体现、整体性能笼罩、稳定性、时效性、鲁棒性等多个维度评估，目前的ChatGPT曾经足够颠覆，它让通用AI钻研和产业落地成为可能。

1.2 人工智能倒退简史

提起人工智能和计算机科学，有个名字总是无奈绕开。

他是英国人艾伦·图灵（Alan Turing）。

图灵(Alan Turing，1912-1954)出世的那年，他的祖国正处在“日不落”的全盛时期，占有的殖民地是外乡面积的百倍无余。而在边远的西方，中华民国临时政府在南京成立，中山学生就任长期大总统，属于中华民族的反动振兴才刚刚开始(「ChatGPT应该写不出这段」)。

1950年，时年38岁的图灵在数学和逻辑学畛域曾经成就颇丰，但当他在《计算机与智能》论文中提出驰名的“图灵测试”构想时，后世的人们更加不会遗记他对人工智能和计算机科学畛域做出的杰出贡献。

“如果第三者无奈分别人类与人工智能机器反馈的差别，则能够论断该机器具备人工智能”。--- 图灵, 人工智能之父

工夫来到1956年8月，在美国达特茅斯学院，约翰·麦卡锡、马文·闵斯基、克劳德·香农、艾伦·纽厄尔、赫伯特·西蒙等科学家 一起探讨了用机器来模拟人类学习以及其余方面的智能等问题，首次提出了“人工智能”这个概念，也就此标记了人工智能学科的诞生。

尔后，人工智能的倒退经验了四次大的浪潮。

第一次浪潮(1956-1980)：首次凋敝到低谷

初代AI中计算机被用于证实数学定理、解决代数应用题等畛域。这一时期感知机(1957)、模式识别(1961)、人机对话(1966)、专家系统(1968)、视觉计算(1976)等实践先后被提出来。

好景不长，专家和学者们发现仅仅具备逻辑推理能力远远不够实现人工智能，许多难题并没有随着时间推移而被解决，很多AI零碎始终停留在了玩具阶段。之前的过于乐观使人们预期过高，又不足实质性的停顿，许多机构逐步进行了对AI钻研的赞助。人工智能遭逢了第一次低谷。

第二次浪潮(1980-1995)：二次复苏到萧条

AI 2.0时代专家系统和多层神经网络失去推广应用，人机对话机器人、语音管制打字机逐步问世，这一时期贝叶斯网络(1985)、反向流传(BP，1986)、反对向量机(SVM，1995)等算法先后被提出来。

然而很快，专家系统所存在的应用领域狭隘、常识获取艰难、维护费用居高不下等问题开始裸露进去。AI倒退遭逢了一系列财政问题，进入第二次低谷。

第三次浪潮(1995-2010)：安稳中积蓄力量

上个世纪90年代中期以来，随着计算机性能的高速倒退和海量数据的累积，人工智能的倒退正式进入古代AI时代。

1997年，IBM的国际象棋机器人深蓝（Deep Blue）战败国际象棋世界冠军卡斯帕罗夫，引起世界范畴内轰动。 随后，条件随机场(CRF，2001)、深度学习(Deep Learning, 2006)、迁徙学习(Transfer Learning，2010)等实践先后被提出来。

第四次浪潮(2010-至今)：暴发中走向低潮

进入21世纪的第二个十年以来，工业界开始陆续推出实打实的人工智能产品/利用。

2011年2月，IBM的问答机器人Watson在美国问答节目《Jeopardy！》上击败两位人类冠军选手；

2012年10月，微软就在“21世纪的计算”大会上展现了一个全自动同声传译零碎，它将演讲者的英文演讲实时转换成与他的音色相近、字正腔圆的中文；

2016年3月，谷歌的围棋人工智能零碎AlphaGo与围棋世界冠军、职业九段选手李世石进行人机大战，并以4:1的总比分获胜；

随后在2016年末-2017年初，AlphaGo又先后与中日韩数十位围棋高手进行快棋对决，连胜60局无一败绩，包含3:0完胜世界第一、中国选手柯洁。

与之对应的是，AI学术界在这十多年来堪称百家争鸣，各显神通。

2012年，Hinton(深度学习三巨头之一)和他的学生Alex Krizhevsky设计了第一个深度卷积神经网络--- AlexNet，并摘得了当年ImageNet图像分类较量的冠军；

尔后，CV人相继提出了VGGNet(2014)、Inception Net(2014)、ResNet(2015)、Fast RCNN(2015)、 YOLO(2015)、 Mask RCNN(2017) 、MobileNet(2017)等base model，引领了图像分类、人脸识别、指标检测、图像宰割、视频了解等畛域的疾速倒退；

NLP人不甘示弱，他们先设计了Word2Vec(2013)类能将单词转化为向量示意的工具，随后利用LSTM(1997)系列循环神经网络，基于Seq2Seq(2014) + Attention(2015)的架构实现了机器翻译、对话零碎等简单工作，并进一步在2017年提出了Transformer这一大杀器，同时进阶产生了BERT(2018)系列性能更优更稳固的大模型。

还有另一群执着的AI者，他们更focus深度生成式网络模型。从变分自编码器(VAE，2013)到生成反抗网络(GAN，2014)，再到去噪扩散模型(DDPM，2020)和生成式预训练Transformer (GPT系列，2018-至今)，这些具备开创性的模型真正带动了产业界AIGC(生成式人工智能技术)的疾速倒退。

2017年，微软“小冰”推出世界首部由人工智能创作的诗集《阳光失了玻璃窗》； 2018年，英伟达公布StyleGAN模型可主动生成高质量图片； 2019年，Deep Mind公布DVD-GAN模型可生成连续性视频； 直到2022年11月30日，OpenAI公布ChatGPT，本文的配角终于正式退场。

一部人工智能发展史也是一部信息技术反动发展史。

不同的是，当人工智能倒退到肯定阶段，它或者终将颠覆“机器帮忙人”的信息化时代，引领“机器代替人”的智能化时代。

「多年当前，兴许咱们会看到，ChatGPT正是第四次科技反动开始的标志性事件之一。」

1.3 ChatGPT背地的NLP和Transformer

在理解ChatGPT的能力圈和人工智能的发展史之后，非AI从业者也能明确ChatGPT的钻研属于自然语言解决(Natural Language Processing, NLP)畛域领域。

自然语言解决(Natural Language Processing, NLP) 被誉为“人工智能皇冠上的明珠”，一方面表明了它的重要性，另一方面也突出了它的技术难度。

简略来说，NLP要做的事就是利用计算机实现自然语言数据的智能化解决、剖析和生成，以期让计算机实现听、说、读、写、译这些人类所具备的语言能力。

更具体一点，NLP畛域依据上游工作不同次要包含以下几类钻研方向：

仔细的读者曾经发现了，ChatGPT根本曾经实现了以上7大类工作的中阶指标，所以NLP研究员和工程师们放心本人创造工具却抢了本人饭碗不是没有情理，其余技术含量不高的行业工作者也就更加战战兢兢。

NLP的倒退也经验了三个大的阶段，即以规则学习为代表的第一阶段(1960-1990)、以统计学习为代表的第二阶段(1990-2010)和以深度学习为代表的第三阶段(2010-至今)。

而其中真正影响ChatGPT和其余大语言模型产生的无疑是Transformer架构。

能够说，_Transformer的呈现齐全关上了大规模预训练语言模型(Pre-trained Language Model , PLM)的空间，并且奠定了生成式AI的游戏规则。_

2017 年，Google 机器翻译团队在机器学习顶级会议NIPS上发表了《Attention is All You Need》论文，文章的外围正是 Transformer 模型。

Transformer相比之前论文的novalty在于：大胆地摈弃了传统的CNN和RNN根底模型，整个网络结构齐全是由Attention机制组成。更精确地说，Transformer由且仅由自注意力(self-Attenion)机制和前馈神经网络(Feed Forward Neural Network)组成。

而从理论利用的角度来看，Transformer的次要奉献(contribution)在于以下几个方面：

1.冲破了 RNN 模型不能并行计算的限度

2.精度和模型复杂度相比RNN/CNN + Attention系列模型更优

3.Transformer自身也能够作为base model扩大

咱们站在此刻回忆，ChatGPT背地的Transformer，其思维和架构恰好印证了那句:_「大道至简」_。

它首先在机器翻译工作中获得SOTA，而后胜利被利用到NLP和CV等各个工作中，并取得了稳固优异的性能体现。

Transformer 模型架构图

起初的故事很多人都晓得了，Google人再接再厉， 他们在2018年10月提出来的BERT(Bidirectional Encoder Representation from Transformers)模型再次轰动业界。

BERT在机器浏览了解顶级程度测试SQuAD1.1中体现出惊人的问题: 全副两个掂量指标上全面超过人类，并且在11种不同NLP测试中创出SOTA(业界最佳)体现，包含将GLUE基准推高至80.4% (相对改良7.6%)，MultiNLI准确度达到86.7% (相对改良5.6%)，成为NLP发展史上的里程碑式的模型成就。

就当所有人认为Google会在大语言模型赛道中一骑绝尘时，最终率先让世人熟知的却是来自OpenAI的GPT系列模型。

二、技术门道

2.1 GPT-1到ChatGPT的演进和技术原理

GPT(Generative Pre-training Transformer)系列模型首先抉择和BERT绕道而行，只管GPT-1(2018/06)公布的工夫比BERT(2018/10)还要早。

BERT仅应用了Transformer的编码器(Encoder)局部进行训练，而GPT-1则只应用了Transformer的解码器(Decoder)局部。

由此二者各自走上了不同的路线。

GPT-1: 预训练+微调模式，117M参数、12层、2亿单词

原文：Improving Language Understanding by Generative Pre-Training

预训练阶段：基于Transformer Decoder架构，以语言建模作为训练指标(自监督，依据已知的词预测未知的词)。

微调阶段：将训练好的Decoder参数固定，接上一层线性层，通过有监督训练任务微调线性层的参数，从而进行预测。

GPT-1的局限：微调只能用到特定工作中，如果fine-tune一个分类工作，就不能用到句子类似度工作中去。

所以能不能用一个模型去做所有NLP的工作？

这就是后续GPT-2和GPT-3的改良指标。

GPT-2: 多任务学习 + zero-shot learning，1542M参数、48层、400亿单词

原文：Language Models are Unsupervised Multitask Learners

GPT-2的指标是试图用一个模型去做多个NLP工作，它的核心思想就反映在论文题目里：_语言模型=无监督多任务学习_。

艰深地解释一下： 语言模型实际上是一种自监督的形式，依据已知的词预测未知的词，只是不须要显示地定义哪些字段是要预测的输入。 那如何用无监督多任务的训练形式实现语言模型自监督训练+多任务微调的成果呢？ 咱们只须要将input、output和task都示意为数据，例如在一个英文翻译成法语的机器翻译工作中，咱们只须要将样本、标签和工作示意成如下格局，就实现了对P(output|input,task)的建模。

重要的是，这种形式能够实现无监督训练，并且外面的task能够变动，也就是说当初GPT-2能够实现无监督多任务训练而不须要第二阶段分不同工作有监督的微调！

所以最初咱们看到，GPT-2绝对于GPT-1，最大的改良就是去掉了第二阶段的微调(fine-tune)层，实现了多任务训练和zero-shot形式(Zero-shot learning，零样本学习)间接接诸多的上游工作，在多个工作下都能够获得很好的成果。

当然肉眼可见的还有数据集、网络层数、参数量、词汇表大小、初始化和LN(layer normalization)的调整。

GPT-3：in-context learning + few-shot learning，1750亿参数、96层、5000亿单词

原文：Language Models Are Few-shot Learners

GPT-3 根本继承了GPT-2的模型架构和训练模式，除了鼎力出奇观的海量数据和巨型参数之外，GPT-3在模型设计层面绝对于GPT-1和GPT-2次要的改良点在于：in-context learning(上下文情境学习，ICL) 和 few-shot learning(小样本学习，FSL)配合服用。

咱们曾经晓得，GPT-1和BERT都须要对上游工作进行微调，而GPT-2通过无监督多任务和零样本学习舍弃了微调，并且验证了性能更加优越，那是否在不须要微调的前提下持续晋升呢？

答案是能够，引入in-context learning(上下文情境)学习机制。

这种机制能够了解为给模型加肯定的先验常识，适当对模型进行疏导，教会它该当输入什么内容。

比方你心愿GPT3帮你把中文翻译成英文，你能够这么向他发问：

用户输出到GPT3：请把以下中文翻译成英文：你感觉球神帅吗？

如果你心愿GPT3答复你的问题，你能够换个形式问：

用户输出到GPT3：模型模型你说说：你感觉球神帅吗？

这样模型就能够依据用户提醒的情境，进行针对性的答复了。

这里只是通知了模型怎么做，能不能先给个示例呢？

用户输出到 GPT-3：请答复以下问题：你感觉球神帅吗？=> 我感觉还挺帅的呢; 你感觉科比打球帅还是欧文打球帅？=>

其中答复球神帅不帅就是一个示例，用于让模型感知应该输入什么。

基于以上，只给提醒就是zero-shot，给一个示例叫做one-shot，给大量多个示例就是few-shot。

业余的读者应该能发现，这里给提醒的in-context learning(上下文情境)学习跟prompt learning(提醒学习)的思维很类似。

GPT-3论文里提供了3个版本的性能比拟：

显然，in-context learning(情境学习)搭配few-shot learning(小样本学习)成果更好。

InstructGPT: RLHF（人类反馈强化学习）+ PPO(近端策略优化)

原文：Training language models to follow instructions with human feedback

InstructGPT绝对GPT-3要解决的是大模型的alignment(对齐)问题。其背景是：大型语言模型会生成一些不实在、有毒(不合乎人类道德伦理等)或对用户毫无帮忙的输入，显然这些与用户期待的不统一。

大模型在预训练过程中见识了各种各样的数据，因而针对一个prompt/instruct(提醒)会输入什么货色，也可能是多种多样的，然而预训练数据中呈现的数据模式，不代表都是人类在应用模型时心愿看到的模式，因而须要一个alignment(对齐)的过程，来标准模型的“言行举止”。

而实现这个过程InstructGPT引入了RLHF机制(人类反馈强化学习)，实际上6年前的AlphaGo正是充分利用了强化学习，才在围棋畛域实现了所到之处无敌手。

简略点说，InstructGPT就是在GPT-3根底上利用RLHF机制(人类反馈强化学习)做了微调，以解决大模型的alignment(对齐)问题。

咱们无妨先想一下，应该如何解决模型输入跟人类期待不匹配的问题？

最间接的方法，就是人工结构一大批数据（标注员本人写prompt和期待的输入），完全符合人类的期待的模式，而后交给模型去学。然而，这代价显然太大了。因而，咱们得想方法怎么让这个过程变得更轻松一点，RLHF机制(人类反馈强化学习)做到了这一点。

上面是InstructGPT的流程图，看懂了它也就能明确RLHF机制是如何实现的。

Step-1: 称初始模型为V0，也就是GPT-3。咱们能够先人工结构一批数据，不必数量很大，尽其所能，而后先让模型学一学，称这个时候模型为V1。

Step-2: 而后让模型再依据一堆prompt(提醒)输入，看看成果咋样，咱们让模型V1对一个prompt进行多个输入，而后让人对多个输入进行打分排序，排序的过程尽管也须要人工，然而比间接让人写训练数据，还是要不便的多，因而这个过程能够更轻松地标注更多数据。然而，这个标注数据，并不能间接拿来训练模型，因为这是一个排序，但咱们能够训练一个打分模型，称为RM（reward-model，也即处分模型），RM的作用就是能够对一个<prompt,output> pair打分，评估这个output跟prompt搭不搭。

Step-3: 接下来，咱们持续训练V1模型(被一个策略包装并且用PPO更新)，给定一些prompt，失去输入之后，把prompt和output输出给RM，失去打分，而后借助强化学习的办法，来训练V1模型(打分会交给包着V0模型内核的策略来更新梯度)，如此重复迭代，最终修炼失去V2模型，也就是最终的InstructGPT。

整体了解一下：整个过程就是老师（人类标注员）先注入一些精髓常识，而后让模型试着模拟老师的爱好做出一些尝试，而后老师对模型的这些尝试进行打分，打分之后，学习一个打分机器，最初打分机器就能够和模型配合，自动化地进行模型的迭代，总体思路称为RLHF：基于人类反馈的强化学习。

其中，PPO机制( Proximal Policy Optimization，近端策略优化) 是强化学习中AC类(Actor/Critic)的经典算法，由OpenAI 2017年提出，既有Policy Gradient办法的劣势，同时基于importance sampling实现experience buffer的利用，施展相似DQN类算法的数据利用劣势。

PPO是OpenAI罕用的baseline办法，实践局部相当简单，感兴趣的业余读者能够浏览原文和相干博客。

原文：Proximal policy optimization algorithms

非专业读者只须要了解到这是一种适应人类反馈强化学习(RLHF)机制实现整个流程训练的策略优化算法即可。

通过以上流程拆解，咱们不难发现InstructGPT能通过这种RLHF机制实现更好的性能，有一个大的前提：就是初始模型GPT-3曾经足够弱小。

只有初始模型自身比拟弱小了，能力实现人类提供大量的精髓数据，就能够开始进行模拟，同时在第二步产出较为正当的输入供人类打分。

ChatGPT: 聊天升级版InstructGPT

依据OpenAI官网介绍，2022/11 公布的ChatGPT和2022/02 公布的InstructGPT在模型构造，训练形式上都完全一致，只是采集数据的形式上有所差别，然而目前没有更多的材料表明数据采集上有哪些细节不同。

所以，ChatGPT的技术原理与他的小兄弟InstructGPT基本一致，相当于InstructGPT是ChatGPT的预热版，也被称为GPT3.5，而传言行将公布的GPT-4是一个多模态模型(能够解决图片+文本+语音等多模态数据)，期待。

至此，从GPT-1到ChatGPT的演进和技术原理就解释得差不多了。

import 有点爆肝

最初来一张Instruct/ChatGPT中文架构流程图，更加清晰易懂。

2.2 ChatGPT的局限性

只管ChatGPT曾经足够人工智能了，然而在泛滥实在智能人类的鉴定下，它目前还存在不少局限。

性能局限

1.有时答案会呈现事实性谬误

2.依然会产生有偏见、与人类道德伦理不对齐的内容

3.没有与实时信息建设关联

4.有时对输出的表达方式体现敏感

5.有时答复过于简短

以上限度次要基于以下几点复合起因：

1.ChatGPT乃至所有机器学习模型都是基于已有的数据、常识、关联、标签等做出的预测，因而只有它有所依赖和基于概率预测，谬误、不准、有偏见的答案实践上都是存在的，只是精度和召回的问题；

2.ChatGPT的人工标注(包含批示和输入)准确度、表白层度、“价值观”等还能够晋升，目前的AI对齐形式--RLHF机制也未必是最优；

3.ChatGPT的信息更新停留在了 2021年，它目前还无奈连贯搜索引擎，将最新、最实时的信息反馈给用户。

技术局限

1.再大的模型都不能无限大

2.模型受处分模型和人工标注影响较大

这是ChatGPT技术架构的两大痛点，也是目前深度学习和强化学习钻研畛域的两大难点问题。

其余局限

1.数据和算力带来技术的垄断

ChatGPT训练须要的这种数据和算力体量，使得玩家根本就国外和国内那些科技巨头企业。而且目前ChatGPT也不会开源，这就使得学校和中小AI企业没得钻研，这并不利于ChatGPT自身的提高。

2.模型轻量化和性能的均衡

ChatGPT的参数量曾经达到千亿级，如此大的模型显然不适宜大规模实在场景利用，后续的模型轻量化钻研不可回避，而轻量化和性能的均衡也是一个微小的挑战。

3.可解释性背地的AI可信

即便目前的ChatGPT在各项NLP工作上体现惊人，然而模型自身还像一个黑盒，可解释性仍然是业余算法人须要深刻摸索的点，用户的期待仍然是更加可信的AI。

2.3 ChatGPT的优化和摸索方向

1.多模态扩大

ChatGPT目前所展现进去的能力还次要在文本域和少部分跨模态/域的内容生成。

下一步的趋势曾经很显著，对立集成文本、图像、语音、视频等多模态了解和生成能力，像人一样，多模态思考、多模态解决。

_2.不止于RLHF，摸索其余AI对齐形式_RLHF(人类反馈强化学习)并不是惟一的AI对齐技术，针对强化学习的AI对齐还有很多办法、很多策略能够摸索。

3.晋升批示的泛化和纠错能力

除了人工标注的标签(ground truth)，ChatGPT对批示(prompt)的依赖也非常明显，进一步晋升模型对批示的泛化能力以及对谬误批示的纠错能力，不仅能晋升用户应用模型的体验，也能使模型可能适应更宽泛的利用场景。

4.模型轻量化技术摸索

自深度学习框架成果被宽泛验证以来，CV界和NLP界为了谋求性能，过来10年的钻研工作总体趋势是模型层数越来越深、参数越来越多、数据量越来越大。

然而在圈里的每个人其实又都晓得，到了某个阶段必须得破圈，现在，ChatGPT尽管性能爆棚，但其模型之大之深显然不适宜大规模实在场景甚至在端上利用，将来对模型轻量化的钻研不可回避，而轻量化和性能的均衡也十分考验AI技术是否真的走向成熟。

5.数据+算力+人工标注的降本增效

数据、算力和算法作为AI三要素，ChatGPT胜利地把其中的数据、算力附加人工标注的资源老本打到高校、钻研机构、其余小AI公司无奈接受的程度，所以即使泛滥专家学者吐槽“鼎力出奇观”却也无可奈何。

技术仿佛又一次走在了迷信的后面，这对科技自身的长期提高显然并不无利。

然而，从OpenAI等大型资本加持的巨头企业角度来看，他们也同样心愿在将来可能逐渐降本增效，毕竟AI开发者的终极目标还是“AI，让生存更美妙”，只不过这其中会有诸如技术垄断、商业竞争等因素夹杂在其中更影响实现的工夫。

三、商业利用

3.1 国内外资本投入层层加码

除了ChatGPT能做什么以及背地的技术门道，人们或者更关怀它将来的产品化和商业化的过程。

而简单且高投入的技术要想可能大规模产品化和商业化，离不开资本的助力。

事实上，OpenAI的倒退历程首先证实了这一点。

OpenAI由创业家埃隆·马斯克、美国守业孵化器Y Combinator总裁阿尔特曼、寰球在线领取平台PayPal联结创始人彼得·蒂尔等人于2015年12月在旧金山创建。

起初它的定位是一家非盈利的AI钻研公司，而后在2019年3月，OpenAI成立了一家叫做 OpenAI LP 的无限合伙公司，正式适度到“封顶盈利”性质。

转折点在2019年7月，微软向OpenAI豪注10亿美金，并取得了OpenAI技术商业化的受权。

所以2020年5月OpenAI胜利公布了1750亿参数+45TB数据量的GPT-3语言模型，仅仅训练阶段就破费了大概 1200 万美元。

真就Money is all you need.

而在ChatGPT大放异彩的2023年初，微软、谷歌、亚马逊、百度、腾讯等国内外科技巨头更加不违心错过机会，随之而来的是资本和研发投入的层层加码，烧钱 + 烧人。

3.2 ChatGPT商业化尾声曾经拉开

2月1日，微软发表推出由ChatGPT提供技术支持的视频会议及近程合作平台Teams的高级付费版Microsoft Teams Premium，订阅者可享受OpenAI GPT提供反对的大型语言模型技术，用AI主动生成会议笔记。

2月2日，OpenAI发表，推出其人工智能聊天机器人ChatGPT的付费订阅版本，新的订阅服务名为ChatGPT Plus，月费为20美元。订阅包含在顶峰应用工夫拜访聊天机器人。目前的收费版本在使用率高的时间段将限度对用户的服务。

2月8日，微软推出了由OpenAI提供最新技术支持的新版搜索引擎必应（Bing）和Edge浏览器。

ChatGPT 曾经被亚马逊用于各种不同的工作职能中，包含答复面试问题、编写软件代码和创立培训文档等。

文案主动生成平台Jasper，其技术底层是 OpenAI 的 GPT-3，在成立仅 18 个月后就达到了 15 亿美元的高估值。

2月7日，百度发表将在3月份实现其ChatGPT产品的内测，面向公众凋谢，该我的项目名字为文心一言（ERNIE Bot）。

ChatGPT利用场景宽泛，商业价值微小，无望赋能传媒、影视、营销、教育、金融、医疗、科研、游戏等多个行业。

ChatGPT赋能传媒：实现智能新闻写作，晋升新闻的时效性

ChatGPT能够帮忙新闻媒体工作者智能生成报道，将局部劳动性的采编工作自动化，更快、更准、更智能地生成内容。

ChatGPT赋能影视：拓宽创作素材，晋升作品品质

ChatGPT能够依据公众的趣味身定制影视内容，从而更有可能吸引公众的注意力，取得更好的收视率、票房和口碑。 ChatGPT能够为剧本创作提供新思路，创作者可依据ChatGPT的生成内容再进行筛选和二次加工，从而激发创作者的灵感，开辟创作思路，缩短创作周期。

ChatGPT赋能营销：打造虚构客服，助力售前和售后

ChatGPT赋能教育金融医疗：促成数实共生，助力产业降级

ChatGPT+教育：赋予教育教材新生机，让教育形式更个性化、更智能；

ChatGPT+金融：帮忙金融机构降本增效，让金融服务更有温度；

ChatGPT+医疗：赋能医疗机构诊疗全过程。

另外，ChatGPT和之前热炒的元宇宙显然还不太一样。

元宇宙到目前为止更像是一个美妙的想法，还没有理论的产品和成熟的模式产生，公众甚至查阅材料都无奈明确元宇宙是要做什么。

但ChatGPT以及背地的生成式人工智能(AIGC)，不仅有ChatGPT这样To C触感十分强烈的产品，而且曾经能看到如上述一些比拟清晰的商业化模式。

当初缺的就是资本减速和技术冲破。

3.3 ChatGPT助力AIGC浪潮再起

AIGC(Artificial Intelligence Generated Context)，是指利用人工智能技术来生成内容，常见如AI绘画、AI写作、AI生成图片、代码、视频等。

AIGC顺着AI倒退的脉络，大抵经验了三个大的阶段：

2010年以来，随着深度学习的疾速冲破以及数字内容的海量增长，AIGC畛域相干技术突破了预约义规定的局限性，算法模型构造不断创新，使得疾速便捷且智慧地输入多模态的数字内容成为可能。

从2017年微软小冰作诗到2018年英伟达StyleGAN生成高质量图片，再到2019年谷歌DeepMind DVD-E2生成间断视频，AIGC正在经验一波蓬勃发展。

直到本文的配角ChatGPT 2022年年底出场，AIGC终于迎来了冲破式的拐点，新一轮的浪潮正在徐徐开展。

AIGC利用场景

AIGC按内容生成类别可划分为文本、代码、图像、音视频四大类，而跨模态生成技术是真正实现生成式智能的外围。

AIGC的意义在于进步内容生产力、关上内容创作设想空间，这或者也是巨头争相加码AIGC的起因所在。从现有的利用场景来看，AIGC曾经能够代替局部反复劳动力，并帮助局部创造性劳动，将来AI技术的倒退无望一直升高内容生产成本、进步生产效率并拓展内容边界。

AIGC市场空间

2023年人工智能从学术研究逐步走向产业化，商业与AI技术的交融造成互为支点的倒退格局，进入产业规模商用期。人工智能技术将一直地对AI数字商业的各个领域进行浸透。

据量子位预测，2030年AIGC市场规模无望超过万亿元。在内容畛域，人机协同，对于存量业务，AIGC的价值在于降本增效，对于增量业务，其价值在于跨模态的内容生成等。

据Gartner的“人工智能技术成熟度曲线”，生成式AI仍处于萌芽期，但其广大的利用场景和需要空间吸引大量资本和技术的投入，预计将在2-5年内实现规模化利用。

AIGC有后劲产生数万亿元的经济价值，AIGC凋敝倒退，将促成资产服务疾速跟进，通过对生成内容合规评估、资产治理、产权保护、交易服务等形成AIGC残缺生态链，并进行价值重塑，充沛开释其商业后劲，至2025年中国生成式AI商业利用规模至2070亿元。

AIGC商业模式

过来AI倒退多年，尽管在诸多畛域也获得一些显著成绩，但从整个AI产业来看，过来的利用更多的像是通过业余学习的“专科生”，不具备通用场景的泛化性。

但ChatGPT的问世，证实了基于大模型的AIGC曾经像是一位承受过通识教育的“本科生”，尽管在倒退初期在特定业余畛域性能无限，却有着更强的可拓展性，可能赋能和落地各个商业畛域。 并且直观来看，ChatGPT通知世人，AI变成了一个普通人也能够轻松使用、晋升效率的工具。

这意味着AIGC的商业模式更加显式化，不仅能够To B也能够To C。

AIGC To B模式次要心愿解决的痛点问题在于：用AI代替人工生产，帮忙企业实现降本增效。因为对B端带来的成果是快而显著的，因而客户的付费志愿较强。

而 To C模式下，对于个人用户来说，一方面AIGC利用能够作为效率工具，可能在信息获取、格局整顿和工作流等各个流程进步个人用户的效率，并且AI模型作为基础设施可能集成到现有的工作流程中；另一方面能够作为创作工具，相似剪辑、修图软件一样，AIGC可能在用户原创风行的明天，大幅度降低公众用户的创作门槛，强化集体媒体的IP价值。

从商业角度而言，将AIGC作为底层基础设施的SaaS订阅将成为中长期趋势。用户抉择付费的逻辑在于：更高效的信息获取形式；从辅助表白到代替表白；集成到已有的工作流；扩充用户创造力。

AIGC产业链

一方面，AIGC产业链可依据模型档次划分为根底层、中间层、应用层三层架构。

(1) 根底层：利用预训练模型搭建基础设施，该环节具备最高的进入门槛，参与者以头部企业为主

预训练模型是泛滥小模型的通用基底，为开发者升高AI开发与利用的门槛。预训练模型初始投入老本高、运行老本高，对软件、硬件均提出较高要求，因而涉足该环节的企业以微软、谷歌、英伟达、Meta等科技巨头以及OpenAI、Stability.ai等AI钻研机构为主。

以OpenAI为例，2020年该机构训练GPT-3的硬件及电力老本达1200万美元；以Meta为例，为了提供更弱小的算力撑持，Meta携手英伟达、Penguin Computing及Pure Storage打造AI超级计算机RSC，其测试数据显示，RSC训练大型NLP模型的速度晋升3倍，运行计算机视觉工作的速度晋升20倍。

(2) 中间层：基于预训练模型开发垂直化、场景化、个性化的模型和利用工具

中间层厂商基于预训练的大模型生成场景化定制化的小模型，帮忙不同行业和垂直畛域实现 AIGC 的疾速部署。在预训练模型根底之上，开发者可依据不同行业、不同性能场景生成相应的小模型，根底层企业向中间层延长为趁势而为。

此外，根底层企业还可表演MaaS（Model-as-a-Service）服务提供方，将其模型开源给更多企业以二次开发模型，如Novel AI基于Stability.ai的开源模型Stable Diffusion开发出二次元格调AI绘画工具。

(3) 应用层：面向C端用户提供文本、图像、音视频等内容生成服务

应用层是指面向 C 端提供 AIGC 相干服务，典型企业包含微软、Meta、百度、腾讯，阿里巴巴等。基于根底层、中间层的模型及工具，应用层企业可将其重心放在满足用户需要乃至发明内容生产需要上，AI写作、AI绘画等AIGC利用已在营销、娱乐、艺术珍藏等畛域落地。

以国内企业为例，视觉中国依靠其数字版权内容劣势布局AIGC数字藏品，借力AI继续裁减艺术多元性，截至目前多轮发售的AIGC数字藏品均已售罄；蓝色光标机器人小蓝博面向广告主推出AI绘画、AI写作工具，其中AI绘画工具创意画廊可生成形象格调画作以适配不同营销场景。

另一方面，「数据算力、算法模型和下层利用」又形成了AIGC产业链的间接上中下游关系。

AIGC上游次要包含数据供给方、算法机构、创作者生态以及底层配合工具等，中游次要是文字、图像、音频和视频解决厂商，其中玩家泛滥；上游次要是各类内容创作及散发平台以及内容服务机构等。

后记

ChatGPT，作为一项影响力出圈的AI技术利用，是近10年来人工智能和计算机技术疾速倒退、不断更新迭代、多种技术叠加在一起造成量变的产物，是自然语言解决(NLP)畛域近年来钻研的结晶。

ChatGPT实现了一种使机器取得语言智能的残缺无效技术路线，但这个钻研方向依然面临诸多挑战，须要在迷信和技术上进一步摸索。

同时展望未来，它对AIGC、产业互联网、数字经济等畛域的长足发展也将影响深远。

最初附上几个有争议性的话题，供读者思考和交换。

ChatGPT会引领第四次科技反动吗？

关键词：生产力、规模、效率

ChatGPT会给人类带来就业潮吗？

关键词：情感、创造力、稀缺性

ChatGPT适宜下海守业吗？

关键词：技术、资金、团队、商业模式

ChatGPT及AIGC产业链有值得投资的企业吗？

关键词：纳指100、中概互联、腾讯、百度、科大讯飞

参考文献

学术论文：

Transformer: Attention Is All You Need, 2017. BERT: Bidirectional Encoder Representation from Transformers, 2018.

GPT-1: Improving Language Understanding by Generative Pre-Training, 2018.

GPT-2: Language Models are Unsupervised Multitask Learners, 2019.

GPT-3: Language Models Are Few-shot Learners, 2020.

InstructGPT: Training language models to follow instructions with human feedback, 2022.

ChatGPT: Optimizing Language Models for Dialogue, 2022.

证券研报：

1.国泰君安-计算机行业：ChatGPT 钻研框架（2023）

2.华西证券-计算机行业深度钻研报告：ChatGPT，开启AI新纪元

3.银河证券-计算机行业：聊天机器人顶流ChatGPT，开启自然语言解决畛域新篇章

4.招商证券-计算机行业：ChatGPT疾速风行，重构AI商业模式

5.国联证券-计算机行业：ChatGPT风口已至，商业化落地减速

6.西方证券-计算机行业：ChatGPT引领AI新浪潮，AIGC商业化启程

7.兴业证券-计算机行业：从AIGC到ChatGPT，原理、前景和机会

8.华泰证券-计算机行业：ChatGPT：深度拆解

9.招银国内-中国互联网行业：ChatGPT & AIGC在中国市场的发展前景

公众号文章：

慧博资讯：《ChatGPT行业深度报告》

慧博资讯：《AIGC行业深度报告》

TJUNLP：《对ChatGPT的二十点认识》，作者：熊得意老师

知乎文章：

https://zhuanlan.zhihu.com/p/589621442

https://zhuanlan.zhihu.com/p/517219229

https://zhuanlan.zhihu.com/p/34656727

https://zhuanlan.zhihu.com/p/595891945

https://zhuanlan.zhihu.com/p/597264009

https://zhuanlan.zhihu.com/p/563166533

https://zhuanlan.zhihu.com/p/606901798

https://www.zhihu.com/question/570431477/answer/2888747398

https://www.zhihu.com/question/581311491/answer/2882281060