关于chatgpt:从原理到应用人人都懂的ChatGPT指南-京东云技术团队

作者：京东科技何雨航

引言

如何充分发挥ChatGPT潜能，已是泛滥企业关注的焦点。然而，这种变动对员工来说未必是好事件。IBM打算用AI代替7800个工作岗位，游戏公司应用MidJourney削减原画师人数......此类新闻不足为奇。了解并利用这项新技术，对于职场人来说重要性一劳永逸。

一、GPT模型原理

了解原理是无效利用的第一步。ChatGPT是基于GPT模型的AI聊天产品，后文均简称为GPT。

从技术上看，GPT是一种基于Transformer架构的大语言模型（LLM）。GPT这个名字，实际上是"Generative Pre-trained Transformer"的缩写，中文意为“生成式预训练变换器”。

1.大模型和传统AI的区别是什么？

传统AI模型针对特定指标训练，因而只能解决特定问题。例如，很会下棋的AlphaGO。

而自然语言解决（NLP）试图更进一步，解决用户更为通用的问题。能够分为两个关键步骤：自然语言了解（NLU）和自然语言生成（NLG）。

以SIRI为代表的人工智能助手对立了NLU层，用一个模型了解用户的需要，而后将需要调配给特定的AI模型进行解决，实现NLG并向用户反馈。然而，这种模式存在显著毛病。如微软官网图例所示，和传统AI一样，用户每遇到一个新的场景，都须要训练一个相应的模型，费用昂扬且发展缓慢，NLG层亟需扭转。

大型语言模型（如GPT）采纳了一种截然不同的策略，实现了NLG层的对立。秉持着“鼎力出奇观”的理念，将海量常识融入到一个对立的模型中，而不针对每个特定工作别离训练模型，使AI解决多类型问题的能力大大增强。

2.ChatGPT如何实现NLG？

AI实质上就是个逆概率问题。GPT的自然语言生成实际上是一个基于概率的“文字接龙”游戏。咱们能够将GPT模型简化为一个领有千亿参数的“函数”。当用户输出“提醒词（prompt）”时，模型依照以下步骤执行：

①将用户的“提醒词”转换为token（精确地说是“符号”，近似为“词汇”，下同）+token的地位。

②将以上信息“向量化”，作为大模型“函数”的输出参数。

③大模型依据解决好的参数进行概率猜想，预测最适宜回复用户的词汇，并进行回复。

④将回复的词汇（token）退出到输出参数中，反复上述步骤，直到最高概率的词汇是【END】，从而实现一次残缺的答复。这种办法使得GPT模型可能依据用户的提醒，生成连贯、正当的回复，从而实现自然语言解决工作。

3.上下文了解的关键技术

GPT不仅能了解用户以后的问题，还能基于前文了解问题背景。这得益于Transformer架构中的“自注意力机制（Self-attention）”。该机制使得GPT可能捕获长文本中的依赖关系。艰深地说，GPT在进行文字接龙判断时，不仅基于用户刚输出的“提醒”，还会将之前多轮对话中的“提醒”和“回复”作为输出参数。然而，这个间隔长度是无限的。对于GPT-3.5来说，其间隔限度为4096个词汇（tokens）；而对于GPT-4，这个间隔曾经大幅扩大至3.2万个tokens。

4.大模型为何惊艳？

咱们曾经介绍了GPT的原理，那么他是如何达成这种神奇成果的呢？次要分三步：

①自监督学习：利用海量的文本进行自学，让GPT具备预测上下文概率的根本能力。

②监督学习：人类参加，帮忙GPT了解人类爱好和冀望的答案，实质为微调（fine-tune）。

③强化学习：依据用户应用时的反馈，继续优化和改良答复品质。

其中，自监督学习最要害。因为，大模型的魅力在于其“大”——大在两个方面：

①训练数据量大：

即训练大模型的数据规模，以GPT-3为例，其训练数据源为互联网的各种精选信息以及经典书籍，规模达到了45TB，相当于浏览了一亿本书。

②模型参数量大：

参数是神经网络中的一个术语，用于捕获数据中的法则和特色。通常，声称领有百亿、千亿级别参数的大型模型，指的都是其参数量。

谋求大型模型的参数量是为了利用其神奇的“涌现能力”，实现所谓的“质变引起量变”。举例来说，如果要求大模型依据emoji猜电影名称，如代表《海底总动员》。能够看到，当模型参数达到千亿级别时，匹配准确度大幅度晋升。这表明模型参数量的减少对进步模型体现具备重要意义。

解决其余多类型工作时，也有相似的成果：

如实验所揭示的，只有当模型参数达到千亿级别，大模型的劣势才得以凸显。GPT之外的其余大模型，也有相似的体现。

为什么？

目前支流观点认为，要残缺实现一个工作，实际上须要通过很多子步骤。当模型大小有余时，大语言模型无奈了解或执行所有步骤，导致最终后果不正确，达到千亿级参数时，其解决问题的全链路能力曾经足够。人们以最终后果的正误作为评判规范，导致认为是一种“涌现”。

在“涌现”问题上，人与猩猩的比喻很乏味。人类的大脑容量比猩猩大3倍，这种差别使得人类可能进行更简单的思考、沟通和发明。两者的构造没有显著差别，这不也是“涌现”吗？

GPT-3.5正是千亿模型，参数达到了1750亿。相较于GPT-3，GPT-3.5次要针对模型参数进行了微调，使其在问答时更合乎人类的习惯。据悉，GPT-4的模型参数量甚至达到了GPT-3.5的五倍之多，这也解释了为何GPT-4体现得如此聪慧（体验过的人应该都能了解）。上面是GPT模型演进历史：

二、GPT的局限性

综上，GPT模型具备显著的、突破性的劣势。典型的劣势包含：①弱小的语言理解能力；②极为宽泛的常识储备；③学习能力与推理能力等等。这些能力让人们感觉人工智能真正领有了“脑子”，设想着应用GPT解决所有问题。

然而，若要深刻利用该技术，有必要理解其局限性，以便在理论利用中舍短取长。次要总结六大局限：

1.逻辑不通明

GPT模型的答复实质上是概率。传统的软件开发中，接口的输出和输入参数都是确定的，而在给定输出参数（即提醒词）的状况下，GPT的回复却有肯定随机性。当大家将ChatGPT作为聊天工具应用时，这种不准确能够是用户的谈资；当波及到商业化软件应用时，设计时就须要特地留神升高不确定性，在大部分产品场景下，用户都很器重确定性。

2.短期记忆差

得益于自注意力机制，ChatGPT具备了多轮对话能力。然而，它的记忆长度相当无限，GPT-3.5模型仅反对向前追溯4096个tokens用于回复的参考。更蹩脚的是，这4096个tokens还包含ChatGPT之前回复用户的局部！这使得其顾此失彼的记忆更加难堪，堪称电子金鱼。好在GPT-4曾经将上下文token下限扩大至3.2万个，肯定水平上缓解了这个问题。

3.资源耗费多

ChatGPT的智能须要耗费大量算力，而运行大规模高端显卡须要耗费大量电力。在五年之内，依附半导体制程的进一步降级和大模型的广泛应用，算力与电力的边际老本将逐步转变为固定成本，也就解决了本问题。

4.响应速度慢

因为模型极大，GPT在回复时也无奈做到刹时响应，正如用户理论体验，ChatGPT是逐词回复的。企业在设计相干产品时须要特地关注利用场景：

①须要防止将GPT用于高并发的场景，本服务依赖的接口调用并发下限非常低。

②产品设计上防止用户急切需要后果的利用场景，确保用户可能“等得起”。

5.行业认知浅

诚然，ChatGPT领有来自互联网和经典书籍的丰盛常识。然而，真正的企业级专业知识往往源于特定畛域的深入研究和实际，这些远见卓识无奈仅凭互联网上的常识获取。因而，若心愿GPT充当企业顾问，只能帮忙梳理策略框架，但难以为企业提供颇具洞察的策略倡议。

6.价值未对齐

①在自监督学习阶段，GPT训练数据英文占比高达92%。②在监督学习阶段，传授道德观的工程师次要来自英语世界。③在强化学习环节，也可能受到歹意用户输出谬误价值观的影响。因而，GPT的“精力内核”是以东方价值观为基石的，这可能导致生成的文字难以合乎我国的文化背景和价值观。

三、GPT的多层利用指南

在理解了GPT模型的原理及局限性后，终于能够看看怎么用好这项技术了。我依照感知其能力的直观性，由浅入深将其分为五层，逐层进行介绍。

第一层：聊天能力

在此类用法中，GPT的答复就是给客户的交付物，是GPT模型最简略、最直观的用法。

1.套壳聊天机器人

通过应用OpenAI官网接口，开发的套壳聊天机器人产品。这类产品之所以存在，起因懂得都懂。否则，用户为何不间接应用ChatGPT呢？此类产品难以造成景象级利用，且竞争强烈。因为比拟灰色且内容未经过滤，网站被封后又换域名的故事将继续演出。

2.场景化问答

这种模式对GPT的回复场景进行了束缚。通过限定提醒词、嵌入大量特定畛域常识以及微调技术，使GPT可能仅基于某类身份答复特定类型的问题。对于其余类型的问题，机器人会告知用户不理解相干内容。这种用法能够无效束缚用户的输出，升高许多不必要的危险，然而想训练一个杰出的场景化机器人，也须要投入许多精力。典型利用包含智能客服、智能心理咨询和法律咨询等。微软的new Bing正是此类利用的杰出代表，其俏皮傲娇的回复格调，深受网友的青睐。

第二层：语言能力

在本层，咱们充分发挥ChatGPT的语言天才，辅助各种基于文字的解决工作。从这一层开始，须要应用one-shot或few-shot（在提醒词中给ChatGPT一个或多个示例）来晋升ChatGPT的体现。与用户的交互不再局限于聊天窗口，提前预制提醒词模板，用户只能输出限定的信息，对应提醒词的空槽位。

预制带槽位提醒词模板的利用根本流程如下：

1.文字处理类

此类利用次要有三种用法：

①文章提炼

能够输出文章段落，要求提取段落宗旨。但受token数限度，难以总结整篇文章。也可要求生成短题目、副标题等。在提醒词中预留【案例】槽位，让用户输出一些参考案例，GPT便能够学习相应的格调，进行针对性的输入。

②润色/改写

可用于文章的初步润色，可能打消错别字、谬误标点等。改写则能够转换文章格调，如更改成小红书格调等。

③文章扩写

在有纲要根底上，分段进行文章扩写。受token限度，如一次要求过长，输入的扩写难以做到前后响应。ChatGPT自身不会产生新常识，文章扩写难以写出粗浅见地，只能生成口水文。通过给定关键词和案例，要求生成有法则的短文案，是利用其文章扩写能力的无效办法。

2.翻译

GPT模型训练时学习了大量语言，具备跨语言能力。无论用何种语言与其沟通，只有了解用意，剖析问题能力是不辨别语言的。因而，翻译对GPT来说很轻松。当然也仅限根本翻译，不要指望其能翻译的“信、达、雅”。

3.情感剖析

GPT能了解文字背地的用户情绪。例如，在客服模块引入GPT能力，基于用户语音和文字疾速判断情绪情况，提前辨认潜在客诉，在情绪暴发前进行无效安抚。

第三层：文本能力

在本层，GPT的能力曾经超过了语言，它通过大量学习，但凡与文本相干的工作，都能胜任。它甚至具备真正的学习能力，应用few-shot技巧，能解决训练数据中不存在的问题。本层的利用范畴极广，将迸发出大量极具创造力的产品。我在这里仅举一些典型例子。

1.写代码

ChatGPT能编写SQL、Python、Java等代码，并帮忙查找代码BUG。与撰写文章的起因相似，不能要求其编写过长的代码。

2.写提醒词

要求GPT创作提醒词是与其余AI联动的简略形式。例如，要求GPT为midjourney撰写提醒词，已成为十分支流的做法。

3.数据分析

ChatGPT能够间接进行数据分析，或与EXCEL配合进行数据分析。它将数据分析操作老本降至极低，大幅晋升了数据分析的效率。

第四层：推理能力

在前几层中，咱们曾经见识了GPT的推理能力。以GPT的推理能力代替手动点击操作流，将带来B端和C端的产品设计的颠覆式变动。集体认为，短期内B端的机会大于C端。通过互联网20年的倒退，C端用户的次要需要已根本失去满足，颠覆C端用户的操作门路会带来较大的学习老本。而B端则有很大的施展空间，这里将其分为三个阶段：

1.自动化工作流串联

利用ChatGPT了解人类用意的能力，联合langChain技术将提醒词和公司内各项工作的网页链接整合。员工无需寻找各种链接，在须要执行相干操作时，会主动跳转到相应页面，进行下一步操作。以ChatGPT为智慧中枢，真正实现将B端各类操作有机整合。下图为设计思路的示例。

2.AI辅助决策

以第一个阶段为根底，将对应页面的局部性能与GPT联动。这样，在员工执行操作时，局部性能能够由AI实现，成倍晋升效率。微软Copilot正是这类产品的代表，比方能够实现在Excel中阐明本人想要进行的数据分析，无需寻找相干公式，数据分析就主动做好了。

3.全自动AI工作流

本阶段目前还处于演示层面，出现了将来的愿景。如前文所述，GPT很难解决特定畛域的细节问题，除非针对某个场景进行大量的微调与公有数据部署。AutoGPT、AgentGPT都属于此类。

第五层：国产大模型

AI技术是迷信而非神学，大模型的原理也不是机密。美国能做到，我国不仅能，而且有必要。只有训练数据品质达标，模型参数冲破千亿便具备推理能力，冲破八千亿可与GPT-4匹敌。采纳大量中文语料和中文微调，我国必将领有合乎外国文化背景、价值观的大模型。

然而，路漫漫其修远兮，艰难也是极多的，如：训练老本极高、训练数据品质要求高、模型优化简单、马太效应显著等。因而，预计在将来五年内，中国最多只会有3家出名大模型服务商。

大模型是AI时代的基础设施，大部分公司抉择间接利用，间接获取商业价值。在这个大背景下，违心投身自有大模型的公司就更加难能可贵了。在此，我谨代表集体向那些敢于投身于自有大模型建设的国内企业示意敬意。

四、总结

总的来看，ChatGPT是一款跨时代的产品。不同层面对GPT技术的利用，体现出了一些共性的机会。我总结了三项将来具备微小价值的能力。

1.问题合成技术

鉴于GPT回复的限度在于最多只能基于32,000个tokens，因而无效地将问题分解成子问题并交由GPT解决显得尤为要害。将来的工作模式可能将问题拆解为子问题，再组装子问题的解决方案。在具体实施时，还须要对子问题的难度进行判断，有些问题能够交给一些小模型解决，这样就能够无效的管制利用老本。

2.三种调优办法

想要让GPT在多个层面上施展特定的作用，次要有三种交互方式，老本从低到高别离为：

①提醒词优化

通过摸索找到最优提醒词模板，预留特定槽位以供用户输出。仅通过提醒词优化就能实现宽泛性能，许多基于GPT的产品，其底层就是基于特定提醒词的包装。好的提醒词需蕴含角色、背景、GPT需执行的工作、输入规范等。依据业界的钻研，好的提醒词能使GPT3.5后果的可用性由30%飙升至80%以上。提醒词优化毫无疑问是这三种办法中最重要的。

②embedding

这是一种搭建自有知识库的办法，将自建知识库应用embedding技术向量化，这样GPT就能基于自有数据进行问答。

③微调（finetune）

通过输出大量问答，真正教会GPT如何答复某类问题，老本较前两者更高。劣势在于将提醒词的短期记忆转化为公有模型的长期记忆，从而开释贵重的Token以欠缺提醒词其余细节。

以上三种形式并不抵触，在工程实际中往往互相配合，特地是前两种。

3.公有数据积攒

公有数据集的价值失去进一步晋升，各行业可基于此对GPT进行二次包装，解决特定畛域问题。倡议应用微软Azure提供的GPT接口，搭建带有公有数据的大语言模型产品。因微软面向B端的GPT服务为独立部署，不会将公有数据用于大模型训练，这样能够无效爱护公有数据。毕竟公有数据一旦公开，价值将大打折扣。

凭借以上几项能力加持，大语言模型能够充沛开释在解决依赖电脑的重复性劳动的生产力。我将下一个时代（3年内）的业务运行模式总结如下图：

企业会依据三大能力衍生出三大类角色：

①问题分解者

这类角色很分明大语言模型能力的边界，可能将一个业务问题无效的合成为GPT能解决的子问题，并能依据问题后果，将子问题进行拼装。

②提醒工程师

这类角色深谙与GPT沟通之道，可能依据不同的问题类型，给出无效的提醒词模板，极大晋升GPT的输入品质。

③常识拥有者

这类角色有大量的行业knowhow，并且可能将常识进行结构化，传授给GPT。对应当初的领域专家。

在这种模式的推动下，GPT将会成为企业提效的重要帮手，能够解决大量重复劳动，能够提供有价值的参考。但人的主观能动性仍起决定性作用。

五、写在最初

即便以GPT-4为代表的AI技术放弃以后的程度，带来的效率晋升曾经令人震惊，更遑论其仍以飞快的速度进化。从技术反动的发展史来看，一项大幅度提效的新技术呈现，往往先惠及B端，而后才缓缓在C端开始开释微小的价值。这是由企业对效率人造的敏感性所决定的，而扭转C用户的习惯须要大量学习老本与场景开掘，滞后效应较强。举三个例子大家就懂了：

1. 回顾第一次工业革命，内燃机的呈现先导致了纺织女工的大量就业，而后才逐步找到了各种C端场景，推动了社会生产力的大幅度回升。

2. ChatGPT能够更快的生成口水文，然而C端用户对浏览的诉求是没有减少的。对于营销号公司来说，效率晋升了，所须要的人变少了。

3. MidJourney能够疾速生成抱枕的图案，然而C端用户并不会购买更多的抱枕，那么须要作图的人员就少了。

一场信息化企业的內效反动就要到来了，依附电脑的重复劳动将会隐没，因为大模型最善于学这个了。正如我文初所举得案例一样，像IBM公司缩减7800个编制的案例，只会产生的越来越频繁。

AI时代真的曾经到来，每个岗位都须要思考，如何让AI成为工作上的搭档。