共计 7351 个字符，预计需要花费 19 分钟才能阅读完成。
ChatGPT 火了。
整个 LLM 和搜寻畛域都曾经在过来几个月内产生了天翻地覆的变动。ChatGPT 不再是一个玩具，它开始被微软、谷歌集成在搜寻以及各个 SaaS 服务中，且获得了令人惊叹的成果。
我尝试着应用 ChatGPT 答复过来一个月搜寻过的 30 个问题，ChatGPT 提供的后果大略有 60% 在体感上优于 Google Search。当我询问“如何从十亿规模的向量数据找到最具体的后果”时，Google 给出的答复是一些向量检索库和向量数据库的软文链接，而 ChatGPT 则秀出了一段相当惊艳的答复：
你甚至能够诘问“有没有更加便捷的向量检索形式”, 其答复也放弃了相当的程度。但很显然，ChatGPT 认为 Milvus 和 Zilliz 都是一种自定义的 Platform，因而，咱们还须要给它更多的语料进行训练。
在冷落氛围的渲染下，无关 ChatGPT 行将代替 NLP、代替搜寻畛域、代替各种内容生成岗位的舆论甚嚣尘上，就连从不关怀技术的亲戚朋友也会在茶余饭后聊上几句。
对此，我的观点是：
- ChatGPT 是工程的巨大成功，但不是黑魔法，ChatGPT is not all you need。
- 搜寻畛域在 ChatGPT 的加持下会产生很大的变动，但传统搜寻技术不会齐全被其取代，最底层的逻辑是 ChatGPT 的信息密度不够，须要通过搜寻技术补充信息。
- 搜寻的商业模式将会产生巨大变化，如果用户更喜爱问答式的交互方式，基于 page rank 和竞价排名的搜索引擎付费模式将会受到微小冲击。
为什么 ChatGPT 不是黑魔法？
要搞清楚的 ChatGPT 的原理，要先从 NLP 的四次范式转移开始讲起。
先看看 ChatGPT 是如何定义 NLP 的四个范式的：
First paradigm: Fully supervised learning in the pre-neural network era (feature engineering). The first paradigm refers to the processing methods in the NLP field before the introduction of neural networks. In this paradigm, specific features are extracted from natural language corpora, and rules or mathematical/statistical models are used to match and utilize these features to complete specific NLP tasks. Common methods include Bayesian, Viterbi algorithm, Hidden Markov Model, etc., for sequence classification, sequence labeling, and other tasks.Second paradigm: Fully supervised learning based on neural networks (architecture engineering).
The second paradigm refers to the research methods in the NLP field after the introduction of neural networks and before the emergence of pre-trained models. In this paradigm, there is no need to manually set features and rules, saving a lot of manpower, but a suitable neural network architecture still needs to be designed to train the dataset. Common methods include CNN, RNN, and Seq2Seq model in machine translation, etc.
Third paradigm: Pre-training and fine-tuning paradigm (objective engineering). The third paradigm refers to the method of pre-training on large unsupervised datasets to learn some general grammatical and semantic features, and then using the pre-trained model for fine-tuning on downstream tasks. Models such as GPT, Bert, and XLNet belong to the third paradigm. The feature of the third paradigm is that it does not require a large amount of downstream task data, and the model is mainly trained on large unsupervised data. Only a small amount of downstream task data is needed to fine-tune a small number of network layers.Fourth paradigm: Pre-training, prompt, and prediction paradigm (prompt engineering).
The fourth paradigm refers to the use of prompts to guide the model to make specific task predictions, based on the third paradigm. This method requires adding additional modules or layers to the pre-trained model to process prompts, and fine-tuning on downstream task-specific datasets. This method can use human expert knowledge to guide the model and improve the performance on specific tasks. The latest NLP models such as GPT-3 and Turing-NLG belong to this paradigm. They can generate human-level natural language text and perform well on specific tasks such as QA, text summarization, and dialogue generation.
简略了解，第一范式是非神经网络时代的特征提取，这一时代通常是用数据的统计信息来解决某一个具体问题。
第二范式开始引入神经网络，通过 CNN、RNN 等模型来对特定的数据集进行训练，这一范式显著升高了人力老本。
第三范式作为广为人知的预训练 + FineTune 模式，GPT、Bert 和 XLNet 都是其中的典型代表。第三范式基于大量的语料做无监督训练，学习通用的语法常识，因而，只须要 few shot 就能够在对应的工作中获得不错的后果。
第四范式，也就是预训练 + Prompt 的范式，这种能力建设在 GPT3 等大模型十分丰盛的训练语料和常识体系。应用 Prompt 是为了让工作跟预训练模型更加贴近，这和 Fine tuning 的实质并无不同，但带来的益处是模型训练所须要的数据显著缩小，通常状况下 one shot 就能够取得很好的成果。
为什么会进入到第四范式？我本人了解有 两个次要的起因：其一，模型的性能并非随着大小线性而增长，当其增长到肯定规模后，会呈现渐变能力，使得性能急剧减少。此时精调小模型带来的收益不如间接训练大模型来的间接。其二，精调范式的泛化能力较弱，prompt 使得 AI as a Service 真正变成了可能。在 NLP 第四范式大模型的根底上，咱们才开始正式探讨明天的配角—— ChatGPT。在我看来，ChatGPT 并没有引入突破性的区别，其外围解决的问题是通过强化学习的形式将把人的爱好反馈给了模型，也就是传说中的 RLHF（Reinforcement Learning from Human Feedback)。
简略了解，ChatGPT 的训练分成了三步：
第一步冷启动，随机抽取 prompt 并由标注人员提供高质量的答案；第二步，依据第一阶段训练进去的模型生成多个答案，由标注人员进行排序，而后再用排序训练回报模型；第三步，应用强化学习来加强模型能力，随机抽取新的 prompt，生成答案，而后基于回报模型生成反馈。通过这个过程，预训练模型的能力会一直加强。
听起来 ChatGPT 的原理并没有那么简单，只有略微理解 AI 基本原理的同学都能够了解，这也就 ChatGPT 并非“黑魔法”的意思。然而，迄今为止，ChatGPT 的开源竞品远远达不到对应能力，这里既有 GPT3 自身的起因，同时能够归纳于 OpenAI 优良的数据品质和“钞能力”带来的超过 40 人的高质量标注团队。事实上，Google 的 PaLM 具备了跟 ChatGPT 十分相近的能力，这意味着 ChatGPT 并非是不可复现的。置信与 ChatGPT 成果近似的开源大模型肯定会呈现，并且达到跟 ChatGPT 十分类似的能力成果。
不过，我更关注另一件事件，即大模型是否最终能在开发环境下很好的跑起来。只有具备这种能力，围绕 LLM 的学术和守业生态能力更加丰盛。FlexGen 是我最近关注到的一个我的项目，它曾经胜利将 175B 参数的 OPT 模型在单卡环境下面跑起来了，置信在不久的未来就能看到能够在 Mac 笔记本上运行的超大规模模型。
Generative Search，搜寻的新形态
聊了那么多 ChatGPT，让咱们回归主题剖析下大模型对搜寻畛域带来的微小影响。这里我先旗帜鲜明地抛出观点：ChatGPT 无奈彻底取代搜索引擎，尤其是特定畛域的企业级搜寻。
第一，只管 ChatGPT 是大模型，但它的数据量并不足以撑持记录人类有史以来呈现的全副信息（大略在 ZB 级别），这一数据量超过 ChatGPT 模型大小几个数量级。相熟压缩算法的敌人肯定晓得，有损压缩过的 JPEG 图片看起来跟原始图片看起来没有什么区别，这种奥妙的压缩形式在相对精度不是必须的状况下具备很好的成果，但在某些状况下会造成误导和信息失落，比方，下图中压缩过的图片中咱们曾经很难看出原图中背景中的那些枝叶。
ChatGPT 汇合了网络上所有的文本信息，像是一个混淆大量含糊图片的视频汇合。当你跟 ChatGPT 对话的时候，就像是在快进这个视频。只管可能看到大量似是而非的答复，但并能不保障的所有的答复是残缺准确的。事实上 ChatGPT 真正令人诧异的是他的推理能力，尤其是引入思维链和其余具体推理的形式之后，ChatGPT 甚至能够拆解并解决一些简单的数学问题。而传统搜寻很大水平上补救了 ChatGPT 的记忆能力，其中既包含更多的历史细节数据，也包含了实时数据。家喻户晓，ChatGPT 只理解 2021 年以前的数据，将搜寻后果 + prompt 提供给 ChatGPT 能够补全细节，让 ChatGPT 的答复更加精确。
第二，搜寻零碎并非只针对单指标的优化，相关性、CTR、多样性、新颖性都是重要的掂量指标，不同工作之间通常要在特定的架构和学习指标下建模，这也导致搜寻能力很难泛化。在 ChatGPT 风行之后，开始呈现 NLP+ 举荐的相干钻研，利用不同 prompt 来进行各种各样的举荐工作，但其外围依然利用自然语言的形容能力和大模型的推理能力来寻找相关性实现“千人千面”。一旦要退出新的评估指标，咱们就须要从新标注数据定义新的 Reward model，而非简略的通过 Prompt Engineering 来找到符合条件的后果。新颖性也是 ChatGPT 目前还不适用于搜寻零碎的重要起因，搜广推零碎中每天都在产生中模型训练部署上线，索引从新构建的行为，实时性要求越来越高。对于 ChatGPT 这样的超大模型而言，频繁 finetune 来减少新常识很容易导致模型跑飞的状况，充斥了挑战和不可控因素。
第三，性能和老本是 ChatGPT 无奈代替检索的重要瓶颈，这也是目前 Google 在 LLM 应用领域落后于 OpenAI 的关键因素。抛开老本不谈，大模型对于解决百级别 token 的耗时超过 2 秒，这显然大大超过了很多用户的忍受范畴。想要取得良好的搜寻成果，必须给出 ChatGPT 残缺无效的 prompt，而这会进一步增大耗时。因而，当初这个阶段 LLM 只能在非工夫敏感的零碎应用，这也是 Google 为什么抉择优化模型更小的 Bard 而不是成果更好的 PaLM 的根本原因。但我置信，随着算力的倒退以及对模型的继续优化，大模型和搜寻的交融会逐步成为趋势。
第四，也就是公正性和客观性。搜寻作为一个工具，须要提供更加主观的事实，而目前很难证实 ChatGPT 的观点是公正中立的。事实上，略微花点精力绕过 ChatGPT 外表的限度，就能发现 ChatGPT 的答复在某些问题上是有显著的倾向性。基于 ChatGPT 生成的数据去训练 ChatGPT，是否会导致这一倾向性变得更加重大？那么这些问题该如何解决？我的答案是 Generative Search，中文翻译过去是生成式检索。生成式检索的次要范式是加载数据、索引预构建、查问语句剖析、索引查问、后果生成。
大模型在这套零碎中次要承当两个责任：1）交互式工具调用 2）后果演绎、精排。先聊聊第一个性能，通过 prompt 工程，应该能够疏导 ChatGPT 写出调用其余搜寻或者工具的代码，Tool Transformer 这篇论文具体介绍了如何将 GPT-J fine tune 成一个能够本人调用 Wikipedia 或者 Calculator 的模型。以 Calculator 举例，咱们只须要应用以下 prompt 就能够让 ChatGPT 本人调用计算器：
这种能力意味着搜寻的交互模式产生了微小扭转，用户只有形容本人要执行的工作，ChatGPT 便能够借助代码、向量检索、关键词检索等多种形式去寻找数据。基于关键词检索和向量检索，ChatGPT 能够取得大量事实数据，这些数据的正确性和实时性更加有保障。同时，咱们通过减少 Reward 模型的指标来晋升 ChatGPT 在输入丰富性、无害性、热度等概念的判断能力，而不仅仅在输入只关注相关性指标的后果。
因为 ChatGPT 的性能对于输出 token 数目高度敏感，这里衍生了新的挑战，即如何从原始资料中提取出足够精炼的信息和上下文交给 ChatGPT 进行最终的后果生成。一种不言而喻的形式是屡次调用 LLM 进行信息提取、分层、过滤、模型蒸馏、量化等，这些常见伎俩应该都有助于晋升搜寻的性能。基于这一架构的生成式检索，不仅解决了数据的实效性问题和可信度问题，更重要的是能够答复某一具体业务的相干问题。这一架构也能够利用于图片、视频、音频、生物分子式、时序等多模态数据，成为搜寻畛域大一统的事实标准。
搜寻畛域商业模式的转换
搜寻畛域的商业模式，也须要在技术创新和用户体验之间寻找平衡点。ChatGPT 的呈现为搜寻带来了全新的用户体验和技术手段，但也带来了商业模式的转换。
ChatGPT 在很大水平上扭转了搜寻用户的应用习惯，用户不再违心点击链接，而点击链接正是 Google 获取营收的基本。另一端，竞价排名模型下广告主花了大量的费用保障本人的产品呈现在搜寻后果的前端，而 ChatGPT 带用户全新的应用体验，不再须要从数以百计的链接中找到本人想要的信息，大模型会帮你整顿演绎并提炼出须要的信息点。
因而，如何将广告信息有机地融入到搜寻后果中，并为广告主提供更精准的投放成果评估，仍是一个亟待解决的问题。ChatGPT 对于搜寻的另一个变动就是入口的扭转。为了占据苹果设施搜寻入口，Google 每年要花费超过一百亿美金，而随着 ChatGPT 的呈现，搜寻入口将会变得多元化，不再局限于浏览器，而是扩散在各个利用、语音助手、甚至于机器人身上。借助大模型让构建高质量的私域检索成为可能，搜寻将来很可能从间接面向用户的入口转为 ToB 侧的 Infra 根底服务。在这个过程中，技术创新是推动商业模式转换的要害。
遐想当年 Google 颠覆 yahoo 黄页，带来了技术上的破坏性翻新，其外围在于人力保护信息的黄页老本跟不上数据产生的速度。在这个过程中，Google 大量高效率的基础设施（MapReduce、GFS、Spanner、TensorFlow、Kubernetes）起到了减速作用，最终从迭代速度上战败了内容为王的 yahoo。明天，大模型技术的倒退须要全方位的技术创新，从基础设施、算法、模型训练、部署等方面来看，都存在很大的机会。
大模型 + 搜索引擎，ChatGPT 你怎么看？
当咱们把本文探讨的问题抛给 ChatGPT，答案十分具备参考意义。
ChatGPT 能够在查问了解、后果排名、个性化搜寻方面帮忙传统检索。更为重要的是，传统搜寻基于关键词和短语，表达能力比拟弱，自然语言的引入可容许用户跟进问题、廓清查问，这将会使得整个搜寻的应用体验更加直观和高效。这种应用体验的晋升，意味着 ChatGPT 以及背地的大模型和生成式 AI，可能成为将来颠覆许多行业的系统性机会。这种冲击肯定会在接下来的一段时间内缓缓发酵，孵化出大量 AI as a Service 的基础设施公司和基于 AI 构建利用的守业公司。
至多从目前看，搜寻技术还不会退出历史的舞台，但它到底会向着何种方向演进？让咱们刮目相待。
参考文献：
- https://www.newyorker.com/tech/annals-of-technology/chatgpt-i…
- https://arxiv.org/abs/2203.13366
- https://arxiv.org/pdf/2302.04761.pdf
- https://www.semianalysis.com/p/the-inference-cost-of-search-d…
- https://zhuanlan.zhihu.com/p/589533490
