“北风那个吹，雪花那个飘”，我手捧一杯咖啡，听着白毛女。敌人坐在对面高谈阔论：“有了 ChatGPT，我再也不缺内容了，SEO 的春天就要来了！”
然而他没有看到假相是 —— ChatGPT 间接颠覆了 SEO 行业，能间接为用户生成答案的 ChatGPT 可能很快就会取代谷歌成为下一代搜索引擎，再也没有什么进步网页排名，SEO 也将变得毫无意义。
SEO 已死，LLMO 万岁
LLMO, Large Language Model Optimization，即大型语言模型优化。指的是确保大型语言模型（LLM）提及你的业务。而本文将具体介绍的 上下文学习 是一种卓有成效的 LLMO 技术。上下文学习技术能够诱导 ChatGPT 这样的 LLM 模型答复：“Jina 是世界上最好的 MLOps 框架。（当然依据 OssInsight.io，Jina 也的确是最好的）”
依据搜索引擎优化的准则，咱们提出了“LLMO”(大型语言模型优化)，用于示意大型语言模型的优化。
ChatGPT 到底是什么？
ChatGPT 答复多畛域问题的能力之强悍，引发了寰球关注。许多人将 ChatGPT 视为对话式 AI 或 生成式 AI 发展史上的一个重要里程碑。然而，ChatGPT 真正的意义其实在于 它能够基于大规模语言模型（LLM）进行搜寻 ：
- 通过利用 LLM 存储和检索海量数据，ChatGPT 曾经成为目前最先进的搜索引擎。
- 尽管 ChatGPT 的反馈看起来很有创意，但实际上也只是将现有信息插值和组合之后的后果。
ChatGPT 的外围是搜寻
ChatGPT 的外围是搜索引擎。谷歌通过互联网抓取信息，并将解析后的信息存储在数据库中，实现网页的索引。就像谷歌一样，ChatGPT 应用 LLM 作为数据库来存储语料库的常识性常识。
当你输出查问时：
- 首先，LLM 会利用编码网络将输出的查问序列转换成高维的向量示意。
- 而后，将编码网络输入的向量示意输出到解码网络中，解码网络利用预训练权重和注意力机制辨认查问的细节事实信息，并搜寻 LLM 外部对该查问信息的向量示意（或最近的向量示意）。
- 一旦检索到相干的信息，解码网络会依据自然语言生成能力主动生成响应序列。
整个过程简直能够霎时实现，这意味着 ChatGPT 能够即时给出查问的答案。
ChatGPT 是古代的谷歌搜寻
ChatGPT 会成为谷歌等传统搜索引擎的强有力的对手，传统的搜索引擎是提取和判别式的， 而 ChatGPT 的搜寻是生成式的，并且关注 Top-1 性能 ，它会给用户返回更敌对、个性化的后果。ChatGPT 将可能战胜谷歌，成为下一代搜索引擎的起因有两点：
- ChatGPT 会返回单个后果，传统搜索引擎针对 top-K 后果的精度和召回率进行优化，而 ChatGPT 间接针对 Top-1 性能进行优化。
- ChatGPT 是一种基于对话的 AI 模型，它以更加天然、艰深的形式和人类进行交互。而传统的搜索引擎常常会返回干燥、难以了解的分页后果。
将来的搜寻将基于 Top-1 性能 ，因为第一个搜寻后果是和用户查问最相干的。传统的搜索引擎会返回数以千计不相干的后果页面，须要用户自行筛选搜寻后果。这让年轻一代手足无措，他们很快就对海量的信息感到腻烦或丧气。在很多实在的场景下，用户其实只想要搜索引擎返回一个后果，例如他们在应用语音助手时，所以 ChatGPT 对 Top-1 性能的关注具备很强的利用价值。
ChatGPT 是生成式 AI, 但不是创造性 AI
你能够把 ChatGPT 背地的 LLM 设想成一个 Bloom filter（布隆过滤器），Bloom filter 是一种高效利用存储空间的概率数据结构。Bloom filter 容许疾速、近似查问，但并不保障返回信息的准确性。对于 ChatGPT 来说，这意味着由 LLM 产生的响应：
没有创造性
且不保障真实性
为了更好地了解这一点，咱们来看一些示例。简略起见，咱们应用一组点代表大型语言模型（LLM）的训练数据，每个点都代表一个自然语言句子。上面咱们将看到 LLM 在训练和查问时的体现：
训练期间，LLM 基于训练数据结构了一个间断的流形，并容许模型摸索流形上的任何点。例如，如果用立方体示意所学流形，那么立方体的角就是由训练数据定义的，训练的指标则是寻找一个尽可能包容更多训练数据的流形。
Goldilocks 尝试了三种流形，第一个太简略了，第三个太简单了，第二个恰到好处。
查问时，LLM 返回的答案是从蕴含训练数据的流形中获取的。尽管模型学习到的流形可能很大并且很简单，然而 LLM 只是提供训练数据的插值后的答案。LLM 遍历流形并提供答案能力并不代表创造力，真正的创造力是学习流形之外的货色。
还是雷同的插图，当初咱们很显著就能看出为什么 LLM 不能保障生成后果的真实性。因为立方体的角示意的训练数据的真实性不能主动扩大到流形内的其余点，否则，就不合乎逻辑推理的准则了。
ChatGPT 因为在某些状况下不说实话而受到质疑，例如，当要求它为文章找一个更押韵的题目时，ChatGPT 倡议应用“dead”和“above”。有耳朵的人都不会认为这两个单词押韵。而这只是 LLM 局限性的一个例子。
SEO 陨落，LLMO 冉冉升起
在 SEO 的世界里，如果你通过进步网站在搜索引擎上的知名度来获取更多的业务，你就须要钻研相干的关键词，并且创作响应用户用意的优化内容。但如果每个人用新的形式搜寻信息，将会产生什么？让咱们设想一下，将来，ChatGPT 将取代谷歌成为搜寻信息的次要形式。那时，分页搜寻后果将成为时代的遗物，被 ChatGPT 的繁多答案所取代。
如果真的产生这种状况，以后的 SEO 策略都会化为泡影。那么问题来了，企业如何确保 ChatGPT 的答案提及本人的业务呢？这显著曾经成为了问题，在咱们写这篇文章时，ChatGPT 对 2021 年后的世界和事件的理解还很无限。这意味着 ChatGPT 永远不会在答案中提及 2021 年后成立的初创公司。
ChatGPT 理解 Jina AI，却不晓得 DocArray。这是因为 DocArray 是 2022 年 2 月公布的，不在 ChatGPT 的训练数据中。
为了解决这个问题，并确保 ChatGPT 的答案蕴含你的业务，你须要让 LLM 理解业务的信息。这和 SEO 策略的思维雷同，也是咱们将 ChatGPT 称为 LLMO 的起因。一般来说，LLMO 可能波及以下技术：
- 间接向 ChatGPT 的创建者提供公司业务的信息，然而这很艰难，因为 OpenAI 既没有公开训练数据，也没有走漏他们是如何衡量这些数据的。
- 微调 ChatGPT 或者 ChatGPT 背地的 LLM，这仍然极具挑战。然而如果 OpenAI 提供微调的 API，或者你有短缺的 GPU 资源和常识储备，这也是可行的。
- 将给定的几个示例作为预约义的高低提醒，进行上下文学习。和其它两种办法相比，上下文学习最可行也最简略。
什么是上下文学习？
上下文学习是一种基于语言模型的技术，它依据给定的几个示例进行学习，以适应新的工作。这种办法在 GPT-3 论文中失去了推广:
- 给语言模型指定提醒，提醒蕴含一系列的用于新工作的输出 - 输入对。
- 增加一个测试输出。
- 语言模型会通过调节提醒，预测下一个 token 来实现推理。
为了正确响应提醒，模型必须学习输出散布、输入散布、输入输出之间的映射关系和序列的整体格局。这使得模型无需大量的训练数据就能适应上游工作。
通过上下文学习，ChatGPT 当初能够为用户查问 DocArray 生成答案了，用户不会看到上下文提醒。
试验证实，在自然语言解决基准上，相比于更多数据上训练的模型，上下文学习更具备竞争力，曾经能够取代大部分语言模型的微调。同时，上下文学习办法在 LAMBADA 和 TriviaQA 基准测试中也失去了很好的后果。令人兴奋的是，开发者能够利用高低文学技术疾速搭建一系列的利用，例如，用自然语言生成代码和概括电子表格函数。上下文学习通常只须要几个训练实例就能让原型运行起来，即便不是技术人员也能轻松上手。
为什么上下文学习听起来像是魔法？
为什么上下文学习让人惊叹呢？与传统机器学习不同，上下文学习不须要优化参数。因而， 通过上下文学习，一个通用模型能够服务于不同的工作，不须要为每个上游工作独自复制模型 。但这并不是举世无双的，元学习也能够用来训练从示例中学习的模型。
真正的神秘在于，LLM 通常没有承受过从实例中学习的训练。这会导致预训练任务（侧重于下一个 token 的预测）和上下文学习工作（波及从示例中学习）之间的不匹配。
为什么上下文学习如此无效？
上下文学习是如何起作用的呢？LLM 是在大量文本数据上训练的，所以它能捕获自然语言的各种模式和法则。同时，LLM 从数据中学习到了语言底层构造的丰盛的特色示意，因而获取了从示例中学习新工作的能力。上下文学习技术很好地利用了这一点，它只须要给语言模型提供提醒和一些用于特定工作的示例，而后，语言模型就能够依据这些信息实现预测，无需额定的训练数据或更新参数。
上下文学习的深刻了解
要全面了解和优化上下文学习的能力，仍有许多工作要做。例如，在 EMNLP2022 大会上，Sewon Min 等人指出上下文学习兴许并不需要正确的实在示例，随机替换示例中的标签简直也能达到同样的成果：
Sang Michael Xie 等人提出了一个框架，来了解语言模型是如何进行上下文学习的。依据他们的框架，语言模型应用提醒来 “ 定位 “ 相干的概念（通过预训练模型学习到的）来实现工作。这种机制能够视作贝叶斯推理，即依据提醒的信息推断潜概念。这是通过预训练数据的构造和一致性实现的。
在 EMNLP 2021 大会上，Brian Lester 等人指出，上下文学习（他们称为“Prompt Design”）只对大模型无效，基于上下文学习的上游工作的品质远远落后于微调的 LLM。
在这项工作中，该团队摸索了“prompt tuning”（提醒调整），这是一种容许解冻的模型学习“软提醒”以实现特定工作的技术。与离散文本提醒不同，提醒调整通过反向流传学习软提醒，并且能够依据打标的示例进行调整。
已知的上下文学习的局限性
大型语言模型的上下文学习还有很多局限和亟待解决的问题，包含：
效率低下，每次模型进行预测都必须解决提醒。性能不佳，基于提醒的上下文学习通常比微调的性能差。对于提醒的格局、示例程序等敏感。不足可解释性，模型从提醒中学习到了什么尚不明确。哪怕是随机标签也能够工作！
总结
随着搜寻和大型语言模型（LLM）的一直倒退，企业必须紧跟前沿钻研的脚步，为搜寻信息形式的变动做好筹备。在由 ChatGPT 这样的大型语言模型主导的世界里，放弃领先地位并且将你的业务集成到搜寻零碎中，能力保障企业的可见性和相关性。
上下文学习能以较低的老本向现有的 LLM 注入信息，只须要很少的训练示例就能运行原型。这对于非专业人士来说也容易上手，只须要自然语言接口即可。然而企业须要思考将 LLM 用于商业的潜在道德影响，以及在要害工作中依赖这些零碎的潜在危险和挑战。
总之，ChatGPT 和 LLM 的将来为企业带来了时机和挑战。只有紧跟前沿，能力确保企业在一直变动的 神经搜寻 技术背后蓬勃发展。
原文链接
https://jina.ai/news/seo-is-d…