关于chatgpt:GPT4-提问技巧二提供参考文本

本文是 GPT4 发问技巧系列的第二篇，全副系列文章：

1. GPT4 发问技巧一：写清晰的阐明；
2. GPT4 发问技巧二：提供参考文本；
3. GPT4 发问技巧三：简单工作拆分；
4. GPT4 发问技巧四：给模型思考工夫；

OpenAI 能够了解和生成人类语言，帮忙咱们解答问题，写文章，甚至编程。然而，即便是 GPT-4，也有其局限性，其中之一就是 上下文长度的限度。GPT-4 的上下文长度限度是由其外部架构决定的，简略来说，GPT-4 在解决输出时，会将输出的文本转化为一系列的“令牌”（tokens）。然而，GPT-4 只能解决肯定数量的令牌，这就是所谓的“上下文长度”。超过这个长度，GPT-4 就无奈全面了解输出的内容，这可能会影响其生成的输入的品质。

目前 OpenAI 的 GPT4 有两个模型，最多别离反对 8K 长度和 32K 长度的 Token。其中 32K 长度 Token 之对大量人凋谢，大部分用的都是 4K 长度，因为 GPU 算力不够。好在随着 AI 的倒退，应该会反对越来越长的 Token。OpenAI 也把反对更长的 token 作为 2023 年的次要指标了，参考 OpenAI’s plans according to Sam Altman。

Longer context windows — Context windows as high as 1 million tokens are plausible in the near future.

援用文本的益处

为了更好应用 GPT4 这些有 token 限度的模型，咱们能够 提供援用文本（reference text）。这是因为援用文本能够帮忙模型更好地了解你的问题，并提供更精确的答案。这里有几个起因：

1. <span style=”color:red;”> 明确性 </span>：援用文本能够帮忙明确你的问题，例如，如果你在问一个对于特定法律条款的问题，提供该法律条款的文本能够帮忙模型更精确地了解你的问题。
2. <span style=”color:red;”> 上下文 </span>：即便模型的上下文长度限度减少，它依然须要了解你的问题的上下文，援用文本能够提供这种上下文。
3. <span style=”color:red;”> 准确性 </span>：援用文本能够帮忙模型提供更精确的答案，模型可能会依据援用文本中的信息来生成答案，而不是仅仅依赖于它的训练数据。
4. <span style=”color:red;”> 效率 </span>：即便模型能够解决更长的上下文，提供援用文本依然能够提高效率，这是因为模型不须要解决不相干的信息，而能够间接关注到你的问题和相干的上下文。

所以，即便 OpenAI 的上下文长度限度减少，提供援用文本依然是一个有用的策略。其实目前像 Claude 的模型，曾经最大反对 100K 长度，大略是 7.6 万个英语单词，能够一次输出整本书籍让它剖析了。

短文本间接援用

对于文本比拟短的援用，能够间接贴到发问外面即可，比方：

• 如果你有一段对于气候变化的文章，并心愿模型应用这篇文章的信息来答复问题，你能够这样发问：“依据以下对于气候变化的文章，寰球变暖的次要起因是什么？”而后附上文章的内容。
• 如果你有一份报告，并心愿模型应用报告中的数据来答复问题，你能够这样发问：“依据以下的年度销售报告，咱们的最滞销产品是什么？”而后附上报告的内容。
• 如果你有一段法律条款，并心愿模型应用这段条款来解释某个概念，你能够这样发问：“依据以下的法律条款，什么是知识产权？”而后附上法律条款的内容。

目前应用 GPT4 的插件，也能够间接将网页链接外面的内容提供给 GPT 来作为援用文本。比方我能够间接让它总结咱们第一篇 GPT4 发问技巧一：写清晰的阐明的内容，如下

长文本援用相干局部

对于文本较长的援用，咱们须要采取不同的策略。比方想让模型参考一本书或一篇长篇文章，可能须要 抉择最相干的局部，或者将要害信息提炼进去作为援用文本 。如何从给定长文本找到和发问内容最相干的局部，最直观的办法就是关键词搜寻。它通过在文本中查找与查问关键词齐全匹配的词或短语来工作。这种办法的长处是简略易用，但毛病是它 无奈了解语义相似性。例如，如果你搜寻 ” 猫 ”，它不会返回蕴含 ” 某种猫粮 ” 或 ” 宠物用品 ” 的文档，除非这些确切的词在文档中呈现。

Embedding-based search

目前 OpenAI 举荐的是另一种办法，叫做 语义搜寻(Embedding-based Search)。在这种办法中，查问和文档都被转换为高维空间中的向量（也称为 Embedding，实质是一串数字）。这些 embedding 捕捉了文本的语义信息，使得语义上类似但字面上不同的词可能被匹配。例如，” 猫 ” 和某种 ” 宠物用品 ” 可能会有类似的 embedding，因而即便文档没有明确提到 ” 猫 ”，也可能被返回为搜寻后果。

在进行语义搜寻时，咱们的指标是找到与咱们的搜寻查问在语义上最靠近的文本。为了做到这一点，咱们须要先将咱们的文本和查问转换成一种能够比拟的模式，这就是所谓的 ” 嵌入(Embedding)”。

1. 预计算阶段：首先，咱们须要解决咱们的文本语料库。这可能是一本书、一组文章，或者任何其余模式的文本。咱们将这个大的文本宰割成更小的块，每个块的长度都在咱们的模型的解决能力范畴内。而后，应用模型将每个文本块转换成一个嵌入，这是一个数字向量，能够捕获文本的语义信息。最初，咱们将这些嵌入存储在一个 向量数据库 中，以便当前应用。
2. 实时计算阶段：搜寻查问时，先将搜寻内容转换成一个嵌入(Embedding)，而后，在向量数据库中查找最靠近查问嵌入的文本嵌入，这些最靠近的嵌入对应的文本块就是咱们的搜寻后果。

这就是语义搜寻的根本过程。尽管这个过程可能波及到一些简单的技术，但其核心思想其实很简略：咱们只是在尝试找到与咱们的查问在语义上最靠近的文本。

对于 Embedding-based search 的更多内容，能够参考上面的文章：

• Question answering using embeddings-based search
• The Beginner’s Guide to Text Embeddings
• Semantic Search With HuggingFace and Elasticsearch

丰盛的工具箱

好在大多时候普通人不须要理解这些技术背景，能够间接应用市面上的现成工具，比方 ChatGPT 的 “Ask Your PDF” 插件，就能够针对本人上传的 PDF 文件进行发问。这个插件将文档的内容转化为一个常识丰盛的对话搭档，可能依据文档内的信息提供具体的答复。不过这个插件目前还是有不少毛病，包含上传的文件大小限度，没法给出具体从 PDF 哪局部内容得出的论断，以及有时候会给出奇怪的答复。

除了收费的 ChatGPT 插件，还有一些付费工具，用起来体验更好些。比方 chatdoc，能够提供文件发问，同时在解答中会给出根据，还能不便跳转。轻易找了一个法律裁判文书的 PDF，而后问了几个问题，整体感觉比插件略微好些。

除了插件，业余工具，微软也提供了带有 browsing 性能的 GPT4，也就是 New bing。它不仅仅是搜寻和返回后果，还能借助 GPT 了解你的问题，依据搜寻到的网页，从新组织语言，提供残缺的答案。

总的来说，尽可能的提供援用文本是一个很好的 Prompt 习惯，能够帮忙咱们在解决长篇文本的时候，更好地利用 GPT 的能力。