共计 4145 个字符，预计需要花费 11 分钟才能阅读完成。
前言
ChatGPT 最近热度继续低落，曾经成为互联网和金融投资畛域最热门的话题。
有的小伙伴可能须要在公司搭建一套 ChatGPT 零碎，那应用 ChatGPT 的 API 显然是最好的抉择。
不过 ChatGPT 的 API 都是无状态的，没有对话治理的性能。
你调用 API 发送一个问题 (prompt) 给 ChatGPT，它就依据你发送的问题返回一个后果(completion)。
那如何通过 ChatGPT 的 API 实现带上下文性能的对话呢。
ChatGPT API
ChatGPT 的 API 实际上是对规范的 HTTP 接口做了一层封装，HTTP 申请的 url 地址如下：
https://api.openai.com/v1/chat/completions
官网封装了 Python 和 Node.js 库，能够间接应用。
咱们来看一段 Python 代码示例：
import os
import openai
# 设置 API key
openai.api_key = os.getenv("OPENAI_API_KEY")
# 给 ChatGPT 发送申请
completion = openai.ChatCompletion.create(
model="gpt-3.5-turbo",
messages=[{"role": "user", "content": "Hello!"}
]
)
# 打印申请后果
print(completion.choices[0].message)这段代码很简略，发送一条音讯 ”Hello!” 给 ChatGPT，而后打印后果。
这里有 3 个注意事项：
-
用到了官网的 openai 库，须要装置
$ pip install openai -
须要创立 API key
在上面这个链接创立你的 API key
https://platform.openai.com/account/api-keys
-
要应用
openai.ChatCompletionopenai 这个库里封装了很多类，如下所示：
openai.Completion
openai.ChatCompletion
openai.Edit
openai.Image
openai.Embedding
openai.Audio
openai.FineTune
openai.Moderation
其中，openai.ChatCompletion用于对话。
Role 角色
仔细的同学可能曾经发现，给 ChatGPT 发送音讯的时候，参数 message 是个数组，数组里每个 dict 有 role 这个字段。
role 目前有 3 个取值：
- user。示意提交 prompt 的一方。
- assistant。示意给出 completion 响应的一方，实际上就是 ChatGPT 自身。
- system。message 里 role 为 system，是为了让 ChatGPT 在对话过程中设定本人的行为，目前 role 为 system 的音讯没有太大的理论作用，官网说法如下：
gpt-3.5-turbo-0301 does not always pay strong attention to system messages. Future models will be trained to pay stronger attention to system messages.
# Note: you need to be using OpenAI Python v0.27.0 for the code below to work
import openai
openai.ChatCompletion.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Who won the world series in 2020?"},
{"role": "assistant", "content": "The Los Angeles Dodgers won the World Series in 2020."},
{"role": "user", "content": "Where was it played?"}
]
)下面这段代码里，应用了 3 种角色的 role，这个 messages 发送给 ChatGPT 后，ChatGPT 就有了上下文，晓得作为 user 的咱们说了什么，也晓得作为 assistant 的本人答复了什么。
想通过 API 实现蕴含上下文信息的多轮对话的要害就是用好 role 字段。
不含上下文的对话
import os
import openai
openai.api_key = os.getenv("OPENAI_API_KEY")
while True:
content = input("User:")
messages = [{"role": "user", "content": content}]
completion = openai.ChatCompletion.create(
model="gpt-3.5-turbo",
messages=messages
)
chat_response = completion
answer = chat_response.choices[0].message.content
print(f'ChatGPT: {answer}')下面这个实现里，每次只发送了以后输出的信息，并没有发送对话的历史记录，所以 ChatGPT 无奈晓得上下文。
咱们来看对话成果如下：
$ python3 chatgpt1.py
User: 你好
ChatGPT: 你好！我是 AI 助手，有什么能够帮到您的吗？User: 我方才说了什么
ChatGPT: 很道歉，因为我是 AI 语音助手，无奈得悉您方才说了什么，请您再次告知。蕴含上下文的对话
import os
import openai
openai.api_key = os.getenv("OPENAI_API_KEY")
messages = []
while True:
content = input("User:")
messages.append({"role": "user", "content": content})
completion = openai.ChatCompletion.create(
model="gpt-3.5-turbo",
messages=messages
)
chat_response = completion
answer = chat_response.choices[0].message.content
print(f'ChatGPT: {answer}')
messages.append({"role": "assistant", "content": answer})下面这个实现里，每次发送申请给 ChatGPT 时，把历史对话记录也一起发送，所以 ChatGPT 晓得对话的上下文。
咱们来看对话成果如下：
$ python3 chatgpt2.py
User: 你好
ChatGPT: 你好！我是 AI 助手，有什么须要帮忙的吗？User: 我方才说了什么
ChatGPT: 你方才说了 "你好"。潜在的坑
目前通过 API 实现上下文对话有 2 个潜在的坑：
-
token 数量问题。每次要把历史对话记录传过来，会导致后续单次申请和响应耗费的 token 数量越来越多，超过 ChatGPT 模型反对的最大上下文长度，ChatGPT 就无奈持续往下解决了。比方 gpt-3.5-turbo 反对的最大上下文长度是 4097 个 token，如果单次申请和响应里蕴含的 token 数量超过这个数，ChatGPT 就会返回如下谬误：
This model’s maximum context length is 4097 tokens. However, you requested 4103 tokens (2066 in the messages, 2037 in the completion). Please reduce the length of the messages or completion.
- 费用问题。API 是依照 token 数量免费的，这个 token 计算是 prompt 和 completion 的 token 数量总和。因为后续的申请蕴含的 token 数量越来越多，导致每次调用 API 的免费也越来越高。
那如何解决这个问题呢？
- 第一种形式就是每次发送申请时，不必带上全副历史对话记录，只带上最近几轮对话的记录。比方就带上最近 6 条对话记录(3 条 prompt，3 条 completion)，缩小单次申请里蕴含的 token 数量，防止超过 ChatGPT 模型的最大上下文长度。
-
第二种形式是在调用 API 的时候，限度用户发问内容长度，以及限度返回的 completion 的 token 数量。后者能够通过给 API 调用指定 max_token 参数来实现，该参数的含意如下：
The maximum number of tokens to generate in the chat completion.
The total length of input tokens and generated tokens is limited by the model’s context length.
总结
在官网和 ChatGPT 对话的同学可能会发现，API 返回的 completion 后果其实没有官网的好，
通过查看官网对话的申请信息，发现普通用户 (非 ChatGPT Plus 会员) 用的模型是text-davinci-002-render-sha，而这个模型在 API 里无奈应用。
开源地址
想晓得如何注册 ChatGPT 账号以及 API 应用教程的能够参考我的开源教程：ChatGPT 模型教程。蕴含 ChatGPT 和百度文心一言的入门和实战教程。
公众号：coding 进阶。
集体网站：Jincheng’s Blog。
知乎：无忌。
福利
我为大家整顿了一份后端开发学习材料礼包，蕴含编程语言入门到进阶常识(Go、C++、Python)、后端开发技术栈、面试题等。
关注公众号「coding 进阶」，发送音讯 backend 支付材料礼包，这份材料会不定期更新，退出我感觉有价值的材料。还能够发送音讯「进群」，和同行一起交流学习，答疑解惑。
References
- https://platform.openai.com/docs/introduction
- https://platform.openai.com/docs/api-reference
