共计 2911 个字符，预计需要花费 8 分钟才能阅读完成。
2023 年 6 月 25 日 Jina AI 公布了 JinaChat，一个面向开发者和终端用户的多模态大模型 API。传统大型语言模型往往将竞争力建设在「参数多」和「刷分强」的根底上，然而对于利用开发者来说，传统模型商的 API 并不能很好地让开发者低成本的实现解决方案。后果就产生了 AIGC 时代的悖论：人人都是开发者，后果开发者一分钱没赚到，模型 API 服务商赚个盆满钵满。那么明天就让咱们看看 JinaChat 是如何破局的。
传统大模型的陷阱：西西弗斯式的循环
在理论生产环境中应用大模型时，通常咱们会采纳长提醒词、小样本提醒词（Few-shot prompt）、思维链（Chain of thoughts）或 AutoGPT 来实现简单的工作。但这些能力须要引入大量上下文窗口，囿于低廉的 token 计费机制。咱们首先面临的阻碍便是其昂扬的老本。
应用 ChatGPT 发问单个问题（zero-shot）通常须要消耗 100 ~ 200 个 token。特地而在聊天机器人，客服等间断对话场景中，为了放弃上下文记忆，传统的大模型 API 要求开发者每次都要追加发送历史音讯，直到上下文窗口被填满。对于开发者来说，token 的花销大部分领取在了历史音讯上。
小样本提醒词（few shot prompt）是大模型中罕用的高级提醒词策略，它由 {任务说明，[多个训练样本,…]，测试样本} 组成，从而诱导大模型给出更好的答案。其中“任务说明”和“多个训练样本”这两局部根本是固定成本，在应用小样本提醒词时，真正的变量在于测试样本。然而，传统的大模型 API 要求开发者每次在构建小样本决策时都必须发送蕴含训练样本的残缺的提醒词能力“激活”模型的上下文学习能力。也就是说每次决策中 90% 的老本节约在了重复性的提醒词上，真正用在刀刃上的不到理论开销的 10%。
接下来就是更烧钱的 AutoGPT。曾有人说过，AutoGPT 爆火的背地 OpenAI 数钱数到麻。这是因为 AutoGPT 中每一个工作须要通过思维链（chain of thoughts）来实现：为了提供最佳的推理，每一步推理都会引入之前的思维链，这就会耗费更多的 token，在 AutGPT 公布不久咱们就曾具体计算过，应用 AutoGPT 一项简略的的工作老本高达 102 元。
看似引领将来的小样本提醒词和 AutoGPT，从老本角度来看，对大部分用户和组织来说，都显得遥不可及。
开发者的福音：低成本长记忆的 JinaChat
“对方 token 多贵？”
“10 美分”
“咱们 token 多贵？”
“5 美分”
“给我减，减到零，开局再送多模态！“
下面这段对话可能来自是大家最近常刷到的游戏广告。也是咱们 JinaChat 的源能源之一：一个针对长 prompt 优化后的大模型 API，让开发者守住本人的钱袋子。
和同类大模型相比的费用劣势传统的大模型 API 无奈保留和追溯对话历史，而 JinaChat 容许开发者通过 chatId 调取之前的每次对话历史，使得大模型的 API 从 stateless 变成了 stateful，从而放弃了长 Prompt 的记忆。更重要的是，开发者每次只须要领取增量局部的花销，而无需对记忆做反复付费，极大的升高的开发者的应用老本。
举个例子，如果你设计一个简单的 Agent，须要依据历史对话信息做出决策。用传统大模型 API，你须要每次发送包含 Agent、CoT、记忆体等的全部内容，相当于每次都从山脚下开始爬。
而有了 JinaChat，你只需发送增量信息，之前的对话会被模型记住，你只须要指定 chatId，就像游戏读档一样，从已有的高度开始持续攀登，无需反复领取的老本。
你甚至能够在 API 中持续图形界面的聊天记录。
除了能够应用 chatId 来实现“读档”，JinaChat 的单条申请价格也相当便宜。以规范订阅为例，对于少于 300 个 token 的短消息，完全免费，这满足了大部分简略日常沟通需要。至于超过 300 个 token，无论音讯有多长，都是一口价 0.56 元。如果开发者可能无效联合 chatId，在首次应用长 prompt 构建历史信息和训练样本，而在前期能够只发送增量 prompt，从而把老本压缩到 300 token 内，极大的升高了简单 LLM 利用的开发成本。
超过文本，引领多模态交互新时代“开局送神装”
在 6 月 26 号公布的 JinaChat 0.1 版本中，用户不仅能够通过文本交互在一个相似 ChatGPT 的界面中与 JinaChat 交互，更能够通过上传图片实现图聊。JinaChat 将图像交互作为一项重要性能加以反对。它可能调用 SceneXplain 实现对图像解析和内容了解。
举例来说，当你发送一张旅行照片时，JinaChat 能通过图像识别技术判断照片中的地点，并提供相干信息，如旅游景点举荐、当地美食等，从而帮忙你更好地布局旅行。
联合 JinaChat 的继续记忆能力，对于长篇对话和多轮互动的简单查问，你会发现，JinaChat 的性价比是市面上最具竞争力的。其余解决方案无奈与之比较，能够说“过了这个村就没这个店了。”
再如，你发送一张汽车图片，JinaChat 能辨认汽车的品类，并给出汽车的品牌型号、亮点等信息，深度的图像交互可能带给全新的体验。
这种多模态交互不仅提供了更丰盛的用户和开发者体验，还为跨畛域的利用开拓了广大的可能性。
往深层次看，通过 JinaChat，大型语言模型的能力能够失去真正的利用。基于 JinaChat 的弱小能力，开发者们能够轻松地构建具备多层次对话构造、反对多模态输出的简单 LLM 利用。
API 无缝集成，拓宽开发者视线
JinaChat 的 API 与 OpenAI 的聊天 API 齐全兼容，另外，还减少了图像交互、对话复原等性能，使其在交互性方面更胜一筹。开发者能够轻易地将其替换成 JinaChat API，实现更加丰盛和多样化的用户体验，满足不同利用场景的需要。
import os
import openai
openai.api_type = "openai"
openai.api_base = "https://api.chat.jina.ai/v1"
openai.api_version = None
openai.api_key = os.getenv("JINA_CHAT_API_KEY")
response = openai.ChatCompletion.create(messages=[{'role': 'user', 'content': 'Tell me a joke'}],
)
print(response)这就是 JinaChat，一个 更低成本、更多模态 的造福开发者的大规模语言模型服务。无论你须要 AI 对话助手，还是开发简单的 LLM 利用，JinaChat 都能为你提供功能强大又经济实惠的体验。如果你也心愿本人的利用更互动、更智能，那么 JinaChat 将是你的首选。
将来，JinaChat 将一直降级，以智能对话加强用户体验，让咱们的交换形式更加多元。
当初就输出 JCFIRSTCN，即刻享受首月收费体验！
点击 chat.jina.ai，立即退出咱们，摸索更多可能性吧！国内用户首次拜访时会被导向 chat.jinaai.cn 域名以适配国内网络环境。另外 iOS 手机用户请应用 Safari 或者在电脑端关上链接。
