关于插件:极光笔记-大语言模型插件

2次阅读

共计 2631 个字符，预计需要花费 7 分钟才能阅读完成。

在人工智能畛域，大语言模型（LLMs）是依据预训练数据集进行”学习“，获取能够拟合后果的参数，尽管随着参数的减少，模型的性能也会随之加强。但无论业余畛域的小模型，还是当下最火、成果最好的大模型，都有一个独特的劣势：无奈精确 / 正确地答复出训练数据集以外（区别于验证集和测试集的新增数据，如实时新闻、未公开的企业信息等）的后果，进而假造答案进行回复，即大模型幻觉问题。

为了解决上述问题，同时防止微调 / 从新训练带来的老本，LLMs 插件应运而生。通过 LLMs 弱小的内容生成能力和上下文理解能力，联合插件提供的数据以及特定性能，不仅拓宽了 LLMs 的应用领域，还减少了 LLMs 生成后果的可信度，更好地服务于使用者。

插件是一种软件组件，它能够被增加到一个次要的应用程序或零碎中，以扩大其性能或提供额定的个性。插件通常被设计成可独立装置和卸载，并且能够与主应用程序进行交互。插件的性能取决于所利用的畛域和具体的应用程序，在 AIGC 疾速倒退的明天，大语言模型插件异军突起，扭转了插件存在的状态，这也是本篇文章重点的钻研对象。联合以后大语言模型插件的倒退，插件分类如下：

传统插件 (Plug-in, 又称 addin、add-in、addon 或 add-on, 又译外挂) 是一种遵循肯定标准的利用程序接口编写进去的程序。其只能运行在程序规定的零碎平台下（可能同时反对多个平台），而不能脱离指定的平台独自运行，即插件的运行依赖于宿主软件，无差别地启用或禁用插件性能。传统插件可分为浏览器插件和客户端软件插件，传统插件的存在状态如下图所示。

大语言模型插件是随着大语言模型倒退而诞生的全新插件。大语言模型插件的外围是 Web API，独立于大语言模型，插件开发过程不受大语言模型的束缚，同时没有开发语言的限度，更加通用，只有 Web API 遵循 RESTful 相干规定即可。只是在为大语言模型配置插件时遵循配置规定，如原生 ChatGPT 插件配置遵循 OpenAPI 格局以及增加相干形容。大语言模型与插件是绝对独立的两个局部，大语言模型与插件关系示意如下图所示。

大语言模型是插件的选择器，按需应用插件性能，即只有当用户提供的问题或数据满足插件调用条件时，才会调用插件，不是无差别地应用插件性能，大语言模型插件的工作流程如下图所示。

目前最弱小的商用大语言模型莫过于 OpenAI 的大语言模型 ChatGPT-3.5/4.0，均反对插件性能（前面对立应用 ChatGPT），并且对反对开发者凋谢了插件开发入口，开发者能够基于本身需要开发 Web API 作为 ChatGPT 插件。然而，ChatGPT 创立插件的过程比拟繁琐，上面以 GPTBots 插件创立过程作为比照，两者插件创立过程如下图所示（左：ChatGPT 创立插件；右：GPTBots 创立插件）。

咱们不一样！GPTBots 插件利用的技术路线不同于 ChatGPT，GPTBots 插件交融了 ChatGPT 插件创立标准（通用的 OpenAPI 标准）和函数调用性能，这样做有如下劣势：

开发者只需专一于本身性能接口开发，无需开发额定的接口
插件配置遵循 OpenAPI 标准，开发者能够间接复用面向 ChatGPT Web 的插件，一键公布插件至 GPTBots
GPTBots 插件主动兼容市面上支流已反对插件能力的 LLM，开发者无需再去适配每个 LLM

通过下面插件创立过程比照，咱们晓得，应用 GPTBots 插件只需四步：开发插件接口、新建插件、配置插件鉴权、增加合乎 OpenAPI 标准的接口配置，其余的交给 GPTBots。
（1）开发插件接口
这里与 ChatGPT 原生形式雷同，须要开发者自行开发插件接口，然而，在 GPTBots 中不须要开发者另行开发插件清单接口、插件接口配置信息接口、插件 Logo 接口，只须要开发者专一于插件性能接口开发。
（2）新建插件
GPTBots 新建插件入口如下图。

（3）配置插件鉴权
GPTBots 插件提供三种鉴权形式，即不鉴权(None)、Basic 鉴权和 Bearer 鉴权，配置过程如下图。

（4）增加合乎 OpenAPI 标准的接口配置
实现上述筹备工作，最初为插件配置接口规定，即开发者的性能接口，GPTBots 采纳的接口规定遵循 OpenAPI 标准，配置阐明如下图。

实现插件创立后，能够在“我的插件”中看到已创立胜利的插件，同时，GPTBots 提供了插件一键公布性能，行将插件公布到插件市场，供其余开发者应用。

综上，GPTBots 插件最大水平简化了用户创立和应用插件的流程，极大升高了插件应用门槛。

GPTBots 不仅创立插件流程非常简单、对开发者十分敌对，应用起来也十分棘手。应用插件前，咱们须要为 Bot 增加插件。以高德天气插件为例，为“天气小精灵”Bot 增加插件过程如下：

当咱们为“天气小精灵”Bot 增加天气插件和搜寻插件后，当问题中呈现天气和实时信息相干问题时，插件会被动承当内容生产的责任，实测成果如下：

GPTBots 官网为宽广开发者和用户提供了泛滥实用的插件，如 PDF 生成插件、天气插件和搜寻插件等等，GPTBots 局部插件如下：

插件在理论业务利用中，因为 LLM 每次调用 token 是有下限的，而插件也不可避免的占用 token，这样就导致无奈在一次申请调用中提供多个插件备用。或者一个插件协定如果过于简单，可能导致间接调用失败。

GPTBots 平台为了更好解决此类问题，推出了 Flow 性能。开发者能够在不同的步骤编排多个 LLM 参加业务解决，每个 LLM 能够最多增加 3 个插件，这样就很好的解决了插件应用限度的问题，同时通过缩小申请上下文内容长度让 LLM 更加专一，从而晋升插件调用成功率。

LLMs 插件区别于传统插件，它独立、灵便、自在、功能强大，大语言模型插件的外围是 Web API，因而大语言模型插件齐全拥抱互联网，同时，没有开发语言“歧视”，无论开发者的语言栈是 Python、Java、Go、PHP 等，只有能够开发 HTTP 协定接口，遵循 RESTful 规定，就能够构建大语言模型插件，置信将来大语言模型插件品种会越来越丰盛，性能越来越弱小。绝对于 ChatGPT 繁琐的插件创立流程，GPTBots 平台简化了插件创立流程，简略、易用、好用，进步插件开发者效率，升高开发者学习老本，将来肯定会有越来越多的开发者抉择 GPTBots 平台。

正文完