在人工智能畛域，大语言模型（LLMs）是依据预训练数据集进行”学习“，获取能够拟合后果的参数，尽管随着参数的减少，模型的性能也会随之加强。但无论业余畛域的小模型，还是当下最火、成果最好的大模型，都有一个独特的劣势：无奈精确/正确地答复出训练数据集以外（区别于验证集和测试集的新增数据，如实时新闻、未公开的企业信息等）的后果，进而假造答案进行回复，即大模型幻觉问题。

为了解决上述问题，同时防止微调/从新训练带来的老本，LLMs插件应运而生。通过LLMs弱小的内容生成能力和上下文理解能力，联合插件提供的数据以及特定性能，不仅拓宽了LLMs的应用领域，还减少了LLMs生成后果的可信度，更好地服务于使用者。

1 插件

插件是一种软件组件，它能够被增加到一个次要的应用程序或零碎中，以扩大其性能或提供额定的个性。插件通常被设计成可独立装置和卸载，并且能够与主应用程序进行交互。插件的性能取决于所利用的畛域和具体的应用程序，在AIGC疾速倒退的明天，大语言模型插件异军突起，扭转了插件存在的状态，这也是本篇文章重点的钻研对象。联合以后大语言模型插件的倒退，插件分类如下：

1.1 传统插件

传统插件(Plug-in,又称addin、add-in、addon或add-on,又译外挂)是一种遵循肯定标准的利用程序接口编写进去的程序。其只能运行在程序规定的零碎平台下（可能同时反对多个平台），而不能脱离指定的平台独自运行，即插件的运行依赖于宿主软件，无差别地启用或禁用插件性能。传统插件可分为浏览器插件和客户端软件插件，传统插件的存在状态如下图所示。

1.2 大语言模型插件

大语言模型插件是随着大语言模型倒退而诞生的全新插件。 大语言模型插件的外围是Web API，独立于大语言模型，插件开发过程不受大语言模型的束缚，同时没有开发语言的限度，更加通用，只有Web API遵循RESTful相干规定即可。只是在为大语言模型配置插件时遵循配置规定，如原生ChatGPT插件配置遵循OpenAPI格局以及增加相干形容。大语言模型与插件是绝对独立的两个局部，大语言模型与插件关系示意如下图所示。

大语言模型是插件的选择器，按需应用插件性能，即只有当用户提供的问题或数据满足插件调用条件时，才会调用插件，不是无差别地应用插件性能，大语言模型插件的工作流程如下图所示。

2 ChatGPT插件

目前最弱小的商用大语言模型莫过于OpenAI的大语言模型ChatGPT-3.5/4.0，均反对插件性能（前面对立应用ChatGPT），并且对反对开发者凋谢了插件开发入口，开发者能够基于本身需要开发Web API作为ChatGPT插件。然而，ChatGPT创立插件的过程比拟繁琐，上面以GPTBots插件创立过程作为比照，两者插件创立过程如下图所示（左：ChatGPT创立插件；右：GPTBots创立插件）。

3 GPTBots插件

咱们不一样！GPTBots插件利用的技术路线不同于ChatGPT，GPTBots插件交融了ChatGPT插件创立标准（通用的OpenAPI标准）和函数调用性能，这样做有如下劣势：

  • 开发者只需专一于本身性能接口开发，无需开发额定的接口
  • 插件配置遵循OpenAPI标准，开发者能够间接复用面向ChatGPT Web 的插件，一键公布插件至GPTBots
  • GPTBots插件主动兼容市面上支流已反对插件能力的LLM，开发者无需再去适配每个LLM

3.1 创立插件

通过下面插件创立过程比照，咱们晓得，应用GPTBots插件只需四步：开发插件接口、新建插件、配置插件鉴权、增加合乎OpenAPI标准的接口配置，其余的交给GPTBots。
（1）开发插件接口
这里与ChatGPT原生形式雷同，须要开发者自行开发插件接口，然而，在GPTBots中不须要开发者另行开发插件清单接口、插件接口配置信息接口、插件Logo接口，只须要开发者专一于插件性能接口开发。
（2）新建插件
GPTBots新建插件入口如下图。

（3）配置插件鉴权
GPTBots插件提供三种鉴权形式，即不鉴权(None)、Basic鉴权和Bearer鉴权，配置过程如下图。

（4）增加合乎OpenAPI标准的接口配置
实现上述筹备工作，最初为插件配置接口规定，即开发者的性能接口，GPTBots采纳的接口规定遵循OpenAPI标准，配置阐明如下图。

实现插件创立后，能够在“我的插件”中看到已创立胜利的插件，同时，GPTBots提供了插件一键公布性能，行将插件公布到插件市场，供其余开发者应用。

综上，GPTBots插件最大水平简化了用户创立和应用插件的流程，极大升高了插件应用门槛。

3.2 插件利用

GPTBots不仅创立插件流程非常简单、对开发者十分敌对，应用起来也十分棘手。应用插件前，咱们须要为Bot增加插件。以高德天气插件为例，为“天气小精灵”Bot增加插件过程如下：


当咱们为“天气小精灵”Bot增加天气插件和搜寻插件后，当问题中呈现天气和实时信息相干问题时，插件会被动承当内容生产的责任，实测成果如下：

3.3 插件市场

GPTBots官网为宽广开发者和用户提供了泛滥实用的插件，如PDF生成插件、天气插件和搜寻插件等等，GPTBots局部插件如下：

4 思考与瞻望

插件在理论业务利用中，因为LLM每次调用token是有下限的，而插件也不可避免的占用token，这样就导致无奈在一次申请调用中提供多个插件备用。或者一个插件协定如果过于简单，可能导致间接调用失败。

GPTBots平台为了更好解决此类问题，推出了Flow性能。开发者能够在不同的步骤编排多个LLM参加业务解决，每个LLM 能够最多增加3 个插件，这样就很好的解决了插件应用限度的问题，同时通过缩小申请上下文内容长度让LLM更加专一，从而晋升插件调用成功率。

LLMs插件区别于传统插件，它独立、灵便、自在、功能强大，大语言模型插件的外围是Web API，因而大语言模型插件齐全拥抱互联网，同时，没有开发语言“歧视”，无论开发者的语言栈是Python、Java、Go、PHP等，只有能够开发HTTP协定接口，遵循RESTful规定，就能够构建大语言模型插件，置信将来大语言模型插件品种会越来越丰盛，性能越来越弱小。绝对于ChatGPT繁琐的插件创立流程，GPTBots平台简化了插件创立流程，简略、易用、好用，进步插件开发者效率，升高开发者学习老本，将来肯定会有越来越多的开发者抉择GPTBots平台。