共计 744 个字符,预计需要花费 2 分钟才能阅读完成。
aim
此文章的用意在于:
To equip a language model 𝑀 with the ability to use different tools by means of API calls.
也就是是一个相似于 chatGPT 一样的模型可能取得调用 API 的能力。
办法概括
文章所应用的办法是有监督学习。
然而咱们并没有相似下方带有标签的训练数据,这要怎么做呢?
本篇文章就采纳了一个办法可能自己自足。
他间接应用 Prompt 的形式让语言模型 本人生成带有 API 标签的文本数据。
上图的意思是间接对大语言模型(你就把他当做 chatgpt 就行了)输出命令,我让大语言模型做一个 API 的生成器,而后用他返回的后果当做带标签的数据。
而后依据这些已有的 API 标签,进行 API 调用接口并返回后果。而后依据返回的后果的好坏去筛选,最初再依据新生成的带有 API 标签的数据集对大语言模型进行最初的微调,就能够生成可能应用 API 调用接口的大语言模型了。
简略地说,就是想论文形容的那样:
就这么几步,就能够实现标签数据的自力更生。
你甚至还能够从最初一步再次跳到第一步,再次上述步骤,本人做本人的 teacher,教会本人 student 进行“自我降级”。
更多的
文章所调用的 API 一共只有五个,然而他的办法能够泛化到更多的 API。
在试验后果上能够看到。本篇文章的模型比照 PPT 3。有长足的提高,尤其是在数学能力方面始终被诟病的。大概模型不可能进行数学给你算。的毛病也被大幅改良了。
像当初很多的产品预计曾经早早的应用了,这样子的技术办法,比方 office 的 copilot(可能哈,本人猜的)。
更具体
其实更具体的还是得看论文,我这有个自制的小视频,外面也略微讲了些
详见:https://www.bilibili.com/video/BV1vN411A7pV/