aim
此文章的用意在于:
To equip a language model with the ability to use different tools by means of API calls.
也就是是一个相似于chatGPT一样的模型可能取得调用API的能力。
办法概括
文章所应用的办法是有监督学习。
然而咱们并没有相似下方带有标签的训练数据,这要怎么做呢?
本篇文章就采纳了一个办法可能自己自足。
他间接应用Prompt的形式让语言模型本人生成带有API标签的文本数据。
上图的意思是间接对大语言模型(你就把他当做chatgpt就行了)输出命令,我让大语言模型做一个API的生成器,而后用他返回的后果当做带标签的数据。
而后依据这些已有的API标签,进行API调用接口并返回后果。而后依据返回的后果的好坏去筛选,最初再依据新生成的带有API标签的数据集对大语言模型进行最初的微调,就能够生成可能应用API调用接口的大语言模型了。
简略地说,就是想论文形容的那样:
就这么几步,就能够实现标签数据的自力更生。
你甚至还能够从最初一步再次跳到第一步,再次上述步骤,本人做本人的teacher,教会本人student进行“自我降级”。
更多的
文章所调用的API一共只有五个,然而他的办法能够泛化到更多的API。
在试验后果上能够看到。本篇文章的模型比照PPT 3。有长足的提高,尤其是在数学能力方面始终被诟病的。大概模型不可能进行数学给你算。的毛病也被大幅改良了。
像当初很多的产品预计曾经早早的应用了,这样子的技术办法,比方office的copilot(可能哈,本人猜的)。
更具体
其实更具体的还是得看论文,我这有个自制的小视频,外面也略微讲了些
详见:https://www.bilibili.com/video/BV1vN411A7pV/