共计 531 个字符，预计需要花费 2 分钟才能阅读完成。
出品人：Towhee 技术团队 顾梦佳凋谢词汇模型（比方 CLIP）在推理过程中对自然语言指定的任意一组类别进行分类，是一种很有前途的图像分类新范例。这种称为“提醒”的自然语言通常由一组手写模板组成。为了更高效且独立地生成更精确的提醒，CuPL（通过语言模型创立自定义提醒）将凋谢词汇模型与大型语言模型 (LLM) 相结合，利用 LLM 中蕴含的常识来生成许多为每个对象类别定制的描述性句子。这种间接而通用的办法可能进步了一系列零样本图像分类基准的准确性，包含在 ImageNet 上的性能进步了一个百分点以上。另外，这种办法不须要额定的训练并且齐全放弃零样本。
Standard Zero-shot vs CuPLCuPL 次要蕴含两个步骤：首先利用大型语言模型为给定的类别生成描述性题目，而后一个凋谢的词汇模型（比方 CLIP）会应用这些题目作为执行分类的提醒。CuPL 中的提醒蕴含两种类型，别离用于提醒 / 询问物体形容（LLM-prompts）与形容物体类别（image-prompts），而只有后一种提醒会被用于零样本图像分类。相干材料：代码地址：https://github.com/sarahpratt… 论文链接：https://arxiv.org/abs/2209.03…
正文完