出品人：Towhee 技术团队
作者：顾梦佳
由 OpenAI 推出的聊天机器人 ChatGPT 爆火，带动 AI 受到了前所未有的关注。随之市面上也涌现出了各类开源的大语言模型（LLM），其中 LLaMA“羊驼系列”最受关注、最具后劲。LLaMA 是由 Meta AI 公布的一个凋谢且高效的大型根底语言模型，其数据集起源都是公开数据集，无任何定制数据集，保障了其工作与开源兼容和可复现。而 Guanaco”原驼“模型则是基于 LLaMA 利用 QLoRA 技术微调进去的最优模型。QLoRA 在升高大模型微调老本的同时，也保障了性能的晋升。它只须要一张生产级显卡，就能在两天内取得一个 99+% 近似 ChatGPT 的大语言模型。其论文一经公布就受到了业内宽泛关注，是目前热度最高的 AI 论文之一。
|Comparing finetune methods: Regular vs LoRA vs QLoRA
QLoRA 应用了一种新鲜的高精度技术将预训练的 Transformer 模型量化为 4 位精度，而后增加一小组可学习的低秩适配器（LoRA）权重，通过反向流传梯度来调整这些量化权重。它通过引入多项翻新技术改良了 LoRA，用于每一层网络层，从而在节俭内存的同时保障性能：
- NF4（4 位 NormalFloat）：一种新的数据类型，对于正态分布的权重来说，在信息实践上是最优的。
- 双重量化：一种量化量化常数的办法，通过量化量化常数来缩小均匀内存占用。均匀每个参数节可能省约 0.37 位，对于 650 亿参数的模型来说约为 3GB。
- 分页优化器：它能够用于治理内存峰值，应用了英伟达对立内存，在解决具备长序列长度的小批量时能够防止梯度检查点的内存峰值。
试验结果表明，QLoRA 仅用小型的高质量数据集进行微调，就能够实现最先进的后果。它能够将微调 650 亿参数模型的均匀内存需要从大于 780GB 的 GPU 内存降至多于 48GB。同时，与 16 位精度的微调基准相比，应用 4 位精度的 QLoRA 也不会升高运行工夫或预测性能。这是 LLM 微调的一项重大突破，意味着目前最大的公开可用模型能够在单个 GPU 上进行微调。试验取得的最优大语言模型——650 亿参数版的“原驼”，在 Vicuna 基准测试上达到了 ChatGPT 99.3% 的程度，并且只须要用单张生产级显卡微调 24 小时以上。如果只训练不到 12 小时，330 亿参数的“原驼”也能达到 ChatGPT 性能程度的 97.8%。在部署时，最小的”原驼“模型（7B 参数）只须要 5GB 的内存，而且其性能在 Vicuna 基准测试上比 26GB 的 Alpaca 模型高出 20 个百分点以上。
|Elo rating, judged by human raters or GPT-4
论文中应用的测试数据包含 953 条不反复的用户查问，筛选自两个数据集：”小羊驼“Vicuna 中 80 个不同类别的提醒，以及 OASST1（OpenAssistant Conversations）验证集的多语言多轮对话。利用这些数据集，QLoRA 的团队对“原驼“系列模型同时进行了机器（GPT-4）和人类评估。主动（机器）评估将不同零碎与 ChatGPT（GPT-3.5 Turbo）在基准测试中的体现进行比照。它利用 GPT-4 对各零碎的体现评分，最终模型的整体体现被计算为 ChatGPT 得分的百分比。依据试验后果，ChatGPT 作为比拟基线得分为 100%，GPT- 4 的均匀得分为 114.5%，而开源大语言模型中“原驼”霸占了最高分数 99.3%（65b）和 97.8%（33b）。综合评估联合了机器和人类评估，锦标赛后果被聚合成 Elo 分数，采纳了锦标赛的形式让模型相互竞争，以确定零碎性能的排名。而竞标赛排名示意，“原驼”系列模型甚至比 ChatGPT（GPT-3.5）更受欢迎。
总体而言，”原驼“更尊重事实、不容易受到错误信息的误导，并且领有弱小的心智实践（Theory of Mind），即了解本人以及四周人类的心理状态的能力。然而，它同时也具备一些显著的毛病，比方容易被提醒攻打而透露信息、尤其不善于数学。
相干材料：
- 代码地址：https://github.com/artidoro/qlora
- 论文链接：QLORA: Efficient Finetuning of Quantized LLMs
- 如果在应用 Milvus 或 Zilliz 产品有任何问题，可增加小助手微信“zilliz-tech”退出交换群。
- 欢送关注微信公众号“Zilliz”，理解最新资讯。
本文由 mdnice 多平台公布