乐趣区

关于人工智能:单卡轻松打造-ChatGPT-竞争者原驼QLoRA-革新大语言模型微调技术

出品人:Towhee 技术团队
作者:顾梦佳

由 OpenAI 推出的聊天机器人 ChatGPT 爆火,带动 AI 受到了前所未有的关注。随之市面上也涌现出了各类开源的大语言模型(LLM),其中 LLaMA“羊驼系列”最受关注、最具后劲。LLaMA 是由 Meta AI 公布的一个凋谢且高效的大型根底语言模型,其数据集起源都是公开数据集,无任何定制数据集,保障了其工作与开源兼容和可复现。而 Guanaco”原驼“模型则是基于 LLaMA 利用 QLoRA 技术微调进去的最优模型。QLoRA 在升高大模型微调老本的同时,也保障了性能的晋升。它只须要一张生产级显卡,就能在两天内取得一个 99+% 近似 ChatGPT 的大语言模型。其论文一经公布就受到了业内宽泛关注,是目前热度最高的 AI 论文之一。

|Comparing finetune methods: Regular vs LoRA vs QLoRA

QLoRA 应用了一种新鲜的高精度技术将预训练的 Transformer 模型量化为 4 位精度,而后增加一小组可学习的低秩适配器(LoRA)权重,通过反向流传梯度来调整这些量化权重。它通过引入多项翻新技术改良了 LoRA,用于每一层网络层,从而在节俭内存的同时保障性能:

  • NF4(4 位 NormalFloat):一种新的数据类型,对于正态分布的权重来说,在信息实践上是最优的。
  • 双重量化:一种量化量化常数的办法,通过量化量化常数来缩小均匀内存占用。均匀每个参数节可能省约 0.37 位,对于 650 亿参数的模型来说约为 3GB。
  • 分页优化器:它能够用于治理内存峰值,应用了英伟达对立内存,在解决具备长序列长度的小批量时能够防止梯度检查点的内存峰值。

试验结果表明,QLoRA 仅用小型的高质量数据集进行微调,就能够实现最先进的后果。它能够将微调 650 亿参数模型的均匀内存需要从大于 780GB 的 GPU 内存降至多于 48GB。同时,与 16 位精度的微调基准相比,应用 4 位精度的 QLoRA 也不会升高运行工夫或预测性能。这是 LLM 微调的一项重大突破,意味着目前最大的公开可用模型能够在单个 GPU 上进行微调。试验取得的最优大语言模型——650 亿参数版的“原驼”,在 Vicuna 基准测试上达到了 ChatGPT 99.3% 的程度,并且只须要用单张生产级显卡微调 24 小时以上。如果只训练不到 12 小时,330 亿参数的“原驼”也能达到 ChatGPT 性能程度的 97.8%。在部署时,最小的”原驼“模型(7B 参数)只须要 5GB 的内存,而且其性能在 Vicuna 基准测试上比 26GB 的 Alpaca 模型高出 20 个百分点以上。

|Elo rating, judged by human raters or GPT-4

论文中应用的测试数据包含 953 条不反复的用户查问,筛选自两个数据集:”小羊驼“Vicuna 中 80 个不同类别的提醒,以及 OASST1(OpenAssistant Conversations)验证集的多语言多轮对话。利用这些数据集,QLoRA 的团队对“原驼“系列模型同时进行了机器(GPT-4)和人类评估。主动(机器)评估将不同零碎与 ChatGPT(GPT-3.5 Turbo)在基准测试中的体现进行比照。它利用 GPT-4 对各零碎的体现评分,最终模型的整体体现被计算为 ChatGPT 得分的百分比。依据试验后果,ChatGPT 作为比拟基线得分为 100%,GPT- 4 的均匀得分为 114.5%,而开源大语言模型中“原驼”霸占了最高分数 99.3%(65b)和 97.8%(33b)。综合评估联合了机器和人类评估,锦标赛后果被聚合成 Elo 分数,采纳了锦标赛的形式让模型相互竞争,以确定零碎性能的排名。而竞标赛排名示意,“原驼”系列模型甚至比 ChatGPT(GPT-3.5)更受欢迎。
总体而言,”原驼“更尊重事实、不容易受到错误信息的误导,并且领有弱小的心智实践(Theory of Mind),即了解本人以及四周人类的心理状态的能力。然而,它同时也具备一些显著的毛病,比方容易被提醒攻打而透露信息、尤其不善于数学。

相干材料:

  • 代码地址:https://github.com/artidoro/qlora
  • 论文链接:QLORA: Efficient Finetuning of Quantized LLMs

  • 如果在应用 Milvus 或 Zilliz 产品有任何问题,可增加小助手微信“zilliz-tech”退出交换群。
  • 欢送关注微信公众号“Zilliz”,理解最新资讯。

本文由 mdnice 多平台公布

退出移动版