关于人工智能:单卡轻松打造-ChatGPT-竞争者原驼QLoRA-革新大语言模型微调技术

出品人:Towhee 技术团队
作者:顾梦佳

由 OpenAI 推出的聊天机器人ChatGPT 爆火,带动 AI 受到了前所未有的关注。随之市面上也涌现出了各类开源的大语言模型(LLM),其中 LLaMA “羊驼系列”最受关注、最具后劲。LLaMA 是由 Meta AI 公布的一个凋谢且高效的大型根底语言模型,其数据集起源都是公开数据集,无任何定制数据集,保障了其工作与开源兼容和可复现。而 Guanaco ”原驼“模型则是基于 LLaMA 利用QLoRA技术微调进去的最优模型。QLoRA 在升高大模型微调老本的同时,也保障了性能的晋升。它只须要一张生产级显卡,就能在两天内取得一个99+%近似 ChatGPT 的大语言模型。其论文一经公布就受到了业内宽泛关注,是目前热度最高的AI论文之一。

|Comparing finetune methods: Regular vs LoRA vs QLoRA

QLoRA 应用了一种新鲜的高精度技术将预训练的Transformer模型量化为4位精度,而后增加一小组可学习的低秩适配器(LoRA)权重,通过反向流传梯度来调整这些量化权重。它通过引入多项翻新技术改良了LoRA,用于每一层网络层,从而在节俭内存的同时保障性能:

  • NF4(4位 NormalFloat):一种新的数据类型,对于正态分布的权重来说,在信息实践上是最优的。
  • 双重量化:一种量化量化常数的办法,通过量化量化常数来缩小均匀内存占用。均匀每个参数节可能省约0.37位,对于650亿参数的模型来说约为3GB。
  • 分页优化器:它能够用于治理内存峰值,应用了英伟达对立内存,在解决具备长序列长度的小批量时能够防止梯度检查点的内存峰值。

试验结果表明,QLoRA 仅用小型的高质量数据集进行微调,就能够实现最先进的后果。它能够将微调 650亿参数模型的均匀内存需要从大于780GB的GPU内存降至多于48GB。同时,与16位精度的微调基准相比,应用4位精度的 QLoRA 也不会升高运行工夫或预测性能。这是 LLM 微调的一项重大突破,意味着目前最大的公开可用模型能够在单个GPU上进行微调。试验取得的最优大语言模型——650亿参数版的“原驼”,在 Vicuna 基准测试上达到了 ChatGPT 99.3%的程度,并且只须要用单张生产级显卡微调24小时以上。如果只训练不到12小时,330亿参数的“原驼”也能达到ChatGPT性能程度的97.8%。在部署时,最小的”原驼“模型(7B参数)只须要5GB的内存,而且其性能在Vicuna基准测试上比26GB的 Alpaca 模型高出20个百分点以上。

|Elo rating, judged by human raters or GPT-4

论文中应用的测试数据包含953条不反复的用户查问,筛选自两个数据集:”小羊驼“ Vicuna中80个不同类别的提醒,以及OASST1(OpenAssistant Conversations)验证集的多语言多轮对话。利用这些数据集,QLoRA 的团队对“原驼“系列模型同时进行了机器(GPT-4)和人类评估。主动(机器)评估将不同零碎与ChatGPT(GPT-3.5 Turbo)在基准测试中的体现进行比照。它利用 GPT-4 对各零碎的体现评分,最终模型的整体体现被计算为ChatGPT得分的百分比。依据试验后果,ChatGPT 作为比拟基线得分为 100%,GPT-4的均匀得分为 114.5%,而开源大语言模型中“原驼”霸占了最高分数 99.3%(65b)和97.8%(33b)。综合评估联合了机器和人类评估,锦标赛后果被聚合成Elo分数,采纳了锦标赛的形式让模型相互竞争,以确定零碎性能的排名。而竞标赛排名示意,“原驼”系列模型甚至比ChatGPT(GPT-3.5)更受欢迎。
总体而言,”原驼“更尊重事实、不容易受到错误信息的误导,并且领有弱小的心智实践(Theory of Mind),即了解本人以及四周人类的心理状态的能力。然而,它同时也具备一些显著的毛病,比方容易被提醒攻打而透露信息、尤其不善于数学。

相干材料:

  • 代码地址:https://github.com/artidoro/qlora
  • 论文链接:QLORA: Efficient Finetuning of Quantized LLMs

  • 如果在应用 Milvus 或 Zilliz 产品有任何问题,可增加小助手微信 “zilliz-tech” 退出交换群。
  • 欢送关注微信公众号“Zilliz”,理解最新资讯。

本文由mdnice多平台公布

【腾讯云】轻量 2核2G4M,首年65元

阿里云限时活动-云数据库 RDS MySQL  1核2G配置 1.88/月 速抢

本文由乐趣区整理发布,转载请注明出处,谢谢。

您可能还喜欢...

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据