BLOOMChat: 开源可商用反对多语言的大语言模型

背景

SambaNova和Together这2家公司于2023.05.19开源了可商用的反对多语言的微调模型BLOOMChat。

SambaNova这家公司专一于为企业和政府提供生成式AI平台，Together专一于用开源的形式打造一站式的foundation model，赋能各个行业。

OpenAI的GPT-4和Google的PaLM2对多语言的反对曾经做得很不错了，但这两者都是闭源的，而开源的大语言模型次要有以下痛点无奈解决：

  • 第一，大多数不能商用。比方Meta开源的LLAMA，以及基于LLAMA衍生的Vicuna等无奈商用，只能用于学术研究。清华和智谱AI开源的ChatGLM的模型权重也不能商用。
  • 第二，对非英语反对个别。大部分开源模型的训练语料以英文为主，非英文的对话成果个别。然而，世界上有超过80%左右的人是不讲英语的，如何解决这部分人的应用痛点也很要害。

国内很多企业和公司也在调研如何基于开源模型进行微调，打造一个反对中文的大语言模型，利用到本人的业务场景里。

由BigScience开源的Bloom基座模型是很多互联网公司的首选，因为这个模型可商用，反对包含中文在内的46种语言，而且模型参数够多，有1760亿参数。

有些公司就是间接拿基于Bloom做过微调后的Bloomz模型，来进一步微调，打造一个垂直畛域的LLM。

SambaNova和Together联结开源的BLOOMChat，其目标就是打造一个开源的、反对多语言、可商用的聊天LLM，试验表明BLOOMChat对多语言的反对显著优于其它开源模型。

BLOOMChat

BLOOMChat是在SambaNova提供的AI计算平台RDUs(Reconfigurable Dataflow Units)上进行训练的。

由各个语言的native speaker来评测模型的答复成果。

对于英语、中文、法语、阿拉伯语、西班牙语、印度语这6种语言的答复成果，相比于GPT-4的54.75%胜率，BLOOMChat取得了45.25%的胜率，弱于GPT-4。

然而，与其它支流的开源聊天LLM相比，它有66%的工夫体现更优。

在WMT翻译工作中同样表现出色，当先于其它基于BLOOM的微调模型和其它支流开源聊天模型。

BLOOMChat的思路来源于先前工作的启发，即在一个语言中进行指令微调能够晋升多语言模型在另一种语言中的成果体现，BLOOMChat应用了包含OpenChatKit的OIG、Dolly 2.0和OASST1数据集在内的以英语为主的对话数据集来进行BLOOM（176B）的模型微调。

只管只在英语数据集上进行了微调，作者察看到BLOOMChat在非英语场景下的聊天品质也失去了显著进步。

数据收集

BLOOMChat微调的指令数据有2类。

  • 第一种，是由程序自动合成的对话数据集OpenChatKit，数据量大。OpenChatKit训练数据集就是由Together公司联结LAION和Ontocord开源进去的。
  • 第二种，是人工写进去的高质量问答数据集Dolly 2.0和OASST1，数据量小。

指令微调(fine tune)

整个微调是在SambaNova公司的RDU(Reconfigurable Dataflow Units) AI平台进行，基座模型是BLOOM-176B。

微调分2步进行：

  • 第一步，对OpenChatKit的每个数据源依照100k数据量进行采样，而后训练一轮。这是因为OpenChatKit蕴含多种数据源，而且数据量比拟大，所以对OpenChatKit的每个数据源先进行采样，失去很多子数据集，而后残缺fine tune一遍所有子数据集。
  • 第二步，对Dolly 2.0和OASST1联合在一起的数据集做3轮fine tune。

所有数据集相干的数据和代码、微调和推理的脚本都收费开源在GitHub上，开源地址参考文末链接。

试验成果

BLOOMChat团队做了3种不同场景的试验测评，评测了英语、中文、阿拉伯语、法语、西班牙语和印度语。

试验1：人类评估

以OpenAssistant Conversations里的22个英文问题作为基准，让其它语言的native speaker把这22个英文问题翻译为其它语言，而后找另外的native speaker来评估模型给出的答复。

评测了以下3种开源模型：

  • OpenAssistant-30B: an open-source state-of-the-art chat-aligned LLM。
  • LLaMA-Adapter-V2-65B: an open-source state-of-the-art chat-aligned LLM。
  • BLOOMZ (176B)"): an open-source LLM instruction tuned from BLOOM (176B)。

看上图就晓得，BLOOMChat显著优于其它几个开源模型。

和GPT-4相比，还是略逊一筹，GPT-4在评测记录中，55%的评测记录是优于BLOOMChat的。

试验2：模型品质评估

对BLOOMChat的答复数据，让native speaker进行评测。

上图能够看出，只管只在英语数据集上进行了微调，然而对于每个语言的答复，超过70%都是正确或者可承受的。

试验3：WMT翻译工作

比照了多个开源模型在WMT翻译工作上的体现，总体而言，BLOOMChat优于其它开源模型，然而显著弱于GPT-4。

BLOOMChat的局限性

与大多数聊天语言模型（LLM）一样，BLOOMChat也有一些局限性：

  • BLOOMChat有时可能会生成听起来正当但事实不正确或与主题无关的回复信息。
  • BLOOMChat可能在单个回复中无意间切换语言，影响输入的连贯性和可了解性。
  • BLOOMChat可能会产生反复的短语或句子，导致回复内容不足吸引力和无效信息。
  • BLOOMChat在生成代码或解决简单数学问题方面的成果还绝对 个别。
  • BLOOMChat可能无心中生成含有不适当或无害内容的回复。

总结

BLOOMChat是第一个齐全开源、参数超千亿、专门针对多语言反对的聊天LLM。

文章和示例代码开源在GitHub: GPT实战教程，能够看到所有支流的开源LLM。

公众号：coding进阶。关注公众号能够获取最新GPT实战内容。

集体网站：Jincheng's Blog。

知乎：无忌。

References

  • https://sambanova.ai/blog/introducing-bloomchat-176b-the-mult...
  • https://huggingface.co/spaces/sambanovasystems/BLOOMChat
  • https://github.com/sambanova/bloomchat