共计 2761 个字符，预计需要花费 7 分钟才能阅读完成。
BLOOMChat: 开源可商用反对多语言的大语言模型
背景
SambaNova 和 Together 这 2 家公司于 2023.05.19 开源了可商用的反对多语言的微调模型 BLOOMChat。
SambaNova 这家公司专一于为企业和政府提供生成式 AI 平台，Together 专一于用开源的形式打造一站式的 foundation model，赋能各个行业。
OpenAI 的 GPT- 4 和 Google 的 PaLM2 对多语言的反对曾经做得很不错了，但这两者都是闭源的，而开源的大语言模型次要有以下痛点无奈解决：
- 第一，大多数不能商用。比方 Meta 开源的 LLAMA，以及基于 LLAMA 衍生的 Vicuna 等无奈商用，只能用于学术研究。清华和智谱 AI 开源的 ChatGLM 的模型权重也不能商用。
- 第二，对非英语反对个别。大部分开源模型的训练语料以英文为主，非英文的对话成果个别。然而，世界上有超过 80% 左右的人是不讲英语的，如何解决这部分人的应用痛点也很要害。
国内很多企业和公司也在调研如何基于开源模型进行微调，打造一个反对中文的大语言模型，利用到本人的业务场景里。
由 BigScience 开源的 Bloom 基座模型是很多互联网公司的首选，因为这个模型可商用，反对包含中文在内的 46 种语言，而且模型参数够多，有 1760 亿参数。
有些公司就是间接拿基于 Bloom 做过微调后的 Bloomz 模型，来进一步微调，打造一个垂直畛域的 LLM。
SambaNova 和 Together 联结开源的 BLOOMChat，其目标就是打造一个开源的、反对多语言、可商用的聊天 LLM，试验表明 BLOOMChat 对多语言的反对显著优于其它开源模型。
BLOOMChat
BLOOMChat 是在 SambaNova 提供的 AI 计算平台 RDUs(Reconfigurable Dataflow Units) 上进行训练的。
由各个语言的 native speaker 来评测模型的答复成果。
对于英语、中文、法语、阿拉伯语、西班牙语、印度语这 6 种语言的答复成果，相比于 GPT- 4 的 54.75% 胜率，BLOOMChat 取得了 45.25% 的胜率，弱于 GPT-4。
然而，与其它支流的开源聊天 LLM 相比，它有 66% 的工夫体现更优。
在 WMT 翻译工作中同样表现出色，当先于其它基于 BLOOM 的微调模型和其它支流开源聊天模型。
BLOOMChat 的思路来源于先前工作的启发，即在一个语言中进行指令微调能够晋升多语言模型在另一种语言中的成果体现，BLOOMChat 应用了包含 OpenChatKit 的 OIG、Dolly 2.0 和 OASST1 数据集在内的以英语为主的对话数据集来进行 BLOOM（176B）的模型微调。
只管只在英语数据集上进行了微调，作者察看到 BLOOMChat 在非英语场景下的聊天品质也失去了显著进步。
数据收集
BLOOMChat 微调的指令数据有 2 类。
- 第一种，是由程序自动合成的对话数据集 OpenChatKit，数据量大。OpenChatKit 训练数据集就是由 Together 公司联结 LAION 和 Ontocord 开源进去的。
- 第二种，是人工写进去的高质量问答数据集 Dolly 2.0 和 OASST1，数据量小。
指令微调 (fine tune)
整个微调是在 SambaNova 公司的 RDU(Reconfigurable Dataflow Units) AI 平台进行，基座模型是 BLOOM-176B。
微调分 2 步进行：
- 第一步，对 OpenChatKit 的每个数据源依照 100k 数据量进行采样，而后训练一轮。这是因为 OpenChatKit 蕴含多种数据源，而且数据量比拟大，所以对 OpenChatKit 的每个数据源先进行采样，失去很多子数据集，而后残缺 fine tune 一遍所有子数据集。
- 第二步，对 Dolly 2.0 和 OASST1 联合在一起的数据集做 3 轮 fine tune。
所有数据集相干的数据和代码、微调和推理的脚本都收费开源在 GitHub 上，开源地址参考文末链接。
试验成果
BLOOMChat 团队做了 3 种不同场景的试验测评，评测了英语、中文、阿拉伯语、法语、西班牙语和印度语。
试验 1：人类评估
以 OpenAssistant Conversations 里的 22 个英文问题作为基准，让其它语言的 native speaker 把这 22 个英文问题翻译为其它语言，而后找另外的 native speaker 来评估模型给出的答复。
评测了以下 3 种开源模型：
- OpenAssistant-30B: an open-source state-of-the-art chat-aligned LLM。
- LLaMA-Adapter-V2-65B: an open-source state-of-the-art chat-aligned LLM。
- BLOOMZ (176B)”): an open-source LLM instruction tuned from BLOOM (176B)。
看上图就晓得，BLOOMChat 显著优于其它几个开源模型。
和 GPT- 4 相比，还是略逊一筹，GPT- 4 在评测记录中，55% 的评测记录是优于 BLOOMChat 的。
试验 2：模型品质评估
对 BLOOMChat 的答复数据，让 native speaker 进行评测。
上图能够看出，只管只在英语数据集上进行了微调，然而对于每个语言的答复，超过 70% 都是正确或者可承受的。
试验 3：WMT 翻译工作
比照了多个开源模型在 WMT 翻译工作上的体现，总体而言，BLOOMChat 优于其它开源模型，然而显著弱于 GPT-4。
BLOOMChat 的局限性
与大多数聊天语言模型（LLM）一样，BLOOMChat 也有一些局限性：
- BLOOMChat 有时可能会生成听起来正当但事实不正确或与主题无关的回复信息。
- BLOOMChat 可能在单个回复中无意间切换语言，影响输入的连贯性和可了解性。
- BLOOMChat 可能会产生反复的短语或句子，导致回复内容不足吸引力和无效信息。
- BLOOMChat 在生成代码或解决简单数学问题方面的成果还绝对 个别。
- BLOOMChat 可能无心中生成含有不适当或无害内容的回复。
总结
BLOOMChat 是第一个齐全开源、参数超千亿、专门针对多语言反对的聊天 LLM。
文章和示例代码开源在 GitHub: GPT 实战教程，能够看到所有支流的开源 LLM。
公众号：coding 进阶。关注公众号能够获取最新 GPT 实战内容。
集体网站：Jincheng’s Blog。
知乎：无忌。
References
- https://sambanova.ai/blog/introducing-bloomchat-176b-the-mult…
- https://huggingface.co/spaces/sambanovasystems/BLOOMChat
- https://github.com/sambanova/bloomchat