关于chatgpt:国产开源大模型盘点ChatGLM6B-和-MOSS-的应用与创新

26次阅读

共计 1659 个字符,预计需要花费 5 分钟才能阅读完成。

ChatGLM-6B

ChatGLM-6B 是一个开源的、反对中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具备 62 亿参数。联合模型量化技术,用户能够在生产级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。ChatGLM-6B 应用了和 ChatGPT 类似的技术,针对中文问答和对话进行了优化。通过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 曾经能生成相当合乎人类偏好的答复。
为了不便上游开发者针对本人的利用场景定制模型,同时实现了基于 P-Tuning v2 的高效参数微调办法 (使用指南),INT4 量化级别下最低只需 7GB 显存即可启动微调。

我的项目地址:https://github.com/THUDM/ChatGLM-6B

langchain-ChatGLM

langchain-ChatGLM 是基于 ChatGLM-6B + langchain 实现的基于本地常识的 ChatGLM 利用。

我的项目亮点: 能够本地上传知识库,并且打算反对联网搜寻。

我的项目地址:https://github.com/imClumsyPanda/langchain-ChatGLM

ChatGLM-Efficient-Tuning

基于 PEFT 的高效 ChatGLM-6B 微调。

我的项目亮点:反对 freeze、ptuning、lora 三种微调办法。

我的项目地址:https://github.com/hiyouga/ChatGLM-Efficient-Tuning/blob/main/README_zh.md

Chinese-LLaMA-Alpaca

该我的项目是中文 LLaMA 模型和指令精调的 Alpaca 大模型。这些模型在原版 LLaMA 的根底上裁减了中文词表并应用了中文数据进行二次预训练,进一步晋升了中文根底语义理解能力。同时,中文 Alpaca 模型进一步应用了中文指令数据进行精调,显著晋升了模型对指令的了解和执行能力。

我的项目地址:https://github.com/ymcui/Chinese-LLaMA-Alpaca

visual-openllm

基于 ChatGLM + Visual ChatGPT + Stable Diffusion

我的项目亮点:整合了 ChatGLM 和 Stable Diffusion,反对作图。

我的项目地址:https://github.com/visual-openllm/visual-openllm

以上大模型大都是基于清华大学的 ChatGLM-6B 来实现的,复旦大学的 MOSS 也于近日开源。

MOSS

复旦大学开源工具加强会话语言模型。

moss-moon-003-base: MOSS-003 基座模型,在高质量中英文语料上自监督预训练失去,预训练语料蕴含约 700B 单词,计算量约 6.67×10^22^ 次浮点数运算。

moss-moon-003-sft: 基座模型在约 110 万多轮对话数据上微调失去,具备指令遵循能力、多轮对话能力、躲避无害申请能力。

moss-moon-003-sft-plugin: 基座模型在约 110 万多轮对话数据和约 30 万插件加强的多轮对话数据上微调失去,在 moss-moon-003-sft 根底上还具备应用搜索引擎、文生图、计算器、解方程等四种插件的能力。

moss-moon-003-pm: 在基于 moss-moon-003-sft 收集到的偏好反馈数据上训练失去的偏好模型,将在近期开源。

moss-moon-003: 在 moss-moon-003-sft 根底上通过偏好模型 moss-moon-003-pm 训练失去的最终模型,具备更好的事实性和安全性以及更稳固的回复品质,将在近期开源。

moss-moon-003-plugin: 在 moss-moon-003-sft-plugin 根底上通过偏好模型
moss-moon-003-pm 训练失去的最终模型,具备更强的用意理解能力和插件应用能力,将在近期开源。

解方程:

生成图片:

正文完
 0