近日，由清华技术成绩转化的公司智谱 AI 开源了 GLM 系列模型的新成员——中英双语对话模型 ChatGLM-6B，反对在单张生产级显卡上进行推理应用。这是继此前开源 GLM-130B 千亿基座模型之后，智谱 AI 再次推出大模型方向的研究成果。与此同时，基于千亿基座模型的 ChatGLM 也同期推出，初具问答和对话性能，现已开启邀请制内测（内测申请网址 chatglm.cn），后续还会逐渐扩充内测范畴。
据悉，ChatGLM-6B 是一个开源的、反对中英双语问答的对话语言模型，并针对中文进行了优化。该模型基于 General Language Model（GLM）架构，具备 62 亿参数。联合模型量化技术，用户能够在生产级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 应用了和 ChatGLM 雷同的技术，针对中文问答和对话进行了优化。通过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 尽管规模不迭千亿模型，但大大降低了推理老本，晋升了效率，并且曾经能生成相当合乎人类偏好的答复。
模型开源地址：
https://github.com/THUDM/ChatGLM-6B。
具体来说，ChatGLM-6B 具备以下特点：
充沛的中英双语预训练 ：ChatGLM-6B 在 1:1 比例的中英语料上训练了 1T 的 token 量，兼具双语能力。
优化的模型架构和大小 ：汲取 GLM-130B 训练教训，修改了二维 RoPE 地位编码实现，应用传统 FFN 构造。6B（62 亿）的参数大小，也使得研究者和集体开发者本人微调和部署 ChatGLM-6B 成为可能。
较低的部署门槛 ：FP16 半精度下，ChatGLM-6B 须要至多 13 GB 的显存进行推理，联合模型量化技术，这一需要能够进一步升高到 10GB（INT8）和 6GB（INT4），使得 ChatGLM-6B 能够部署在生产级显卡上。
更长的序列长度 ：相比 GLM-10B（序列长度 1024），ChatGLM-6B 序列长度达 2048，反对更长对话和利用。
人类用意对齐训练 ：应用了监督微调（Supervised Fine-Tuning）、反馈自助（Feedback Bootstrap）、人类反馈强化学习（RLHF）等形式，使模型初具了解人类指令用意的能力。输入格局为 markdown，不便展现。
基于以上特点，ChatGLM-6B 在肯定条件下具备较好的对话与问答能力，不过因为 ChatGLM-6B 模型的容量较小，不可避免的存在一些局限和有余。
绝对较弱的模型记忆和语言能力。在面对许多事实性常识工作时，ChatGLM-6B 可能会生成不正确的信息，也不太善于逻辑类问题（如数学、编程）的解答。
可能会产生无害阐明或有偏见的内容：ChatGLM-6B 只是一个初步与人类用意对齐的语言模型，可能会生成无害、有偏见的内容。
较弱的多轮对话能力：ChatGLM-6B 的上下文理解能力还不够充沛，在面对长答案生成和多轮对话的场景时，可能会呈现上下文失落和了解谬误的状况。
特地值得注意的是，同属于智谱 AI 的 CodeGeeX：也是基于人工智能大模型驱动的，疾速编写代码的代码生成工具。在 VSCode 和 JetBrains IDEs 插件市场就能够收费下载应用！
CodeGeeX 插件领有代码生成性能：能够依据自然语言正文形容的性能，主动生成代码。也能够依据已有的代码主动生成后续代码，补全以后行或生成后续若干行，帮忙你进步编程效率。
CodeGeeX 代码翻译性能：反对多种编程语言之间互译，准确率高。目前代码翻译性能反对八种最风行的编程语言: Python、Go、Java、JavaScript、C++、C#、PHP、TypeScript 等；
CodeGeeX 代码解释性能：能够一键为你的代码逐行增加正文；
同时，智谱 AI 还开启了 ChatGLM 线上模型的内测。相比起 ChatGLM-6B，ChatGLM 线上模型的能力晋升次要来源于独特的千亿基座模型 GLM-130B。它采纳了不同于 BERT、GPT-3 以及 T5 的 GLM 架构，是一个蕴含多指标函数的自回归预训练模型。2022 年 11 月，斯坦福大学大模型核心对寰球 30 个支流大模型进行了全方位的评测，GLM-130B 是亚洲惟一入选的大模型。在与 OpenAI、Google Brain、微软、英伟达、Meta AI 的各大模型比照中，评测报告显示 GLM-130B 在准确性和公平性指标上与 GPT-3 175B（davinci）靠近或持平，鲁棒性、校准误差和无偏性优于 GPT-3 175B。
整体而言，ChatGLM 间隔国内顶尖大模型钻研和产品还有肯定差距，GLM 团队也在博客中坦言了这一点，并示意将继续研发并开源更新版本的 ChatGLM 和相干模型。欢送大家下载 ChatGLM-6B，基于它进行钻研和（非商用）利用开发。GLM 团队心愿能和开源社区研究者和开发者一起，推动大模型钻研和利用在中国的倒退。
博客链接请见：https://chatglm.cn/blog