摘录
对于 LLaMA 2 的全副资源,如何去测试、训练并部署它。
LLaMA 2 是一个由 Meta 开发的大型语言模型,是 LLaMA 1 的继任者。LLaMA 2 可通过 AWS、Hugging Face 等提供商获取,并收费用于钻研和商业用途。LLaMA 2 预训练模型在 2 万亿个标记上进行训练,相比 LLaMA 1 的上下文长度减少了一倍。它的微调模型则在超过 100 万个人工标注数据下实现。
这篇博客蕴含了所有的相干资源,以帮忙您疾速入门。包含以下跳转:
- LLaMA 2 是什么?
- 在 LLaMA 游乐场试玩
- 模型背地的钻研工作
- 模型的性能有多好,基准测试
- 如何正确地去提醒聊天模型
- 如何应用 PEFT 训练模型
- 如何部署模型进行推理
- 和其余资源
来自 Meta 官网的布告能够在这里找到: https://ai.meta.com/llama/
LLaMA 2 是什么?
Meta 公布的 LLaMA 2,是新的 sota 开源大型语言模型 (LLM)。LLaMA 2 代表着 LLaMA 的下一代版本,并且具备商业许可证。LLaMA 2 有 3 种不同的大小——7B、13B 和 70B 个可训练参数。与原版 LLaMA 相比,新的改良包含:
- 在 2 万亿个标记的文本数据上进行训练
- 容许商业应用
- 默认应用 4096 个前后文本视线 (能够被扩大)
- 70B 模型采纳了分组查问注意力 (GQA)
- 可由此获取 Hugging Face Hub
在 LLaMA 游乐场试玩
有几个不同的游乐场供与 LLaMA 2 来测试聊天:
- HuggingChat 容许你通过 Hugging Face 的对话界面与 LLaMA 2 70B 模型聊天。这提供了一个简洁的办法来理解聊天机器人的工作原理。
- Hugging Face Spaces 有三种大小的 LLaMA 2 模型 7B、13B 和 70B 可供测试。交互式演示能够让您比拟不同的大小模型的区别。
- Perplexity 他们的对话 AI 演示提供 7B 和 13B 的 LLaMA 2 模型。你能够与模型聊天并且反馈模型响应的有余。
LLaMA 2 背地的钻研工作
LLaMA 2 是一个根底大语言模型,它由网络上公开可获取到的数据训练实现。另外 Meta 同时公布了它的 CHAT 版本。CHAT 模型的第一个版本是 SFT (有监督调优) 模型。在这之后,LLaMA-2-chat 逐渐地通过人类反馈强化学习 (RLHF) 来进化。RLHF 的过程应用了回绝采样与近端策略优化 (PPO) 的技术来进一步调优聊天机器人。Meta 目前仅颁布了模型最新的 RLHF(v5) 版本。若你对此过程背地的过程感兴趣则请查看:
- Llama 2: 开源并已微调的聊天模型
- Llama 2: 一个超赞的开源大语言模型
- Llama 2: 全面拆解
LLaMA 2 的性能有多好,基准测试?
Meta 宣称 “Llama 2 在泛滥内部基准测试中都优于其余开源的语言模型,包含推理、编程、熟练程度与常识测验” 对于其性能你能够在这里找到更多信息:
- Hugging Face 开源大语言模型排行榜
- Meta 官网布告
如何提醒 LLaMA 2 Chat
LLaMA 2 Chat 是一个开源对话模型。想要与 LLaMA 2 Chat 进行高效地交互则须要你提供适合的提醒词、问题来失去合乎逻辑且有帮忙的回复。Meta 并没有抉择最简略的提醒词构造。以下是单轮、多轮对话的提醒词模板。这个模板遵循模型的训练过程,在此详细描述 LLaMA 2 论文. 你也能够看一看 LLaMA 2 提醒词模板.
单轮对话
<s>[INST] <<SYS>>
{{system_prompt}}
<</SYS>>
{{user_message}} [/INST]
多轮对话
<s>[INST] <<SYS>>
{{system_prompt}}
<</SYS>>
{{user_msg_1}} [/INST]{{model_answer_1}} </s><s>[INST]{{user_msg_2}} [/INST]{{model_answer_2}} </s><s>[INST]{{user_msg_3}} [/INST]
如何训练 LLaMA 2
因 LLaMA 2 为开源模型,使得能够轻易的通过微调技术,比方 PEFT,来训练它。这是一些非日适宜于训练你本人版本 LLaMA 2 的学习资源:
- 扩大指引: 指令微调 Llama 2
- 在 Amazon SageMaker 上微调 LLaMA 2 (7-70B)
- 应用 PEFT 技术微调
- Meta 提供的 Llama 模型示例以及计划
- 在本地机器上微调 LLAMA-v2 最简略的办法 !
如何部属 LLaMA 2
LLaMA 2 能够在本地环境中部署 (llama.cpp),应用这样已治理好的服务 Hugging Face Inference Endpoints 或通过 AWS, Google Cloud, and Microsoft Azure 这样的服务器平台.
- 应用文本生成接口与推理终端来部署 LLama 2
- 应用 Amazon SageMaker 部署 LLaMA 2 70B (行将实现)
- 在你的 M1/M2 Mac 上通过 GPU 接口来本地部署 Llama-2-13B-chat
其余资源
- Llama 2 资源
如果你想让我再削减一些章节或其余细节请分割我。我致力于提供基于 LLaMA 2 目前已公开信息的高质量概述。
原文作者: Philschmid
原文链接: https://www.philschmid.de/llama-2
译者: Xu Haoran