共计 1472 个字符，预计需要花费 4 分钟才能阅读完成。
近期，Meta 公布了人工智能大语言模型 LLaMA，蕴含 70 亿、130 亿、330 亿和 650 亿这 4 种参数规模的模型。其中，最小的 LLaMA 7B 也通过了超 1 万亿个 tokens 的训练。
本文咱们将以 7B 模型为例，分享 LLaMA 的应用办法及其成果。
1. LLaMA 的上手指南
这一部分，咱们将 step by step，展现 LLaMA 的应用流程。
1） 下载 LLaMA 模型文件
以 7B 模型文件为例，蕴含内容如下：
2）克隆 LLaMA 我的项目及环境配置
git clone https://github.com/facebookresearch/llama.git
cd llama
pip install -r requirements.txt
pip install -e如下示例中，相干操作均可通过 IDP 终端进行。
3) LLaMA 初体验
在 IDP 的 cell 中运行如下代码，即可和 LLaMA 对话，接管 LLaMA 的答复啦！
对于 7B 模型：
TARGET_FOLDER=..
torchrun --nproc_per_node 1 example.py --ckpt_dir $TARGET_FOLDER/7B --tokenizer_path $TARGET_FOLDER/tokenizer.model对于 13B 模型：
TARGET_FOLDER=..
torchrun --nproc_per_node 2 example.py --ckpt_dir $TARGET_FOLDER/13B --tokenizer_path $TARGET_FOLDER/tokenizer.model对于不同大小的 LLaMA 模型文件，上述命令须要调整的为 TARGET_FOLDER 中模型文件的名称和 node 参数。
让咱们来进行两个简略的问答测试。
Prompt 1:
Building a website can be done in 10 simple steps
LLaMA 7B 模型的答复如下：
Prompt 2:
Please write a beautiful love poem
LLaMA 7B 的模型答复如下：
LLaMA 对这个提醒词问题，自行减少了一些场景预设，如“I need some new poems for my birthday（为庆生，我须要一些新诗）”。
输出或调整提醒词 prompt，可在 example.py 文件中的 prompts 局部 进行调整，如下图所示。
对于这两个对话示例，咱们也同样放上 ChatGPT 的答案，供大家比照参考。
2. 从 LLaMA 到 ” 开源版 ChatGPT”？
LLaMA 推出 3 天后，Nebuly AI 的初创 AI 企业在 LLaMA 的根底上，基于 RLHF（基于人类反馈的强化学习）进行训练，打造了对标 ChatGPT 的 ChatLLaMA。
nebullvm/apps/accelerate/chatllama at main · nebuly-ai/nebullvm · GitHub
ChatLLaMA 宣称训练过程比 ChatGPT 快 15 倍。同时，反对 DeepSpeed ZERO，能够放慢微调速度。
DeepSpeed 是一个开源的深度学习训练优化库，ZeRO 是一种显存优化技术，用于进步大型模型的训练效率，如进步训练速度，降低成本和进步模型可用性等。
但 ChatLLaMA 并不提供 LLaMA 的模型权重，依据其 license，也不能够商用。
3. 彩蛋时刻
正如文章题目所说，本文不仅是指南哦。
咱们在 IDP 开源的 AI IDE 中，减少了 LLaMA 和 Stable Diffusion 的示例文件，小伙伴们能够疾速开启 LLaMA 体验之旅。
我的项目地址：https://github.com/BaihaiAI/IDP
