近期，Meta公布了人工智能大语言模型LLaMA，蕴含70亿、130亿、330亿和650亿这4种参数规模的模型。其中，最小的LLaMA 7B也通过了超1万亿个tokens的训练。

本文咱们将以7B模型为例，分享LLaMA的应用办法及其成果。

1. LLaMA的上手指南

这一部分，咱们将step by step，展现LLaMA的应用流程。

1） 下载LLaMA模型文件

以7B模型文件为例，蕴含内容如下：

2）克隆LLaMA我的项目及环境配置

git clone https://github.com/facebookresearch/llama.gitcd llamapip install -r requirements.txtpip install -e

如下示例中，相干操作均可通过IDP终端进行。

3) LLaMA初体验

在IDP的cell中运行如下代码，即可和LLaMA对话，接管LLaMA的答复啦！

对于7B模型：

TARGET_FOLDER=..torchrun --nproc_per_node 1 example.py --ckpt_dir $TARGET_FOLDER/7B --tokenizer_path $TARGET_FOLDER/tokenizer.model

对于13B模型：

TARGET_FOLDER=..torchrun --nproc_per_node 2 example.py --ckpt_dir $TARGET_FOLDER/13B --tokenizer_path $TARGET_FOLDER/tokenizer.model

对于不同大小的LLaMA模型文件，上述命令须要调整的为TARGET_FOLDER中模型文件的名称和node参数。

让咱们来进行两个简略的问答测试。

Prompt 1:

Building a website can be done in 10 simple steps

LLaMA 7B模型的答复如下：

Prompt 2:

Please write a beautiful love poem

LLaMA 7B的模型答复如下：

LLaMA对这个提醒词问题，自行减少了一些场景预设，如“I need some new poems for my birthday（为庆生，我须要一些新诗）"。

输出或调整提醒词prompt，可在example.py文件中的prompts局部进行调整，如下图所示。

对于这两个对话示例，咱们也同样放上ChatGPT的答案，供大家比照参考。

2. 从LLaMA到"开源版ChatGPT”？

LLaMA推出3天后，Nebuly AI的初创AI企业在LLaMA的根底上，基于RLHF（基于人类反馈的强化学习）进行训练，打造了对标ChatGPT的ChatLLaMA。

nebullvm/apps/accelerate/chatllama at main · nebuly-ai/nebullvm · GitHub

ChatLLaMA宣称训练过程比ChatGPT快15倍。同时，反对DeepSpeed ZERO，能够放慢微调速度。

DeepSpeed是一个开源的深度学习训练优化库，ZeRO是一种显存优化技术，用于进步大型模型的训练效率，如进步训练速度，降低成本和进步模型可用性等。

但ChatLLaMA并不提供LLaMA的模型权重，依据其license，也不能够商用。

3. 彩蛋时刻

正如文章题目所说，本文不仅是指南哦。

咱们在IDP开源的AI IDE中，减少了LLaMA和Stable Diffusion的示例文件，小伙伴们能够疾速开启LLaMA体验之旅。

我的项目地址：https://github.com/BaihaiAI/IDP