Google 开源了 Gemma 大模型，有 7B 和 2B 两个版本。
而且，性能十分强悍，基准测试中 7B 模型的能力曾经是开源模型中的领先水平。
Gemma 能够轻松的在本地部署运行，如果你的显存在 8G 以上，能够体验 7B 版本，8G 以下的话能够试试 2B 版本。
上面是本地部署步骤，以及体验感触。
一、部署步骤
思路：
- 应用 ollama 运行 Gemma 模型
- 应用 Chatbox 作为 UI 客户端
1. 装置 ollama
关上网页 https://ollama.com/
下载你相应操作系统的版本。
我的是 Windows，下载后间接运行装置。
装置实现后，在命令行中执行命令：
ollama -V正确显示版本号即为装置胜利。
2. 运行 Gemma
ollama 网页顶部导航中有一个“Models”链接，点击。
点击“gemma”链接，进入模型页面。
点击“Tags”标签，找到“7b”模型，前面有运行模型的命令，点击复制按钮。
命令行中执行这个命令，首次运行时，会主动下载模型。
下载实现后，就进入交互模式，这就能够开始聊天了。
例如让它写一段 python 代码。
至此，Gemma 模型的本地部署运行曾经实现了，非常简单。
3. 装置 Chatbox
在命令行聊天很不不便，须要一个客户端。
Chatbox 反对 ollama，十分不便。
先下载安装 Chatbox。
我的项目地址 https://github.com/Bin-Huang/chatbox
在 Releases 页面中下载最新版本（目前是 1.2.2，曾经反对了 ollama），而后装置。
关上设置，模型提供方选 ollama，API 地址是本地的 11434 端口，模型选 gemma:7b。
保留后，关上新对话窗口，即可开始聊天。
二、应用体验
1. 内容生成品质
例如，我让它用文艺伤感的形式刻画“秋天来了”
写的还是挺好的。
3. 响应速度
我的显卡是 4060Ti，16G 显存，响应速度超快。
在内容生成过程中，显存是满载的。
本地可能如此简略、晦涩的运行高质量大模型真的十分爽，举荐尝试。
#AI 人工智能，#google gemma，#ollama，#chatbox，# 本地部署大模型，#gpt890, #prompt
转自 https://gpt890.com/article/21