关于人工智能:麒麟操作系统-kylinos-从入门到精通-办公环境-第73篇-使用ollama本地运行大语言模型LLM

20次阅读

共计 2328 个字符，预计需要花费 6 分钟才能阅读完成。

类别：笔记本
型号：中国长城 NF14C
硬件平台：飞腾处理器 D2000（ArmV8 指令集）
零碎：河汉麒麟操作系统 V10 SP1(2303)

关键词：
信创, 麒麟零碎,linux, 飞腾,arm,aarch,arm64,AI,aigc,chatgpt,llm, 大语言模型

在开发界，有 langchain 可用；大家日常用的网络服务，有各种 AI 工具，以及专门收集工具集的网站。如：https://kimi.moonshot.cn/；https://ai-bot.cn 等。但咱们有没有想过将模型间接运行在本机，通过本文大家能够不必代码 (如：应用 python 调用 huggingface 的 transformers)。
本文可能须要有肯定的技术背景，不过你喜爱折腾也欢送尝试，跑起来可能有点慢。

Ollama 是一个先进的 AI 工具，它容许用户在本人的电脑上（目前反对 macOS 和 Linux，Windows 行将推出）轻松设置和运行大型语言模型（LLMs）1。它提供了一个简略的 API 来创立、运行和治理模型，以及一个预构建模型库，能够轻松用于各种应用程序 2。Ollama 将模型权重、配置和数据捆绑到一个包中，定义成 Modelfile3。它优化了设置和配置细节，包含 GPU 应用状况。
Get up and running with large language models locally.
我的项目官网：https://ollama.com/

源代码地址：https://github.com/ollama/ollama

进入地址 https://github.com/ollama/ollama，找到最新的二进制包

点 ollama-linux-arm64 下载，下载实现后，右击点属性设置为可执行

也能够应用如下命令设置

mv ollama-linux-arm64 ollama #重命名
chmod 755 ollama #减少可执行权限

如果须要随处执行，咱们应用图形界面将文件复制（或挪动）到 /usr/bin 目录中，也能够应用命令

sudo cp ollama  /usr/bin

如果不须要随处执行，就间接找到他双击即可执行。

反对的模型列表：https://ollama.com/library

本文以 https://ollama.com/library/llama2-chinese 模型为案例，其余模型本人尝试，抉择成果最好的。
在命令行中执行

ollama serve & #后盾启动服务
ollama run llama2-chinese #装载模型，3.8GB，要点下载工夫，急躁期待

运行好了

尝试问问题：中国新能源汽车的发展前景剖析报告
资源占用状况：
有点慢，须要急躁期待

应用的是 web ui，官方网站

我的项目地址：https://github.com/open-webui/open-webui
其基于 docker 运行，所以你本地须要 docker 服务失常运行。
装置 docker(留神：节约资源，装置 docker 时，把 ollama 服务停了), 具体参考本专栏第七十篇 Docker 可视化管理工具 Portainer 容器：https://segmentfault.com/a/1190000044543113

wget https://get.docker.com -O docker.sh
chmod 755 docker.sh
bash docker.sh -s docker --mirror Aliyun                #举荐应用自动化部署 docker
systemctl status docker   #查看 docker 服务状态
### 测试 docker 是否装置胜利
docker pull hello-world   #拉取 hello-world
docker run hello-world    #验证 hello-world
systemctl status docker #查看服务状态
 sudo systemctl enable docker #设置 docker 开机启动
docker version           #查看 docker 版本

显示如下

docker 能失常运行和 ollama 服务开启状态，命令行中执行

sudo docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_API_BASE_URL=http://127.0.0.1:11434/api --name open-webui --restart always ghcr.io/open-webui/open-webui:main

启动胜利，你应该能够看到下图

关上浏览器，输出 localhost:8080 (注间：端口是 8080) 关上治理界面

先注册一个账号，再登录。

抉择对应的模型，并发问

目前流程是通了，而后内存小的电脑，没有 GPU 的电脑跑起来比较慢。
如果内存足，有 GPU 的确很好用，还能够离线用，适宜内网或窃密环境。
目前，我的电脑性能较低，只能做试验用，心愿读者你们的电脑能够如行云流水。

麒麟操作系统，从入门到精通
麒麟操作系统专栏:https://segmentfault.com/blog/kylinos
麒麟操作系统 x64 专栏:https://segmentfault.com/blog/kylinos-x64

个人主页：
https://segmentfault.com/u/code4world/articles
https://twitter.com/xiaohelong
https://github.com/xiaohelong
分割邮箱：1179611323@qq.com
群：662512340
发行日志：
20240301 首发

正文完