0.根底环境
类别:笔记本
型号:中国长城 NF14C
硬件平台:飞腾处理器D2000(ArmV8 指令集)
零碎:河汉麒麟操作系统 V10 SP1(2303)
关键词:
信创,麒麟零碎,linux,飞腾,arm,aarch,arm64,AI,aigc,chatgpt,llm,大语言模型
1.需要背景
在开发界,有langchain可用;大家日常用的网络服务,有各种AI工具,以及专门收集工具集的网站。如:https://kimi.moonshot.cn/;https://ai-bot.cn等。但咱们有没有想过将模型间接运行在本机,通过本文大家能够不必代码(如:应用python调用huggingface的transformers)。
本文可能须要有肯定的技术背景,不过你喜爱折腾也欢送尝试,跑起来可能有点慢。
2.ollama工具
Ollama是一个先进的AI工具,它容许用户在本人的电脑上(目前反对macOS和Linux,Windows行将推出)轻松设置和运行大型语言模型(LLMs)1。 它提供了一个简略的API来创立、运行和治理模型,以及一个预构建模型库,能够轻松用于各种应用程序2。 Ollama将模型权重、配置和数据捆绑到一个包中,定义成Modelfile3。 它优化了设置和配置细节,包含GPU应用状况。
Get up and running with large language models locally.
我的项目官网:https://ollama.com/
2.1下载并装置
源代码地址:https://github.com/ollama/ollama
进入地址https://github.com/ollama/ollama,找到最新的二进制包
点ollama-linux-arm64下载,下载实现后,右击点属性设置为可执行
也能够应用如下命令设置
mv ollama-linux-arm64 ollama #重命名chmod 755 ollama #减少可执行权限
如果须要随处执行,咱们应用图形界面将文件复制(或挪动)到/usr/bin目录中,也能够应用命令
sudo cp ollama /usr/bin
如果不须要随处执行,就间接找到他双击即可执行。
2.2 本地运行一个模型
反对的模型列表:https://ollama.com/library
本文以https://ollama.com/library/llama2-chinese 模型为案例,其余模型本人尝试,抉择成果最好的。
在命令行中执行
ollama serve & #后盾启动服务ollama run llama2-chinese #装载模型,3.8GB,要点下载工夫,急躁期待
运行好了
尝试问问题:中国 新能源 汽车的发展前景剖析报告
资源占用状况:
有点慢,须要急躁期待
2.3为ollama装置一个UI
应用的是web ui,官方网站
我的项目地址:https://github.com/open-webui/open-webui
其基于docker运行,所以你本地须要docker服务失常运行。
装置docker(留神:节约资源,装置docker时,把ollama服务停了),具体参考本专栏 第七十篇 Docker可视化管理工具 Portainer容器:https://segmentfault.com/a/1190000044543113
wget https://get.docker.com -O docker.shchmod 755 docker.shbash docker.sh -s docker --mirror Aliyun #举荐应用自动化部署dockersystemctl status docker #查看docker 服务状态###测试docker是否装置胜利docker pull hello-world #拉取hello-worlddocker run hello-world #验证hello-worldsystemctl status docker #查看服务状态 sudo systemctl enable docker #设置docker开机启动docker version #查看docker版本
显示如下
docker能失常运行和ollama服务开启状态,命令行中执行
sudo docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_API_BASE_URL=http://127.0.0.1:11434/api --name open-webui --restart always ghcr.io/open-webui/open-webui:main
启动胜利,你应该能够看到下图
关上浏览器,输出localhost:8080 (注间:端口是8080)关上治理界面
先注册一个账号,再登录。
抉择对应的模型,并发问
写在最初
目前流程是通了,而后内存小的电脑,没有GPU的电脑跑起来比较慢。
如果内存足,有GPU的确很好用,还能够离线用,适宜内网或窃密环境。
目前,我的电脑性能较低,只能做试验用,心愿读者你们的电脑能够如行云流水。
麒麟操作系统,从入门到精通
麒麟操作系统专栏:https://segmentfault.com/blog/kylinos
麒麟操作系统x64专栏:https://segmentfault.com/blog/kylinos-x64
个人主页:
https://segmentfault.com/u/code4world/articles
https://twitter.com/xiaohelong
https://github.com/xiaohelong
分割邮箱:1179611323@qq.com
群:662512340
发行日志:
20240301 首发