失常的大模型部署都是在服务器上的
然而最近我看到一个手机上能够运行的大模型
分享给大家
MiniCPM
MiniCPM 是基于 MLC-LLM 开发，将 MiniCPM 和 MiniCPM-V 在 Android 手机端上运行。
应用起来很简略，下载好安装包后
依照教程装置好
下载 2 个模型
一个是 MiniCPM
一个是 MiniCPM-v
MiniCPM- v 是能够解决图像的
下载好后，点击模型的进行对话即可
装置
MiniCPM 只占 2GB 空间
意味着你手机只有有 2g 以上空间即可装置
- 下载 APK 安装包
-
容许相册、拍照权限：MiniCPM-V 模型解决多模态数据，须要相应权限来获取图片
-
下载模型：（1）点击下载按钮 (2) 期待进度条 (3) 开始对话
留神：以后两个模型不能同时下载，会造成闪退（软件上存在一些 bug，待修复）
- 和 MiniCPM 对话: (1) 期待模型初始化，直到 “Ready to chat” 弹出。(2) 打字并点击发送交换
-
和 MiniCPM-V 对话: (1) 期待模型初始化，直到 “Ready to chat” 弹出。(2) 上传图像 (3) 期待 “process image done” 呈现 (4) 打字并点击发送交换
留神：图像处理须要破费一些工夫。
-
演示：
留神模型在部署到手机时应用了 4-bit 量化，可能会损失肯定的性能. 性能请参考 原版模型.
安装包获取
公众号回复 MiniCPM
本文由 mdnice 多平台公布