失常的大模型部署都是在服务器上的

然而最近我看到一个手机上能够运行的大模型

分享给大家

MiniCPM

MiniCPM是基于 MLC-LLM 开发，将 MiniCPM 和 MiniCPM-V 在 Android 手机端上运行。

应用起来很简略，下载好安装包后

依照教程装置好

下载2个模型

一个是MiniCPM

一个是MiniCPM-v

MiniCPM-v是能够解决图像的

下载好后，点击模型的进行对话即可

装置

MiniCPM只占2GB空间

意味着你手机只有有2g以上空间即可装置

  1. 下载APK安装包

  2. 容许相册、拍照权限：MiniCPM-V 模型解决多模态数据，须要相应权限来获取图片

  3. 下载模型：（1）点击下载按钮 (2) 期待进度条 (3) 开始对话

    留神：以后两个模型不能同时下载，会造成闪退（软件上存在一些 bug，待修复）

  4. 和 MiniCPM 对话: (1) 期待模型初始化，直到 "Ready to chat" 弹出。 (2) 打字并点击发送交换

  5. 和 MiniCPM-V 对话: (1) 期待模型初始化，直到 "Ready to chat" 弹出。 (2) 上传图像 (3) 期待 "process image done" 呈现 (4) 打字并点击发送交换

    留神：图像处理须要破费一些工夫。

  6. 演示：

留神模型在部署到手机时应用了 4-bit 量化，可能会损失肯定的性能. 性能请参考 原版模型.

安装包获取

公众号回复MiniCPM

本文由mdnice多平台公布