乐趣区

关于人工智能:我把ChatGPT部署到我的手机上

失常的大模型部署都是在服务器上的

然而最近我看到一个手机上能够运行的大模型

分享给大家

MiniCPM

MiniCPM 是基于 MLC-LLM 开发,将 MiniCPM 和 MiniCPM-V 在 Android 手机端上运行。

应用起来很简略,下载好安装包后

依照教程装置好

下载 2 个模型

一个是 MiniCPM

一个是 MiniCPM-v

MiniCPM- v 是能够解决图像的

下载好后,点击模型的进行对话即可

装置

MiniCPM 只占 2GB 空间

意味着你手机只有有 2g 以上空间即可装置

  1. 下载 APK 安装包
  2. 容许相册、拍照权限:MiniCPM-V 模型解决多模态数据,须要相应权限来获取图片

  3. 下载模型:(1)点击下载按钮 (2) 期待进度条 (3) 开始对话

    留神:以后两个模型不能同时下载,会造成闪退(软件上存在一些 bug,待修复)

  4. 和 MiniCPM 对话: (1) 期待模型初始化,直到 “Ready to chat” 弹出。(2) 打字并点击发送交换
  5. 和 MiniCPM-V 对话: (1) 期待模型初始化,直到 “Ready to chat” 弹出。(2) 上传图像 (3) 期待 “process image done” 呈现 (4) 打字并点击发送交换

    留神:图像处理须要破费一些工夫。

  6. 演示:

留神模型在部署到手机时应用了 4-bit 量化,可能会损失肯定的性能. 性能请参考 原版模型.

安装包获取

公众号回复 MiniCPM

本文由 mdnice 多平台公布

退出移动版