共计 1185 个字符，预计需要花费 3 分钟才能阅读完成。
中文多模态模型 IDPChat 和大家见面了。
随着 GPT4、文心一言等的公布，预训练大模型正式开启由单模态向多模态模型演进。多模态的个性为语言模型带来更加丰盛的利用场景。
咱们认为，将来的 AI 利用将次要以大模型为外围基石。
而在大模型的畛域，基于根底模型（Foundation model）构建畛域或企业自有的大模型，会是近中期的重要发展趋势。
但在私有化大模型微调和利用方面，企业和机构仍面临着微调简单、部署艰难、老本较低等种种工程化挑战。
白海作为 AI 根底软件服务商，咱们心愿可能从 AI Infra 层面，提供端到端的大模型微调、部署和利用工具，升高大模型微调和利用的门槛。白海科技 IDP 平台目前提供了从大模型数据源接入到大模型微调训练、模型公布的全流程性能。
咱们以 IDP 平台为工具撑持，以预训练大语言模型 LLaMA 和开源文生图预训练模型 Stable Diffusion 为根底，疾速构建了多模态大模型利用 IDPChat。开发者们可依据场景需要，便捷地对其进行微调优化。
我的项目地址：https://github.com/BaihaiAI/IDPChat
IDPChat 能做什么
IDPChat 目前能够同时反对文字对话和图片生成。
首先是图像生成，咱们能够让模型依据文字描述画一幅画。
根底的文字对话聊天示例，可反对中文。
IDPChat 疾速上手
仅需简略的 5 步和单 GPU，即可疾速启用 IDPChat。
操作步骤如下：
1. 批改 ./backend/app/stable_diffusion/generate_image.py 文件，设置 diffusion_path 的值为本地 stable-diffusion 模型存储门路，设置 trans_path 的值为本地中文翻译模型的存储门路
2. 批改 ./backend/app/llama/generate_text.py 文件，设置 load_model 的 base 参数值为本地 llama 模型的存储门路
3. 执行 build.sh 脚本进行编译
4. 编译胜利后执行 run.sh 脚本启动服务
5. 服务启动胜利后，在浏览器中关上 http://127.0.0.1:8000
在利用之前，须要下载筹备所需的模型，LLaMA、Stable diffusion 和相应的翻译模型。
具体所需的环境、模型、和操作步骤能够参考 https://github.com/BaihaiAI/IDPChat
目前公布 IDPChat 初步版本，买通模型微调的全流程。
后续咱们会持续对模型进行优化和丰盛，如多模态局部减少图像形容性能。
当然要实现特定畛域更高质量、针对性的体现，还须要基于畛域数据的 finetune 和优化。
对 IDPChat 和 IDP 平台感兴趣的开 发者小伙伴、场景利用搭档等欢送关注 Github 并分割咱们。咱们置信 IDP 平台和 IDPChat 将成为您摸索多模态大模型利用和私有化大模型构建的得力助手。