零、我的项目背景
须要在 ModelArts 上部署微调后的上游工作推理服务。
次要踩坑点：
一、环境筹备
MindSpore 1.6.1
Docker 20.10.17
紫东太初模型代码
https://gitee.com/mindspore/o…
ckpt 权重文件
ModelArts 账号
二、模型转换
1. 参照测试代码初始化模型并加载 ckpt
2. 应用 MindSpore.export(net, inputs, filename=“**”, file_format=“MINDIR”)导出 MINDIR 模型
模型格局：以后版本 AIR 和 ONNX 均有单网络 2G 的模型大小限度，目前采纳 MINDIR 进行在线推理。（MINDIR 对于超过 2G 的模型会主动进行切分）
三、编写推理服务代码
应用 Flask 部署服务，代码参考
https://gitee.com/HUAWEI-ASCE…
模型推理局部代码
代码参考同上，须要留神在初始化的时候异步加载模型，防止 ModelArts 拉起服务时模型加载超时导致异样退出。
四、制作推理服务镜像
参考同上
五、ModelArts 镜像上传部署
步骤参考 ModelArts 文档，须要留神需在日志报 Warm Up Success 后才可失常应用服务，否则有可能超时或服务异样退出。