本篇文章译自英文文档 Compile CoreML Models
作者是 Joshua Z. Zhang,Kazutaka Morita,Zhao Wu
更多 TVM 中文文档可拜访 →Apache TVM 是一个端到端的深度学习编译框架,实用于 CPU、GPU 和各种机器学习减速芯片。 | Apache TVM 中文站
本文介绍如何用 Relay 部署 CoreML 模型。
首先装置 coremltools 模块,可通过 pip 疾速装置:
pip install -U coremltools --user
或参考官网:https://github.com/apple/coremltools
import tvmfrom tvm import teimport tvm.relay as relayfrom tvm.contrib.download import download_testdataimport coremltools as cmimport numpy as npfrom PIL import Image
加载预训练的 CoreML 模型
这个例子应用 Apple 提供的预训练的 mobilenet 分类网络。
model_url = "https://docs-assets.developer.apple.com/coreml/models/MobileNet.mlmodel"model_file = "mobilenet.mlmodel"model_path = download_testdata(model_url, model_file, module="coreml")# 当初磁盘上有 mobilenet.mlmodel 模型mlmodel = cm.models.MLModel(model_path)
加载测试图像
还是用猫的图像:
img_url = "https://github.com/dmlc/mxnet.js/blob/main/data/cat.png?raw=true"img_path = download_testdata(img_url, "cat.png", module="data")img = Image.open(img_path).resize((224, 224))# Mobilenet.mlmodel 的输出是 BGR 格局img_bgr = np.array(img)[:, :, ::-1]x = np.transpose(img_bgr, (2, 0, 1))[np.newaxis, :]
在 Relay 上编译模型
当初应该对这个过程较为相熟了。
target = "llvm"shape_dict = {"image": x.shape}# 解析 CoreML 模型,并转换为 Relay 计算图mod, params = relay.frontend.from_coreml(mlmodel, shape_dict)with tvm.transform.PassContext(opt_level=3): lib = relay.build(mod, target, params=params)
输入后果:
/workspace/python/tvm/driver/build_module.py:268: UserWarning: target_host parameter is going to be deprecated. Please pass in tvm.target.Target(target, host=target_host) instead. "target_host parameter is going to be deprecated. "
在 TVM 上执行
这个过程与其余示例的雷同。
from tvm.contrib import graph_executordev = tvm.cpu(0)dtype = "float32"m = graph_executor.GraphModule(lib["default"](dev))# 设置输出m.set_input("image", tvm.nd.array(x.astype(dtype)))# 执行m.run()# 失去输入tvm_output = m.get_output(0)top1 = np.argmax(tvm_output.numpy()[0])
查找分类集名称
在 1000 个类的分类集中,查找分数最高的第一个:
synset_url = "".join( [ "https://gist.githubusercontent.com/zhreshold/", "4d0b62f3d01426887599d4f7ede23ee5/raw/", "596b27d23537e5a1b5751d2b0481ef172f58b539/", "imagenet1000_clsid_to_human.txt", ])synset_name = "imagenet1000_clsid_to_human.txt"synset_path = download_testdata(synset_url, synset_name, module="data")with open(synset_path) as f: synset = eval(f.read())# 后果应为 Top-1 id 282 class name tiger catprint("Top-1 id", top1, "class name", synset[top1])
输入后果:
Top-1 id 282 class name tiger cat
下载 Python 源代码:from_coreml.py
下载 Jupyter Notebook:from_coreml.ipynb