关于深度学习:模型推理ncnn-模型转换及量化流程

  欢送关注我的公众号 [极智视界]，回复 001 获取 Google 编程标准

  O_o   >_<   o_O   O_o   ~_~   o_O

  本文介绍一下 ncnn 模型转换及量化流程，以 from_darknet yolov4 为例。

   对于 ncnn 的 ubuntu 和 windows 装置办法能够参考我之前写的：《【嵌入式 AI】ubuntu 装置 ncnn》、《【教训分享】win10 qmake 构建 ncnn vs 工程》。

1、模型转换

./darknet2ncnn yolov4.cfg yolov4.weights yolov4.param yolov4.bin 1

   开端 1 示意三个 yolo 分支合并，若为 0 示意三个 yolo 分支独立输入。

2、图优化

./ncnnoptimize yolov4.param yolov4.bin yolov4-opt.param yolov4-opt.bin 0

3、int8 量化

3.1 优化模型

./ncnnoptimize yolov4.param yolov4.bin yolov4-opt.param yolov4-opt.bin 0

3.2 创立校准表

find images/ -type f > imagelist.txt
./ncnn2table yolov4-opt.param yolov4-opt.bin imagelist.txt yolov4.table mean=[104,117,123] norm=[0.017,0.017,0.017] shape=[224,224,3] pixel=BGR thread=8 method=kl

3.3 量化模型

./ncnn2int8 yolov4-opt.param yolov4-opt.bin yolov4-int8.param yolov4-int8.bin yolov4.table

3.4 加载 int8 模型进行推理

ncnn::Net yolov4;
yolov4.load_param("yolov4-int8.param");
yolov4.load_model("yolov4-int8.bin");
...
ncnn::Extractor ex = yolov4.create_extractor();
ex.input("data", in);
ex.extract("output", out);
...

  以上以很简洁的形式分享了一下 ncnn from_darknet 的模型转换及量化推理流程。心愿会对你的学习有一些帮忙。

【公众号传送】
《【模型推理】ncnn 模型转换及量化流程》