1.1 作业介绍1.1.1 作业背景随着新一轮科技反动和产业改革的减速演进，寰球各国都在借助新技术推动制造业降级，从工业2.0自动化开始衰亡，到工业3.0信息化遍及，现在正迈向工业4.0智能化。借助IoT、工业大数据、人工智能等先进技术实现从低端劳动密集型产业向高端科技型产业的制作降级。在利用人工智能技术之前，局部场景下已呈现传统机器视觉进行质检的案例。然而因为产品整机简单、光源多样等因素的限度，更多场景还是依赖于人工质检。而人工智能技术的交融可进一步晋升检测精度，很多实际已证实AI算法可实现高达99%以上检测精度，能够利用在绝大多数工业质检场景中。从AI算法到工业制作场景化利用还有很远，算法开发、利用开发、业务部署是妨碍AI利用进入工业生产的三大鸿沟。为此，华为昇腾计算秉承“硬件凋谢、软件开源”的理念，打造了昇腾智能制作使能平台，致力于推动制作行业转型降级。在硬件方面，华为提供从模组/板卡到服务器/集群的Atlas系列化硬件。Atlas 200 AI减速模块具备极致性能、超低功耗的特点，能够在端侧实现物体辨认、图像分类等；Atlas 300I推理卡提供超强AI推理性能，以超强算力减速利用，可广泛应用于推理场景。在软件方面，为了帮忙开发者逾越AI利用落地制作行业的三大鸿沟，华为提供了全栈软件平台与工具。特地是昇腾利用使能MindX，帮忙宽广利用开发者疾速开发AI利用，让AI进入制作行业。据介绍，MindX中蕴含了“2+1+X”，其中“2”是深度学习使能MindX DL和智能边缘使能MindX Edge，帮忙开发者疾速搭建深度学习和边缘推理的根底平台；“1”是优选模型库ModelZoo，为开发者提供了各个场景下通过调优的模型，开发者只需依据本身场景须要，按需下载即可；最初是面向行业利用的SDK，华为曾经在昇腾社区公布了面向智能制作场景的mxManufacture SDK和mxVision SDK，聚焦于工业质检场景，可能以很少的代码量、甚至于零代码实现制作行业AI利用开发。1.1.2 作业目标本作业应用工业质检场景中的模仿数据集，采纳MindSpore深度学习框架构建U-Net网络，在华为云平台的ModelArts上创立基于昇腾910处理器的训练环境，启动训练并失去图像宰割的模型；之后在华为云平台的ECS弹性云服务器上创立基于昇腾310处理器的推理环境，将该模型转换成离线模型，应用MindX SDK mxVision 执行推理工作。本作业目标：• 了解工业质检的背景。• 把握MindSpore的根底应用。• 相熟U-Net网络和图像宰割的原理常识。• 把握华为云ModelArts和ECS的环境搭建。• 相熟昇腾910和昇腾310处理器的应用。• 把握离线模型的转换方法。• 相熟MindX SDK mxVision的应用。思考到本次以MindStudio为根底，重视推理，因而次要介绍在昇腾310上模型推理，训练局部省略。1.1.3 模型介绍U-Net介绍：U-Net模型基于二维图像宰割。在2015年ISBI细胞跟踪比赛中，U-Net取得了许多最佳奖项。论文中提出了一种用于医学图像宰割的网络模型和数据加强办法，无效利用标注数据来解决医学畛域标注数据有余的问题。U型网络结构也用于提取上下文和地位信息。
• --data_url：数据集输出门路。• --run_eval：True示意训练过程中同时进行验证。训练日志：============== Starting Training ==============
img shape: (1800, 1800, 3) mask shape (1800, 1800)
step: 1, loss is 2.0795505, fps is 0.01587404091683707
step: 2, loss is 2.07847, fps is 25.585164851923018
step: 3, loss is 2.0777602, fps is 34.00713498086528
step: 4, loss is 2.0772874, fps is 35.27263247302604
step: 5, loss is 2.0767062, fps is 36.21961624151569
...
step: 236, loss is 0.03733757, fps is 35.12729160908855
step: 237, loss is 0.027148828, fps is 35.399451407351144
step: 238, loss is 0.030170249, fps is 35.72904456862478
step: 239, loss is 0.049450595, fps is 36.01899576631429
step: 240, loss is 0.031540662, fps is 35.64675386485131
epoch: 5, avg loss:0.0373, total cost: 138.932 s, per step fps:1.727
epoch: 5, dice_coeff: 0.9967254781174716
End training, the best dice_coeff is: 0.9980154385637104, the best dice_coeff epoch is 1
============== End Training ==============
通过5轮的训练，图像宰割模型已趋近收敛，并已找到最优Dice系数（Dice coefficient），阐明模型预测值和标签的最高类似度达到0.9980。*Dice系数是一种度量汇合类似度的函数，通常用于计算两个样本的类似度（取值范畴为[0,1]）。1.1.4 模型保留如果想在昇腾AI处理器上执行推理，能够通过网络定义和CheckPoint生成AIR格局模型文件。export.py文件内容如下，可依据理论开发状况进行批改。import argparse
import numpy as np
from mindspore import Tensor, export, load_checkpoint, load_param_into_net, context
from src.unet_medical.unet_model import UNetMedical
from src.unet_nested import NestedUNet, UNet
from src.config import cfg_unet as cfg
from src.utils import UnetEval
parser = argparse.ArgumentParser(description='unet export')
parser.add_argument("--device_id", type=int, default=0, help="Device id")
parser.add_argument("--batch_size", type=int, default=1, help="batch size")
parser.add_argument("--ckpt_file", type=str, required=True, help="Checkpoint file path.")
parser.add_argument('--width', type=int, default=572, help='input width')
parser.add_argument('--height', type=int, default=572, help='input height')
parser.add_argument("--file_name", type=str, default="unet", help="output file name.")
parser.add_argument('--file_format', type=str, choices=["AIR", "ONNX", "MINDIR"], default='AIR', help='file format')
parser.add_argument("--device_target", type=str, choices=["Ascend", "GPU", "CPU"], default="Ascend",
help="device target")
args = parser.parse_args()
context.set_context(mode=context.GRAPH_MODE, device_target=args.device_target)
if args.device_target == "Ascend":
context.set_context(device_id=args.device_id)
if name == "__main__":
if cfg['model'] == 'unet_medical':
net = UNetMedical(n_channels=cfg['num_channels'], n_classes=cfg['num_classes'])
elif cfg['model'] == 'unet_nested':
net = NestedUNet(in_channel=cfg['num_channels'], n_class=cfg['num_classes'], use_deconv=cfg['use_deconv'],
use_bn=cfg['use_bn'], use_ds=False)
elif cfg['model'] == 'unet_simple':
net = UNet(in_channel=cfg['num_channels'], n_class=cfg['num_classes'])
else:
raise ValueError("Unsupported model: {}".format(cfg['model']))
return a parameter dict for model
param_dict = load_checkpoint(args.ckpt_file)
load the parameter into net
load_param_into_net(net, param_dict)
net = UnetEval(net)
input_data = Tensor(np.ones([args.batch_size, cfg["num_channels"], args.height, args.width]).astype(np.float32))
export(net, input_data, file_name=args.file_name, file_format=args.file_format)
终端运行示例：python export.py --ckpt_file="./ckpt_0/best.ckpt" --width=960 --height=960 --file_name="out_model/unet_hw960_bs1" --file_format="AIR"
• ckpt_file： ckpt门路。• width： 模型输出尺寸。• height： 模型输出尺寸。• file_name： 输入文件名。• file_format： 输入格局，必须为[“ONNX”, “AIR”, “MINDIR”]。输入后果：out_model/unet_hw960_bs1.air
将unet_hw960_bs1.air模型下载至本地，供后续MindX SDK推理试验应用。*揭示：本阶段完结后请及时进行Notebook训练作业，防止资源节约。1.2 MindX SDK推理1.2.1 环境筹备基于训练营共享的CANN6.0.RC1_MindX_Vision3.0.RC3镜像，购买ECS，留神该镜像是针对root用户配置，咱们的操作根本都在root用户下执行。咱们还要批改bash，具体命令和后果如下。
1.2.2 我的项目介绍本我的项目反对MindStudio运行和终端运行。下载我的项目代码https://alexed.obs.cn-north-4...将我的项目文件unet_sdk.zip上传至华为云ECS弹性云服务器/root/目录下，并解压；或者下载到本地电脑，用MindStudio关上。将之前unet_hw960_bs1.air模型放到/unet_sdk/model/目录下。我的项目文件构造├── unet_sdk
├── README.md
├── data //数据集│ ├── 1│ │ ├──image.png //图片
│ │ ├──mask.png //标签
│ ...
├── model
│ ├──air2om.sh // air模型转om脚本
│ ├──xxx.air //air模型
│ ├──xxx.om //om模型
│ ├──aipp_unet_simple_opencv.cfg // aipp文件
├── pipeline
│ ├──unet_simple_opencv.pipeline // pipeline文件
├── main.py // 推理文件
├── run.sh // 执行文件
├── requirements.txt // 须要的三方库
1.2.3 模型转换将unet_hw960_bs1.air模型转为昇腾AI处理器反对的.om格局离线模型，此处模型转换须要用到ATC工具。昇腾张量编译器（Ascend Tensor Compiler，简称ATC）是昇腾CANN架构体系下的模型转换工具，它能够将开源框架的网络模型或Ascend IR定义的单算子形容文件（json格局）转换为昇腾AI处理器反对的.om格局离线模型。模型转换过程中能够实现算子调度的优化、权值数据重排、内存应用优化等，能够脱离设施实现模型的预处理。ATC参数概览：https://support.huaweicloud.c...
运行脚本：cd unet_sdk/model/ # 切换至模型存储目录
atc --framework=1 --model=unet_hw960_bs1.air --output=unet_hw960_bs1 --input_format=NCHW --soc_version=Ascend310 --log=error --insert_op_conf=aipp_unet_simple_opencv.cfg
留神air模型转om只反对动态batch，这里batchsize=1。参数阐明：• framework：原始框架类型。• model：原始模型文件门路与文件名。• output：转换后的离线模型的门路以及文件名。• input_format：输出数据格式。• soc_version：模型转换时指定芯片版本。• log：显示日志的级别。• insert_op_conf：插入算子的配置文件门路与文件名，这里应用AIPP预处理配置文件，用于图像数据预处理。输入后果：ATC run success，示意模型转换胜利，失去unet_hw960_bs1.om模型。
模型转换胜利之后，能够应用MindX SDK mxVision运行脚本，在Ascend 310上进行推理。1.2.4 MindX SDK mxVision 执行推理MindX SDK文档请参考：https://support.huaweicloud.c... SDK执行推理的业务流程：通过stream配置文件，Stream manager可辨认须要构建的element以及element之间的连贯关系，并启动业务流程。Stream manager对外提供接口，用于向stream发送数据和获取后果，帮忙用户实现业务对接。plugin示意业务流程中的根底模块，通过element的串接构建成一个stream。buffer用于外部挂载解码前后的视频、图像数据，是element之间传递的数据结构，同时也容许用户挂载元数据（Metadata），用于寄存结构化数据（如指标检测后果）或过程数据（如缩放后的图像）。
MindX SDK根底概念介绍：
MindX SDK 根底插件
MindX SDK业务流程编排：Stream配置文件以json格局编写，用户必须指定业务流名称、元件名称和插件名称，并依据须要，补充元件属性和上游元件名称信息。以下表格为本试验pipeline/unet_simple_opencv.pipeline文件及其对应的名称及形容：
pipeline/unet_simple_opencv.pipeline文件内容如下，可依据理论开发状况进行批改。{
"unet_mindspore": { "stream_config": { "deviceId": "0" }, "appsrc0": { "props": { "blocksize": "4096000" }, "factory": "appsrc", "next": "mxpi_imagedecoder0" }, "mxpi_imagedecoder0": { "props": { "cvProcessor": "opencv", "outputDataFormat": "BGR" }, "factory": "mxpi_imagedecoder", "next": "mxpi_imagecrop0" }, "mxpi_imagecrop0": { "props": { "cvProcessor": "opencv", "dataSource": "ExternalObjects" }, "factory": "mxpi_imagecrop", "next": "mxpi_imageresize0" }, "mxpi_imageresize0": { "props": { "handleMethod": "opencv", "resizeType": "Resizer_Stretch", "resizeHeight": "960", "resizeWidth": "960" }, "factory": "mxpi_imageresize", "next": "mxpi_tensorinfer0" }, "mxpi_tensorinfer0": { "props": { "dataSource": "mxpi_imageresize0", "modelPath": "model/unet_hw960_bs1_AIPP.om" }, "factory": "mxpi_tensorinfer", "next": "mxpi_dumpdata0" }, "mxpi_dumpdata0": { "props": { "requiredMetaDataKeys": "mxpi_tensorinfer0" }, "factory": "mxpi_dumpdata", "next": "appsink0" }, "appsink0": { "props": { "blocksize": "4096000" }, "factory": "appsink" }}}
批改modelPath关上pipeline/unet_simple_opencv.pipeline文件，将"mxpi_tensorinfer0"元件的属性"modelPath"（模型导入门路）批改为模型转换后保留的om模型"model/unet_hw960_bs1.om"。批改后果："modelPath": "model/unet_hw960_bs1.om"
modelPath批改实现之后，保留pipeline/unet_simple_opencv.pipeline文件。StreamManagerApi：StreamManagerApi文档请参考：https://support.huaweicloud.c...用于对Stream流程的根本治理：加载流程配置、创立流程、向流程发送数据、取得执行后果、销毁流程。本试验用到的StreamManagerApi有：• InitManager：初始化一个StreamManagerApi。• CreateMultipleStreams：依据指定的配置创立多个Stream。• SendData：向指定Stream上的输出元件发送数据(appsrc)。• GetResult：取得Stream上的输入元件的后果（appsink）。• DestroyAllStreams：销毁所有的流数据。main.py文件内容如下，可依据理论开发状况进行批改。import argparse
import base64
import json
import os
import cv2
import numpy as np
from StreamManagerApi import *
import MxpiDataType_pb2 as MxpiDataType
x0 = 2200 # w:2200~4000; h:1000~2800
y0 = 1000
x1 = 4000
y1 = 2800
ori_w = x1 - x0
ori_h = y1 - y0
def _parse_arg():
parser = argparse.ArgumentParser(description="SDK infer")parser.add_argument("-d", "--dataset", type=str, default="data/", help="Specify the directory of dataset")parser.add_argument("-p", "--pipeline", type=str, default="pipeline/unet_simple_opencv.pipeline", help="Specify the path of pipeline file")return parser.parse_args()def _get_dataset(dataset_dir):
img_ids = sorted(next(os.walk(dataset_dir))[1])for img_id in img_ids: img_path = os.path.join(dataset_dir, img_id) yield img_pathdef _process_mask(mask_path):
# 手动裁剪mask = cv2.imread(mask_path, cv2.IMREAD_GRAYSCALE)[y0:y1, x0:x1]return maskdef _get_stream_manager(pipeline_path):
stream_mgr_api = StreamManagerApi()ret = stream_mgr_api.InitManager() #初始化streamif ret != 0: print(f"Failed to init Stream manager, ret={ret}") exit(1)with open(pipeline_path, 'rb') as f: pipeline_content = f.read()ret = stream_mgr_api.CreateMultipleStreams(pipeline_content) # 创立streamif ret != 0: print(f"Failed to create stream, ret={ret}") exit(1)return stream_mgr_apidef _do_infer_image(stream_mgr_api, image_path):
stream_name = b'unet_mindspore' # 与pipeline中stream name统一data_input = MxDataInput()with open(image_path, 'rb') as f: data_input.data = f.read()# 插入抠图的性能，扣1800*1800大小roiVector = RoiBoxVector()roi = RoiBox()roi.x0 = x0roi.y0 = y0roi.x1 = x1roi.y1 = y1roiVector.push_back(roi)data_input.roiBoxs = roiVectorunique_id = stream_mgr_api.SendData(stream_name, 0, data_input) # 向指定Stream上的输出元件发送数据(appsrc)if unique_id < 0: print("Failed to send data to stream.") exit(1)infer_result = stream_mgr_api.GetResult(stream_name, unique_id) # 取得Stream上的输入元件的后果（appsink）if infer_result.errorCode != 0: print(f"GetResult error. errorCode={infer_result.errorCode}," f"errorMsg={infer_result.data.decode()}") exit(1)# 用dumpdata获取数据infer_result_data = json.loads(infer_result.data.decode())content = json.loads(infer_result_data['metaData'][0]['content'])tensor_vec = content['tensorPackageVec'][0]['tensorVec'][1] # 1是argmax后果data_str = tensor_vec['dataStr']tensor_shape = tensor_vec['tensorShape']argmax_res = np.frombuffer(base64.b64decode(data_str), dtype=np.float32).reshape(tensor_shape)np.save("argmax_result.npy", argmax_res)tensor_vec = content['tensorPackageVec'][0]['tensorVec'][0] # 0是softmax后果data_str = tensor_vec['dataStr']tensor_shape = tensor_vec['tensorShape']softmax_res = np.frombuffer(base64.b64decode(data_str), dtype=np.float32).reshape(tensor_shape)np.save("softmax_result.npy", softmax_res)return softmax_res # ndarray自定义dice系数和iou函数
def _calculate_accuracy(infer_image, mask_image):
mask_image = cv2.resize(mask_image, infer_image.shape[1:3])mask_image = mask_image / 255.0mask_image = (mask_image > 0.5).astype(np.int)mask_image = (np.arange(2) == mask_image[..., None]).astype(np.int)infer_image = np.squeeze(infer_image, axis=0)inter = np.dot(infer_image.flatten(), mask_image.flatten())union = np.dot(infer_image.flatten(), infer_image.flatten()) + \ np.dot(mask_image.flatten(), mask_image.flatten())single_dice = 2 * float(inter) / float(union + 1e-6)single_iou = single_dice / (2 - single_dice)return single_dice, single_ioudef main(_args):
dice_sum = 0.0iou_sum = 0.0cnt = 0stream_mgr_api = _get_stream_manager(_args.pipeline)for image_path in _get_dataset(_args.dataset): infer_image = _do_infer_image(stream_mgr_api, os.path.join(image_path, 'image.png')) # 抠图并且reshape后的shape，1hw mask_image = _process_mask(os.path.join(image_path, 'mask.png')) # 抠图后的shape， hw dice, iou = _calculate_accuracy(infer_image, mask_image) dice_sum += dice iou_sum += iou cnt += 1 print(f"image: {image_path}, dice: {dice}, iou: {iou}")print(f"========== Cross Valid dice coeff is: {dice_sum / cnt}")print(f"========== Cross Valid IOU is: {iou_sum / cnt}")stream_mgr_api.DestroyAllStreams() # 销毁streamif name == "__main__":
args = _parse_arg()main(args)run.sh文件内容如下，可依据理论开发状况进行批改。参考SDK软件包sample脚本，须要依照理论门路批改各个环境变量门路。set -e
CUR_PATH=$(cd "$(dirname "$0")" || { warn "Failed to check path/to/run.sh" ; exit ; } ; pwd)
Simple log helper functions
info() { echo -e "\0331;34m[INFO $1\033[1;37m" ; }
warn() { echo >&2 -e "\0331;31m[WARN $1\033[1;37m" ; }
export MX_SDK_HOME=${CUR_PATH}/../../..
export LD_LIBRARY_PATH=${MX_SDK_HOME}/lib:${MX_SDK_HOME}/opensource/lib:${MX_SDK_HOME}/opensource/lib64:/usr/local/Ascend/ascend-toolkit/latest/acllib/lib64:${LD_LIBRARY_PATH}
export GST_PLUGIN_SCANNER=${MX_SDK_HOME}/opensource/libexec/gstreamer-1.0/gst-plugin-scanner
export GST_PLUGIN_PATH=${MX_SDK_HOME}/opensource/lib/gstreamer-1.0:${MX_SDK_HOME}/lib/plugins
to set PYTHONPATH, import the StreamManagerApi.py
export PYTHONPATH=$PYTHONPATH:${MX_SDK_HOME}/python
python3 main.py
exit 0
运行脚本激活mxVision环境变量（本作业无需此步骤）：. /root/mxVision/set_env.sh
运行脚本：cd /root/unet_sdk/ # 切换至推理脚本目录
bash run.sh
运行截图如下：
通过MindStudio运行，会主动上传代码到预设门路，并执行，运行后果如下：
注意事项：因为MindX SDK默认日志级别为debug，此日志级别下，dump_data插件会将所有内容打印至终端，影响日志查看。因而能够通过批改日志级别的形式，防止打印不必要的信息。批改日志：vi $MX_SDK_HOME/config/logging.conf
按“i”键批改 Line23行，日志级别可改为0或1或2。# Log level: -1-debug, 0-info, 1-warn, 2-error, 3-fatal
global_level=0
输出“:wq”，保留并退出。*揭示：试验完结后请及时敞开/删除ECS弹性云服务器，防止资源节约。1.3 作业总结本作业次要介绍如何应用MindSpore框架构建U-Net网络模型，应用线上昇腾算力在工业质检的模仿数据集上进行训练，并将保留的模型编译生成适配昇腾AI处理器的离线模型，部署在华为云ECS上，应用MindX SDK mxVision进行推理，从而实现图像宰割的工作。咱们心愿把握MindSpore的根底应用，相熟U-Net网络和图像宰割的原理常识，把握华为云ModelArts和ECS的环境搭建，相熟昇腾910和昇腾310处理器的应用，把握离线模型的转换方法，以及相熟MindX SDK mxVision的应用。此外，在应用中发现即便应用Windows版本的MindStudio近程连贯服务器，依然有卡顿，通过查看工作管理器，发现其占用的CPU、内存、硬盘和网络资源远超其余利用，思考到我的电脑能够晦涩运行PyCharm、Intellij IDEA、Clion等相似软件，且为本地运行，相比之下，近程连贯的MindStudio反而卡顿，集体认为应该还是MindStudio本身资源占用大，优化有余而导致的安置，这一点，从宏大的安装包也能窥探一二。期待MindStudio将来能有更好的优化。此外，倡议MindStudio能将ssh近程连贯服务器放在菜单栏醒目地位，不便查找。