关于人工智能:秋风到ModelArts-AI市场算法FastSCNN指南秋膘贴起来

59次阅读

共计 3424 个字符,预计需要花费 9 分钟才能阅读完成。

本文分享自华为云社区《带你来秋日尝鲜 | ModelArts AI 市场算法 Fast-SCNN 应用领导》,作者:Tianyi_Li

摘要:送小伙伴们一份新鲜出炉的 ModelArts AI 市场算法 Fast-Scnn(以下简称为本算法)应用秘籍,保障轻松上手。

双十一到了,秋风瑟瑟,不能光顾着剁手是不是,是时候贴贴秋膘,尝尝鲜了,特意送来新鲜出炉的 ModelArts AI 市场算法 Fast-Scnn(以下简称为本算法),附上应用秘籍,保障轻松上手。

本算法应用 Cityscapes 高质量标注数据集中的 train 集和 val 集,应用 train 集训练,在 val 集上测试达到了 mIOU=68.668 的准确率。

1. 筹备数据集

本算法反对的数据集格局为 Cityscapes 数据集。

Cityscapes 数据集蕴含来自 50 个不同城市的街道场景中记录的各种立体声视频序列集,以及较大的 20000 个弱正文帧集和 5000 个帧的高质量像素级正文。因而,该数据集比已有的相似数据集大一个数量级。无关带正文的类的详细信息和正文示例可在数据集官网上找到。

Cityscapes 数据集旨在用于:
(1) 评估视觉算法在语义城市场景了解的次要工作上的性能:像素级,实例级和全景语义标记;
(2) 反对旨在利用大量(弱)正文数据的钻研,例如用于训练深度神经网络。

1.1 下载数据集

可点此链接下载 gtFine_trainvaltest.zip 和 leftImg8bit_trainvaltest.zip 两个文件,如下图所示:

gtFine_trainvaltest.zip 解压后的目录构造如下(本算法训练不需自行解压,可间接应用压缩包):

└─gtFine
├─test
├─train
└─val

leftImg8bit_trainvaltest.zip 解压后的目录构造如下(本算法训练不需自行解压,可间接应用压缩包):

└─leftImg8bit
├─test
├─train
└─val
如果您须要应用本人的数据集进行训练,则须要将数据目录整顿成和下面一样的模式。更具体的数据集阐明请查看 Cityscapes 数据集官网上的形容。

1.2 装置 OBS Browser+ 并上传数据集

ModelArts 应用对象存储服务(OBS)来存储数据,实现平安、高牢靠和低成本的存储需要。OBS Browser+ 是一款用于拜访和治理对象存储服务(Object Storage Service,OBS)的图形化工具,反对欠缺的桶治理和对象治理操作。OBS Browser+ 的图形化界面能够十分不便地让用户在本地对 OBS 进行治理,例如:创立桶、上传下载文件、浏览文件等。

具体操作步骤如下:
(1)点此下载 OBS Browser+,下载实现后解压缩,双击 exe 进行装置,装置实现后运行;

(2)登录界面如下图所示,须要您填写账号名、Access Key ID(AK)和 Secret Accsee Key(SK),参考此文档,获取 AK 和 SK,华为云上的许多产品都须要用到拜访密钥,请妥善保留该密钥文件,而后参考下图填写您的华为云账号名及刚获取的 AK 和 SK,点击登录;

(3)参考下图,点击“创立桶”,输出桶名称,留神:区域要抉择华北 - 北京四、规范存储、公有、敞开多 AZ,桶名需自定义,OBS 桶名要全局惟一,如提醒桶名已存在,则须要您批改为其余名称,比方本文设置桶名为 fast-scnn。您设置的桶名必须与此不同,如在下文的操作领导中看到 fast-scnn,请被动将桶名替换为您本人的桶名,下文将不再进行提醒;

(4)点击桶名称,进入到桶中,点击“新建文件夹”,输出文件夹名称,如“train_input”,点击进入文件夹,再新建“datasets”,点击“上传”->“增加文件”-> 抉择本地下载好的数据集压缩包(之所以选压缩包格局是因为如果数据集比拟大,上传压缩包比上传文件夹快很多)–> 确定,如下图所示;

(5)点击 OBS Browser+ 左侧的“工作治理”,可查看数据上传进度。如下图所示,点击设置,在根底设置中,设置最大并发数为最大值 50,能够放慢数据上传速度

2. 订阅本算法

点击本页面右上方的【订阅】按钮。而后点击页面下方的【下一步】按钮,再点击【确认付款】按钮,最初点击【确定】按钮进入我的订阅页面,能够看到刚刚订阅的算法。点击【利用控制台】超链接,抉择华北 - 北京四区域,进入算法治理页面。

如下图所示,点击“同步”按钮,同步算法,能够点击刷新按钮,刷新状态。当状态变成就绪时,示意同步胜利,留神请应用最新版的,目前应该是 6.0.0 版本,根本版本以订阅状况。

3. 创立训练作业

点击上图中的“创立训练作业”,依照下表填写训练作业参数:

点击下一步,提交,训练作业的状态会经验“初始化”、“部署中”、“运行中”和“运行胜利”四个状态。训练作业运行胜利后,在上表中指定的“模型输入”门路下会主动生成 model 目录,该目录下有模型文件、ModelArts 平台推理脚本(config.json、customize_service.py)和其余运行模型必备的文件。

4. 模型导入

筹备好模型及相干的必备文件后,您能够将生成的模型导入至 ModelArts 模型治理。具体操作如下:

(1)在 ModelArts 控制台的左侧导航栏点击“模型治理”->“模型”,点击右侧页面中的“导入”。在导入模型页面填写名称,抉择元模型起源,能够间接从训练中抉择 (举荐应用这种办法,简略不便,与训练无缝连接),也能够从 OBS 中抉择。如果是从 OBS 中抉择,则须要抉择到 model 目录的上一级目录;例如,本次可抉择的目录为 obs://fast-scnn/algorithms/train_output,如下图所示:

留神:抉择好元模型门路后,“AI 引擎”会主动填充。如未能主动填充,请查看元模型门路是否是 model 目录的上一级目录,或者 model 目录下是否蕴含模型配置文件 config.json。

(2)点击“立刻创立”,须要一点工夫来期待模型导入和构建,当模型版本状态为“失常”后,即示意模型导入胜利。

5. 创立在线服务

在 ModelArts 上,能够将模型部署为在线服务,而后上传图片进行预测,间接在网页端察看预测后果,本算法反对 CPU 和 GPU 部署。

部署为在线服务具体步骤如下:

(1)在 ModelArts 左侧导航栏中抉择“部署上线 -> 在线服务”,而后点击页面中的“部署”;

(2)在部署页面填写参数,其中在“模型列表”抉择要导入的模型及版本,计算节点规格抉择 CPU 即可;

(3)点击“下一步”,参数确认无误后,点击“提交”。

提交后,您能够在在线服务列表中查看部署进度,当状态变为“运行中”后,点击服务名称,进入详情页面,点击“预测”,上传图片进行测试。测试后果如下图所示,右侧为失去的预测后果,不同的数字示意不同的类别。

6. 创立批量服务

在 ModelArts 上,还能够将模型部署为批量服务,从 OBS 加载测试集图片进行预测,而后将预测后果输入到 OBS,本算法反对 CPU 和 GPU 部署。

部署为批量服务具体步骤如下:

(1)在 ModelArts 左侧导航栏中抉择“部署上线 -> 批量服务”,而后点击页面中的“部署”;

(2)在部署页面填写参数,其中在“模型列表”抉择要导入的模型及版本,填写输出数据目录和输入数据目录,计算节点规格抉择“CPU 2 核 8GB”,计算节点个数设为 1;

这里的输出数据目录地位为寄存待预测图像的地位,留神该地位下仅能寄存待预测图片,而输入数据目录地位为空文件夹即可,可自行定义。

(3)点击“下一步”,参数确认无误后,点击“提交”。

提交后,您能够在批量服务列表中查看部署进度,当状态变为“运行中”后,示意正在预测中,当状态变为“运行实现”,示意这批图片曾经预测完结,预测后果是一批 txt 文件,保留在上图指定的 OBS 输入数据目录地位中,能够返回该目录查看后果。

7. 模型评估

参考本文第 2 节中的步骤,创立“训练作业”,依照下表设置训练参数:

点击下一步,提交,训练作业的状态会经验“初始化”、“部署中”、“运行中”和“运行胜利”四个状态。训练作业运行胜利后,在上表中指定的“模型输入”门路下会主动生成_result 目录,其中蕴含推理后的.png 图片和推理后果_results.txt 文件。其中_results.txt 文件蕴含验证后果,如图所示。

好了,到此行将完结了,这次尝鲜大家感觉怎么样呢?期待大家的分享应用体验和感触。

点击关注,第一工夫理解华为云陈腐技术~

正文完
 0