关于模型:七大步骤详解预置算法构建模型的全过程

摘要：针对有肯定 AI 根底的 AI 初学者，ModelArts 基于业界的支流引擎提供了预置算法，无需关注模型开发过程，间接应用预置算法对已有数据进行训练，并疾速部署为服务。预置算法可用于物体类别和地位、图像分类等场景。本次试验提供了一个花卉图像分类利用的样例，帮忙您疾速相熟应用 ModelArts 预置算法构建模型的过程。

此样例针对预置的花卉图像数据集，对已有图像数据进行标注，而后应用预置的“ResNet_v1_50”算法对数据进行训练，失去一个可用的模型，最初，将此模型部署为在线服务。部署实现后，用户可通过在线服务辨认输出图片的花卉品种。应用预置算法实现模型构建的步骤如下所示：

• 步骤 1：筹备数据
• 步骤 2：训练模型
• 步骤 3：（可选）创立可视化作业，查看模型训练过程
• 步骤 4：导入模型
• 步骤 5：部署上线
• 步骤 6：测试服务
• 步骤 7：革除相应资源，防止产生费用

筹备工作

• 已注册华为云账号，且在应用 ModelArts 前查看账号状态，账号不能处于欠费或解冻状态。
• 以后账号已实现拜访受权的配置。如未实现，请参考应用委托受权。针对之前应用拜访密钥受权的用户，倡议清空受权，而后应用委托进行受权。
• 已在 OBS 服务中创立桶和文件夹，用于寄存样例数据集以及模型。如下示例中，请创立命名为“test-modelarts”的桶，并创立如表 1 所示的文件夹。
• 创立 OBS 桶和文件夹的操作领导请参见创立桶和新建文件夹。确保您应用的 OBS 目录与 ModelArts 在同一区域。

步骤 1：筹备数据

ModelArts 在公共 OBS 桶中提供了花卉的示例数据集，命名为“Flowers-Data-Set”，因而，本文的操作示例应用此数据集进行模型构建。您须要执行如下操作，将数据集上传至您的 OBS 目录下，即筹备工作中您创立的 OBS 目录“test-modelarts/dataset-flowers”。

阐明：

• 因为“Flowers-Data-Set”数据集已实现数据标注，数据集中文件格式为“.txt”是对应图片的标注文件，因而在此操作步骤中疏忽了数据标注操作。
• 如果您想应用本人的数据集，可跳过此步骤，间接将数据上传至 OBS 文件夹中，并在步骤 2：训练模型操作中间接抉择此目录即可。如果您应用的数据集未进行标注，在创立训练作业前请在“数据管理 > 数据集”页面创立数据集并进行人工标注。

1. 单击数据集下载链接，将“Flowers-Data-Set”数据集下载至本地。
2. 在本地，将“Flowers-Data-Set.zip”压缩包解压。例如，解压至本地 “Flowers-Data-Set” 文件夹下。
3. 参考上传文件，应用批量上传形式将“Flowers-Data-Set”文件夹下的所有文件上传至“test-modelarts/dataset-flowers”OBS 门路下。

步骤 2：训练模型

数据筹备实现后，您能够创立一个训练作业，选用预置算法“ResNet_v1_50”，并最终生成一个可用的模型。

“ResNet_v1_50”算法基于“TensorFlow, TF-1.8.0-python2.7”引擎，其用处为图像分类。如果您想获取更多预置算法的介绍，您能够在“训练作业”页面中，单击“预置算法”页签，理解 ModelArts 提供的算法信息，如用处、引擎类型、精度等。

1）在 ModelArts 治理控制台，在左侧导航栏中抉择“训练治理 > 训练作业”，进入“训练作业”治理页面。

2）单击“创立”，进入“创立训练作业”页面。

3）在“创立训练作业”页面，填写相干信息，参数填写领导请参见如下步骤。

• “算法起源”：单击“抉择”，从“预置算法”列表中，抉择“ResNet_v1_50”算法。
• “数据起源”：因为导入的数据集已实现标注，因而间接从数据存储地位导入即可。单击“数据存储地位”，而后单击文本框右侧的“抉择”，抉择数据集所在的 OBS 门路，如“/test-modelarts/dataset-flowers/”。
• “训练输入地位”：从已有的 OBS 桶中抉择模型和预测文件存储门路。应用筹备工作中已创立好的“model-test”文件夹。如果没有可用文件夹，您能够单击“抉择”，在弹出对话框中新建文件夹。
• “运行参数”：抉择 “ResNet_v1_50”算法后，默认蕴含“max_epoches” 参数，默认值为“100”。针对此示例，倡议将“max_epoches”参数值批改为“10”，1 个 epoch 代表整个数据集训练一遍，此运行参数示意训练 10 个 epoch，“max_epoches”值越大训练工夫越长。
• “作业日志门路”：从已有的 OBS 桶中抉择日志存储门路。应用筹备工作中已创立好的“train-log”文件夹。如果没有可用文件夹，您能够单击“抉择”，在弹出对话框中新建文件夹。
• 在根本信息区域，“计费模式”和“版本”为零碎主动生成，不需批改。请依据界面提醒填写“名称”和“形容”。

图 1 填写名称和形容

• 在参数配置区域，抉择“算法起源”，设置“数据起源”、“训练输入地位”、“运行参数”和“作业日志门路”。

图 2 参数配置

• 在资源设置区域，抉择“公共资源池”，同时设置“规格”和“计算节点个数”。

如果抉择应用收费规格，请仔细阅读提示信息，而后勾选“我已浏览并批准以上内容”。

图 3 设置应用的资源

• 单击“下一步”实现信息填写。

4）在“规格确认”页面，确认训练作业的参数信息，确认无误后单击“提交”。

5）在“训练作业”治理页面，能够查看新建训练作业的状态。训练作业的创立和运行须要一些工夫，预计十几分钟，当状态变更为“运行胜利”时，示意训练作业创立实现。

您能够单击训练作业的名称，可进入此作业详情页面，理解训练作业的“配置信息”、“日志”和“资源占用状况”等信息。在“训练输入地位”所在的 OBS 门路中，即“/test-modelarts/model-test/”门路，能够获取到生成的模型文件。

图 4 训练作业详情

步骤 3：（可选）创立可视化作业，查看模型训练过程

目前 ModelArts 提供的可视化作业默认为 TensorBoard 类型的作业。TensorBoard 是一个可视化工具，可能无效地展现 TensorFlow 或 MXNet 在运行过程中的计算图、各种指标随着工夫的变化趋势以及训练中应用到的数据信息。可视化作业以后只反对基于 TensorFlow 和 MXNet 引擎的训练作业。

如果训练详情页的详细信息已足够撑持您判断模型好坏并构建模型，您能够抉择跳过此步骤，间接执行步骤 4：导入模型的操作。

1）在 ModelArts 治理控制台，在左侧导航栏中抉择“训练治理 > 训练作业”，而后单击“可视化作业”页签进入“可视化作业”治理页面。

2）在“可视化作业”治理页面，单击“创立”。

3）在“创立可视化作业”页面，设置相干参数，而后单击“下一步”。

可视化作业的类型默认为“可视化作业”，且不可更改。设置可视化作业的“名称”，以及“训练输入地位”。“训练输入地位”须要设置为训练作业中的“训练输入地位”，上述步骤中“训练输入地位”为“/test-modelarts/model-test/”。“主动进行”启用，并设置为“1 小时后”进行，防止产生不必要的费用。

图 5 设置可视化作业参数信息

4）在“规格确认”页面，信息确认结束后，单击“提交”。

5）进入“可视化作业”治理页面，期待一段时间，当可视化作业的状态为“运行中”时，示意已创立胜利。

针对运行中的可视化作业，您能够单击可视化作业的名称跳转到其可视化界面。您能够通过此界面的信息，理解到此模型的具体训练过程。如果此模型训练过程和参数满足要求，您能够开始执行步骤 4：导入模型操作。

图 6 可视化界面

步骤 4：导入模型

训练实现的模型还是存储在 OBS 门路中，您能够将此模型导入到 ModelArts 中进行治理和部署。

1）在 ModelArts 治理控制台中，单击左侧导航栏中的“模型治理 > 模型”，进入“模型”页面。

2）在“模型”页面，单击“导入”。

3）在“导入模型”页面，设置相干参数，而后单击“立刻创立”。

设置模型的“名称”和“版本”，而后在“元模型起源”参数中，抉择“从训练中抉择”，此时零碎会主动抉择您创立的训练作业，您能够从下拉框中能够抉择零碎中可用的训练作业。因为本示例数据较简略，其余参数采纳默认值。

图 7 导入模型

4）模型导入实现后，零碎将主动跳转至模型列表页面。您能够在模型列表页面查看已导入的模型及其版本。

图 8 模型列表

步骤 5：部署上线

模型导入实现后，当状态显示为“失常”时，能够将模型部署上线，可部署为“在线服务”、“批量服务”或“边缘服务”。如下操作步骤以部署为在线服务为例。

1）在“模型治理 > 模型”页面，单击模型名称左侧的小三角，关上此模型下的所有版本。在对应版本所在行，单击操作列的“部署”，而后在下拉框中抉择“在线服务”，进入“部署”页面。

2）在“部署”页面中，设置相干参数，而后单击“下一步”。

设置在线服务的“名称”，将“是否主动进行”性能启用。在“抉择模型及配置”区域中，零碎将主动抉择步骤 4：导入模型中的模型及其版本，在“计算节点规格”右侧下拉框中抉择应用的资源，本示例选用“CPU：2 核 8GiB”资源部署在线服务。其余参数应用默认值。

“数据采集”和“难例筛选”性能，倡议应用默认值，放弃敞开。

图 9 部署为在线服务

3）在“规格确认”页面，确认信息结束后，单击“提交”。

4）在“部署上线 > 在线服务”页面，您能够查看在线服务的相干信息。因为模型部署上线须要破费一些工夫，请急躁期待几分钟。当在线服务的状态为“运行中”时，示意在线服务已部署实现。

步骤 6：测试服务

1. 在线服务部署胜利后，您能够进入在线服务，发动预测申请进行测试。
2. 在“在线服务”治理页面，单击在线服务名称，进入在线服务详情页面。
3. 在线服务详情页面中，单击“预测”页签，进入预测页面。
4. 在“抉择预测图片文件”右侧，单击“上传”按钮，上传一张带花的图片，而后单击“预测”。
5. 预测实现后，预测结果显示区域将展现预测后果，依据预测后果得分，可辨认出此图片的花为“daisy”。

阐明：因为此处是测试服务，为保障测试成果，倡议抉择图片时，不要应用示例数据集中已有的图片。

图 10 预测后果

步骤 7：革除相应资源，防止产生费用

为防止产生不必要的费用，在实现试用后，建议您删除相干资源，如在线服务、可视化作业、训练作业、数据及其 OBS 目录。

• 删除在线服务：在“在线服务”页面，单击操作列的“更多 > 删除”。
• 删除可视化作业：在“训练作业 > 可视化作业”页面，单击操作列的“删除”。
• 删除训练作业：在“训练作业”页面，单击操作列的“删除”。
• 删除数据：返回 OBS，删除上传的数据，而后删除文件夹及 OBS 桶。

本文分享自华为云社区《应用预置算法构建模型初体验》，原文作者：运气男孩。

点击关注，第一工夫理解华为云陈腐技术~