关于azure:深入了解Azure-机器学习的工作原理

12次阅读

共计 1722 个字符,预计需要花费 5 分钟才能阅读完成。

通过浏览本文,您将会理解到 Azure 机器学习(以下简称:Azure 机器学习)的架构和概念,并且深刻理解这些组件,以及它们如何协同来帮助构建、部署和保护机器学习模型的过程。

工作区

机器学习工作区是 Azure 机器学习的 top-level 资源。工作区可集中用于:

  • 治理用于训练和部署模型的资源,例如计算
  • 存储应用 Azure 机器学习时创立的资产,包含:环境、试验、管道、数据集、模型、端点

计算

计算指标是用于运行训练脚本或托管服务部署的任何一台机器或一组机器。您能够应用本地计算机或近程计算资源作为计算指标。您能够应用计算指标在本地机器上训练,而后扩大到云端,这个过程中无需更改训练脚本。

Azure 机器学习引入了 2 个为机器学习工作配置的虚拟机 (VM),它们是齐全托管且基于云的:

  • 计算实例:是一个 VM,其中包含为机器学习装置的多个工具和环境。计算实例的主要用途是用于您的开发工作站。您无需设置即可开始运行示例 notebook。计算实例也能够用作训练和推理作业的计算指标。
  • 计算集群:是具备多节点扩大能力的虚拟机集群。计算集群更适宜大型作业和生产的计算指标。提交作业时,集群会主动扩大。它用作训练计算指标或用于开发 / 测试部署。

数据集和数据存储

Azure 机器学习数据集使您能够更轻松地拜访和解决数据。通过创立数据集,您能够创立对数据源地位的援用及其元数据的正本。因为数据保留在其现有地位,因而您不会产生额定的存储老本,也不会面临数据源完整性的危险。数据存储将连贯信息(例如您的订阅 ID 和 token 受权)存储在与工作区关联的 Key Vault 中,因而您能够平安地拜访您的存储,而无需在脚本中对其进行 hard code。

环境

环境是对机器学习模型进行训练或评分的环境的封装。环境指定了围绕训练和评分脚本的 Python packages、环境变量和软件设置。

试验

试验是来自指定脚本的许多运行的分组。它始终属于工作区。当您提交运行时的时候,须要提供一个试验名称。运行信息存储在该试验下。如果您提交试验时该名称不存在,则零碎会主动创立一个新试验。点击查看具体配置步骤

模型

最简略的模型是一段承受输出并产生输入的代码。创立机器学习模型波及抉择算法、为其提供数据和调整超参数。训练是一个生成训练模型的迭代过程,它封装了模型在训练过程中学到的货色。

您能够引入在 Azure 机器学习之外训练的模型,也能够通过向 Azure 机器学习中的计算指标提交试验运行来训练模型。有了模型之后就能够在工作区中注册模型。
Azure 机器学习与框架无关。您能够应用任何风行的机器学习框架来创立模型,例如 Scikit-learn、XGBoost、PyTorch、TensorFlow 和 Chainer。

部署

将已注册的模型部署为服务端点须要以下组件:

  • 环境:此环境封装了运行模型进行推理所需的依赖项
  • 评分:该脚本承受申请,应用模型对申请进行评分,并返回后果
  • 推理配置:推理配置指定将模型作为服务运行所需的环境、entry script 和其余组件

自动化

▌Azure 机器学习 CLI

Azure 机器学习 CLI 是 Azure CLI 的扩大,Azure 平台的跨平台命令行界面。此扩大提供了自动化机器学习流动的命令。

▌机器学习管道

您能够应用机器学习管道来创立和治理将机器学习阶段拼接在一起的工作流。例如,一个管道可能包含数据筹备、模型训练、模型部署和推理 / 评分阶段。每个阶段能够蕴含多个步骤,每个步骤都能够在各种计算指标中主动运行。
此外,管道的步骤是可反复用的,如果这些步骤的输入没有扭转,能够在不从新运行之前步骤的状况下运行。例如,如果数据没有更改,您能够从新训练模型而无需从新运行繁琐的数据筹备步骤。有了管道,数据科学家在机器学习工作流的不同环节工作时进行合作。

▌监控和日志记录

Azure 机器学习提供以下监控和日志记录性能:

  • 对于数据科学家,您能够监控您的试验并记录训练运行的信息
  • 对于管理员,您能够应用 Azure Monitor 监控无关工作区、相干 Azure 资源以及资源创立和删除等事件的信息
  • 对于 DevOps 或 MLOps,您能够监控部署为 Web 服务的模型生成的信息,辨认部署问题并收集提交给服务的数据

更多 Azure 机器学习的工作原理,点击链接浏览原文章

正文完
 0