共计 4176 个字符，预计需要花费 11 分钟才能阅读完成。
AIoT 即交融了 AI（人工智能）和 IoT（物联网）的技术，图形图像解决是人工智能畛域中重要的一个分支，在日常生活中也存在大量基于图形图像的解决的场景：比方交通违章抓拍，基于视觉的司机防疲劳监测，家用摄像机的老人摔倒报警等性能，利用物联网和边缘计算技术，则能够将云端训练好的模型更容易的推送到边缘，进而在边缘实现更高效的推理工作，AIoT 的整合利用也在智能家居，网联汽车，智慧供应链等场景下有微小的市场前景。随着科技的倒退，越来越多的细分场景要求尽可能多的将基于图形图像的 AI 技术和 IoT 技术联合在一起，比方工厂工地的安全帽检测，疫情状态下进入商场的是否佩戴口罩检测，基于视觉的 ADAS 高级驾驶辅助零碎等等，面对这些日益增长的需要，如何疾速落地一个 AIOT 我的项目变得更为重要，实际上，喊着“INVENT WITH PURPOSE”口号微软云 Azure 上提供了几个十分乏味的的工具就能够帮忙咱们疾速的实现 AIOT 翻新。
微软 MVP 实验室研究员
接下来咱们以“消防通道，禁止占用”为例，看下如何利用微软云提供的工具落地这个场景。
Azure IoT Hub
Azure IoT Hub 是一个可承载“百万级”设施的云端“网关”服务，次要提供了 IoT 设施的身份验证，设施和云端的双向通信，设施 OAT，设施治理，平安等性能。
咱们顺次看下这几个性能对应的场景：
- 设施身份验证：
设施身份验证是设施和云交互的第一步，必须验证了设施的非法身份，才容许设施向云端发动数据申请。 - 设施和云的双向通信：
所谓双向通信，比方智能空调，从空调上报室温到云端后出现在手机，实际上是一个设施上传“遥测”数据的过程；从手机上近程“管制”空调设定某个温度，即通过云端“反向管制”设施的过程 - 设施 OTA：
设施 OAT（Over-the-Air Technology），该技术最嘹亮的场景应该是智能汽车通过 OTA 降级最新的性能，实际上 OTA 通常会蕴含设施操作系统层面的更新和操作系统上的应用程序的更新 - 设施治理：
这是 IoT 零碎的重要根底，所谓设施治理，次要是在保护某个 IoT 零碎所蕴含的设施的“数据库”，这个数据库里记录着有多少台设施是能够连贯到平台的，每台设施以后的运行状态是什么，是否对这些设施进行了逻辑的分组比方某个商场的某些自动扶梯，哪些设施能够在什么时间段执行一些耗时操作，比方硬件版本为 1.0.1 的位于上海市的汽车能够在周日凌晨 2 点经由用户确认后主动降级等等。 - 平安性能：
平安性能也是一个重要的性能，细数史上的 IOT 安全事件，从智慧鱼缸，到智能摄像头，智慧门铃都曝出过安全漏洞，某些破绽可能透露用户隐衷，有些则可能带来生命危险，比方医疗设施一旦被非法攻打，结果不堪设想。IoT 平安也会从几个层面思考：1. 操作系统的平安，2. 零碎上利用的平安，3. 通信平安等。
Azure IoT Edge
Azure IoT Edge 是一组运行在“边缘计算设施”上的利用汇合，次要是一个蕴含 Moby 容器引擎的一个运行时和一组内置的容器。这组利用汇合能够装置在大部分的 Linux 或者 Windows 设施上，大到基于 Widows 地铁闸机，银行自助取款机，小到基于 Linux 的树莓派，无人机等等设施都能够运行 Azure IoT Edge , 同时既然是基于容器的运行时，那么实践上，任何能够容器化的服务也都能够运行在这个平台上，比方 Mysql，Nginx 等，当然微软原厂的一些云服务，也能够以容器状态运行在边缘设施上，比方 Azure Functions，Azure SQL Edge 等等。
之所以将利用部署在边缘计算设施上，次要有如下的益处，比方：
- 集成了与 Azure IoT Hub 交互的能力：
Azure IoT Edge 的设施治理，双向通信，OTA 等能力与 Azure IoT Hub 买通，是一个从云端的 Hub 到边缘扩大延长的计划。
- 内置了一些场景化的性能：
Azure IoT Edge 针对工业等场景内置了一些工业协定反对，比方 Modbus，OPC-UA 等。
- 更低的时延和更强的算力下沉：
在有海量视频解决的场景下，时延是一个很重要的指标，比方在笔者已经施行过的某个 5G 智慧港口，塔吊须要有一些基于视频的剖析，对起吊的集装箱唛头进行拍照剖析后记录集装箱拆卸区域，构想一旦拍照后 20 秒才有返回后果，则整体装卸货的效率会大大降低，因而通常会在塔吊左近安放专门的带有 GPU 的视频解决服务器，利用 5G 专网构建将塔吊摄像机和 GPU 服务器部署在一个由 5G 反对的“局域网”中，则时延大大的升高了。
- 可应答网络频闪：
在某些公开停车库或者高速公路上，可能呈现 4 /5G 信号不稳固的状况，这时候也能够利用边缘计算设施，而后将停车服务或高速的视频采集服务搁置到“本地”，即便网络不好，仍然能够实现终端和”边缘计算设施“的通信。
- 应答数据主权问题：
某些工厂生产数据，有将数据存储在本地的要求，同时又心愿将报警数据发送到云端，这种场景也能够在工厂外部部署边缘计算设施，在边缘设施上部署 SQL Edge 记录本地数据，在本地部署 Azure Functions 或者流剖析服务对本地数据进行筛选剖析并将报警数据发送进来。
- 云边扩大能力：
云边扩大次要是将云端的一些能力扩大到边缘，Azure 上自身有很多原厂服务，能够以容器模式部署，这类服务大多也能够部署在本地边缘设施上，比方自定义视觉，SQL Edge 等。
- 近程部署容器的能力：
通过将 Azure IoT Edge 和 Azure IoT Hub 配合应用，能够在云端配置容器部署清单，IoT Edge 会主动依据清单里的内容从云端拉取容器并部署在边缘计算设施上。
介绍完上述的这些内容，咱们以一张图的模式概括 IoT Edge 的次要性能：
Azure Custom Vision
Azure Custom Vision 自定义视觉是一个可实现图像分类和图像识别的服务，如果咱们要制作一个分类老虎和大象的利用，则只须要提供几十张老虎的照片和几十张大象的照片，而后在 Custom Vision 上进行标注，经由 Custom Vision 服务训练后，即可生成在线 API 或导出成容器或其余算法模型，通过简略的 HTTP API 交互即可实现物体分类。
在应用 Custom Vision 训练消防通道占用算法时可能须要思考的训练集状况：
- 各种色彩的车辆
- 各种类型的车辆；
- 车头朝向；
- 天气因素（蕴含黑夜白天等）
利用 Custom Vision 实现消防通道占用模型的训练之后能够导出容器并提供 HTTP 推理终结点，导出的容器能够通过 IoT Hub 部署到近程的边缘设施上。
部署在边缘设施上的 Custom Vision 模块也曾经具备了对图像进行分类的能力。
接下来，咱们看下如何利用 Azure 或第三方工具和服务实现边缘设施上的实时视频剖析。
边缘设施上的实时视频剖析
边缘设施上的实时视频剖析次要蕴含视频解码，将视频解决成帧并将视频帧发送到 AI 推理服务器，AI 推理服务器将后果返回，依据返回后果进行音讯解决或者视频解决。当咱们把视频解码和 AI 推理服务部署在雷同的计算节点上时，能够通过共享内存发送视频数据给推理服务以达到 30 帧 / 秒的速率进行推理。
▌Azure video analyzer preview（仅供参考，行将停用）
Azure 视频分析器（预览版）提供了一个平台用于构建逾越边缘和云的智能视频应用程序。该平台蕴含一个 IoT Edge 模块和一个 Azure 服务。它提供捕捉、记录和剖析实时视频并将后果（即视频以及视频中的见解）公布到边缘或云的性能。AVA 内置了对 RTSP 的反对能力，能够间接对接大部分录像机。
AVA 中集成了采纳 gRPC 或 HTTP 实时剖析视频的管道能力：反对两种 gRPC 和 HTTP 扩大来进行视频剖析算法的集成：
AVA 中的 扩大节点表演代理的角色，它对传入视频帧采样，并将视频帧转换为指定的图像类型。而后它将图像通过 REST/gRPC 转发到另一个 Edge 模块，该模块在终结点后运行一个 AI 推理模型，这些模型能够是自定义开发的容器，也能够是由 custom vision 中导出的容器。扩大处理器节点收集检测后果并将事件公布到 IoT 核心音讯接收器节点。而后该节点将这些事件发送到 IoT Edge Hub，达到 IoT Edge Hub 的音讯可本地存储或者过滤后上传到云端 IoT Hub。
▌Intel OpenVINO™ DL Streamer 集成
只管 AVA 行将停用，咱们依然能够将 AVA 的思路使用在与其余服务的集成上，比方 Intel OpenVINO™ DL Streamer Edge AI 也提供了相似的性能，OpenVINO™ DL Streamer Edge AI 扩大模块是一项基于 Intel 视频剖析服务（VA 服务）的微服务，它为应用 OpenVINO™ DL Streamer 构建的视频剖析管道提供服务。开发人员可将已解码的视频帧发送到 AI 扩大模块，该模块执行检测、分类或跟踪并返回后果。AI 扩大模块会公开与视频剖析平台（如 Microsoft 的 Azure 视频分析器）兼容的 gRPC API。
OpenVINO™ DL Streamer 的应用逻辑与 AVA 根本保持一致：
见解和口头 -Power Platform 家族的集成
边缘设施上的实时视频剖析场景能够和 Power Platform 家族集成在一起，比方在收到某个消防通道被占用时，通过 Power Automate 和 Power Apps 实现音讯推送：
应用 Power BI 和 Azure 流剖析能够进一步将推理事件可视化：
在 Power BI 中应用播放器组件，同步观看对应的报警视频：
微软最有价值专家（MVP）
微软最有价值专家是微软公司授予第三方技术专业人士的一个寰球奖项。29 年来，世界各地的技术社区领导者，因其在线上和线下的技术社区中分享专业知识和教训而取得此奖项。
MVP 是通过严格筛选的专家团队，他们代表着技术最精湛且最具智慧的人，是对社区投入极大的激情并乐于助人的专家。MVP 致力于通过演讲、论坛问答、创立网站、撰写博客、分享视频、开源我的项目、组织会议等形式来帮忙别人，并最大水平地帮忙微软技术社区用户应用 Microsoft 技术。
更多详情请登录官方网站：https://mvp.microsoft.com/zh-cn
返回 Azure IoT Hub 官网文档，理解相干概念和操作指南，以及如何将 IoT Hub 与其余 Azure 服务集成，生成残缺的端到端解决方案。
点击返回 Azure IoT Hub 官网文档~