共计 3701 个字符，预计需要花费 10 分钟才能阅读完成。
在 5G 通信、大数据、人工智能等技术一直驱动的大背景下，云计算与边缘计算的协同倒退正在成为将来重要趋势。随着云边协同一直演进，AI 解决方案的一直规模化部署，AI+IoT 边云架构成为了解决企业数字化转型、典型工作场景下算力问题的要害。
在此过程中，发力买通“软硬件”适配且在 AI 芯片、AI 算力方面不断创新冲破的英特尔，率先提出并把握了驱动翻新与改革的”四大超级力量“——人工智能、无所不在的计算、无处不在的连贯、从云到边缘的基础设施之间的互动和合作，且从中摸索出了更大的改革—— Intel OpenVINO™（2.2.1 版本）。
在 6 月 28 日举办的“Intel + 微软 2022 中国 AI 开发者峰会”上，来自英特尔 AI 软件布道师武卓、微软人工智能和物联网实验室 AI 工程师 Joe Chen 以及专家个人就为咱们带来了全新版本的 Intel OpenVINO™ 等相干精彩分享。
全新的 Intel OpenVINO™（2.2.1 版本）通过高效的硬件带动云 - 边 - 端来疾速实现“七行代码实现推理”的高性能人工智能推理，以解决企业在简单业务下的大量数据计算需要及简化云端规模性开发等难题，一直减速 AI 推理，为开发者赋能。
应用 OpenVINO™ 在“云 - 边 - 端”疾速实现高性能人工智能推理
家喻户晓，企业在实现物联网降级的过程中，AI+IoT 边云架构计划能够让边缘采集到的数据可能实现更现代化、可减速的操作。全新降级的 Intel OpenVINO™（2.2.1 版本）（https://www.openvino.ai）不仅能够帮忙企业实现在云端进行规模性的简单业务、大量数据的计算服务，同时还能在云端反对多种不同的 AI 框架及多种服务。
通过 OpenVINO™ 来实现边云架构劣势泛滥，可简化云端的训练开发，防止了下载软件、配置装置步骤，间接应用云端所提供的所有计算资源和服务；边缘端则可进行推理失去实时决策，从而疾速得出推理后果，同时又可能防止向云端去传输大量数据所造成的高老本。
边缘端采集到的数据间接通过内置 Intel CPU 的边缘设施进行推理后，可通过 OpenVINO™ 将该训练好的 AI 模型进行部署、优化及推理减速。对于边缘端推理失去的数据后果，又可通过日志或诊断后果的形式将其上传至云端，在通过云端进一步加工来产生更大规模和深度的剖析，或造成大型的数据看板，从而帮忙企业海量数据管理时的可视化，不便企业对于各业务层面的治理。
另外，造成新的训练样本的边缘数据上传到云端后，还可辅助云端现有模型进一步训练迭代和优化降级，深度的剖析、报表加工及模型重训练，之后再将重训练后的新模型下发达到边缘端，边缘端又能够采纳新的模型进行更准确的推理。
因而，通过 OpenVINO™ 实现的边云协同形式可为企业带来更高质量的 AI 解决方案，以解决理论应用场景中的很多痛点。目前，通过 OpenVINO™ 实现的边云联合解决方案已有智慧医疗（AI 宫颈癌病理筛查）、智能制作（AI 实时产品缺点检测）两个落地案例以及基于 OpenVINO™ 智慧园区 AI 计划。
如何通过 OpenVINO™ 实现边缘端高速采集数据实时推理部署
很多时候，高功耗高老本的 GPU 其实在边缘端并是非必要的，所以企业或开发者就会思考是否能通过现有设施里已应用的 CPU 在边缘端对神经网络模型做部署和推理。全新降级的 OpenVINO™（2.2.1 版本）就是一款能够帮忙大家在 CPU 上对边缘端实现靠近于或者达到实时 AI 模型推理的解决方案。
为了不便开发者应用开源工具套件，OpenVINO™（2.2.1 版本）设计了简略的“开发者旅程”，只需通过“创立、优化、部署”三个步骤，就能创立一个模型训练或下载开源的预训练模型。
在“创立”步骤中，OpenVINO™（2.2.1 版本）的 Open model zoom 提供了超过 270 个由英特尔验证和优化过的预训练模型（超 400 个百度飞浆预选模型），应用十分不便。
“优化”步骤中，开发者在失去须要应用的 AI 模型后，OpenVINO™（2.2.1 版本）提供的一整套优化工具（MO、NNCF、POT），可帮忙开发者压缩模型大小，同时晋升推理的速度。
“部署”步骤中，能够不便大家在理论应用环境中，将模型部署在各个硬件平台上。
目前，OpenVINO™（2.2.1 版本）已反对对多个深度学习框架训练进去的模型进行优化、部署和推理减速，比方大家熟知的 TensorFlow、PyTorch 以及百度飞桨等深度学习框架。
OpenVINO™（2.2.1）的部署劣势
OpenVINO™（2.2.1 版本）可部署在英特尔 CPU、IGPU、VPU 等多个硬件平台，且可在不同的操作系统上运行，如 Windows、Mac、Linux 都可不便操作，同时为了不便装置应用，OpenVINO™（2.2.1 版本）也提供了十分丰盛的装置形式。
一、一次撰写代码，可屡次部署在多个硬件平台
通过在命令行里可选不同设施名称的形式，只需更换该设施名称，就能够间接将模型部署到不同的中央去。比方当设施名称抉择 CPU 时，就能够将模型部署到相似于 grey 的 CPU 上；设施名字换成 GPU 时，就可将模型运行在 IGPU 的一个集成 GPU 上；设施名称换成 varia 时，就可将其运行在 movidias 的 VPU 芯片上。
OpenVINO™（2.2.1 版本）还提供了 heron 模式，可反对更多部署。采纳 heron 模式后，就能够将该模型外部适宜在 GPU 上的运行的运算放在 GPU 上运行，适宜 CPU 上运行的模型的计算放在 CPU 上运行。
另外还有 multi 模式，multi 模式可将该模型所有的计算并行运行在 GPU 和 CPU 上，可最大水平地利用计算资源以并行运行，运行推理的速度也会放慢。
开发者通过 OpenVINO™（2.2.1 版本）可间接在 CPU 和 GPU 上做推理（GPU 的推理速度绝对快一点），但在 GPU 上做 AI 推理时，往往须要耗费大量工夫将模型进行加载和编译，所以如果开发者在应用 GPU 推理时，往往要期待很长的工夫能力失去第一次推理的后果。
二、auto- 主动设施：CPU 减速推理
面对以上问题，OpenVINO™（2.2.1）新版本里增加的可将设施名称更换为“auto 主动设施”的选项，完满联合了 CPU 和 GPU 的特点，能够解决不同场景下高吞吐量、低提早等推理性能需求，让开发者无需长时间期待就能立即看到推理后果。
以往，开发者在开发利用时须要跨多个硬件平台如 CPU、GPU、BPO，须要针对不同的硬件撰写很多代码来实现这种简单的硬件平台的切换。而当初，只须要把这个设施名称换成 auto，就能够把模型间接部署在“auto”设施上，而该被称为“performance hints”的 auto 设施则相当于在 CPU 和 GPU 的插件上重构的虚构插件，
其余亮点：Azure+OpenVINO™、PaddlePaddle+OpenVINO™
全新降级的 OpenVINO™（2.2.1 版本）在以往视觉的根底上，新增加了自然语言解决、语音等畛域的反对及优化推理的减速，其中就包含对天然原解决模型的动静反对，可解决机器问答时长短句的问题。
同时，OpenVINO™（2.2.1 版本）还反对百度开源飞桨 PaddlePaddle 的深度学习框架，通过对飞桨 PaddlePaddle 的深度交融的反对，为开发者带来更多价值。比方 Paddle 的 bert、OCR 等，OpenVINO™（2.2.1 版本）开发者无需进行任何两头格局的转换，就能够间接读取部署和推理。
OpenVINO™（2.2.1 版本）也提供了“Benchmark App”工具，可让开发者用通过该工具来在本人的电脑上测试网络性能。
当然，还有在 github 上开源的 OpenVINO™ nobooks 资源，外面提供了很多代码示例，不便开发者下载，从而理解 OpenVINO™ 在具体任务和场景下是如何推理和部署的。
另外，OpenVINO™ 还能够运行在云资源如微软的 Azure 云上。当重视云端算力的微软，遇上重视与硬件联合的 OpenVINO™，基于微软 Azure+OpenVINO™ 的解决方案就为不少企业提供了落地场景（如研华科技）。通过 Azure+OpenVINO™，将学习推理出的后果放在 OpenVINO™ 上运行，让 AI 开发更疾速高效便捷。
写在最初
Intel OpenVINO™ 是英特尔于 2018 年推出的一款可在 CPU/GPU 上做 AI 推理的一站式 AI 开发工具，该产品自推出以来已帮忙数十万开发者大幅晋升了 AI 推理性能，且将其利用从边缘计算扩大到企业和客户端。
在往年的 2022 年巴塞罗那世界挪动通信大会前夕，英特尔推出了 Intel 发行版 OpenVINO™ 工具套件的全新版本。全新版的 OpenVINO™ 减少了硬件主动发现和主动优化性能，以及更多的深度学习模型抉择、更多的设施可移植性抉择以及更高的推理性能和更少的代码更改，让软件开发者能够在任意平台上实现最优性能。
作为全模型的工具链，全新降级的 OpenVINO™ 堪称 Intel 整个残缺生态工具站的外围，其在部署端能够在不同平台作异构平台减速，在 CPU/GPU 上就能进步性能推理，无效升高开发者开发门槛，为继续演进的整个 AIoT 生态赋能。