关于后端:如何破解AI落地应用难题深信服边缘AI技术助你轻松实现

1次阅读

共计 1193 个字符,预计需要花费 3 分钟才能阅读完成。

在各行各业,AI 技术正在深刻利用到各个场景。比方在电力行业,有 AI 帮助“值守”,电力用户能够缩小运维人力老本的投入,保障电力基础设施的失常运行。还能通过 AI 技术剖析电力场站的视频监控,能够进行实时运检,进步电力场站的运检效率。

深服气智能边缘计算平台在软硬件适配、模型部署、简单模型运行等方面简化边缘 AI 利用开发的难度,帮忙开发者更加高效实现边缘 AI 利用落地。明天来为大家揭晓深服气智能边缘计算平台如何解决边缘 AI 工程化落地的三大难题。

一、软、硬件异构,兼容适配「难」

因为底层 AI 芯片和框架的计划很多,AI 利用的开发者在做软硬协同及适配开发时难度十分高。基于深服气智能边缘计算平台的云边智能协同底座,实现了适配兼容,在模型迁徙适配、AI 利用构建部署以及推理性能优化等多个维度,帮忙企业开发者实现云边智能高效协同。

深服气智能边缘计算平台内置的边缘推理引擎 Sangfor Runtime,适配支流的深度学习框架、神经网络模型(蕴含指标检测、指标追踪、图像分类等),通过一套标准接口,帮忙开发者疾速实现算法面向边缘 AI 芯片的主动适配以及性能调优,为用户提供一站式边缘 AI 推理服务,进一步升高算法在不同边缘 AI 芯片间的迁徙老本。

二、场景多样简单,模型部署「难」

在施行交付现场,不同摄像头接入的视频流存在多类型场景的智能化剖析需要,传统点对点的配置效率低下,加大了交付老本。

在 AI 利用构建阶段,深服气智能边缘计算平台通过可视化界面配置,开发者只须要上传 AI 模型文件,平台将实现主动 AI 镜像打包过程,帮忙开发者主动构建可用于边缘节点上运行的 AI 利用镜像,大幅节俭利用开发工夫。基于深服气边缘 AI 技术,用户在研发边缘 AI 利用时,能够降低成本、进步模型性能。

此外,深服气智能边缘计算平台面向交付人员,提供多模型 AI 利用疾速部署与模型智能调度的能力。交付人员基于客户的业务场景需要,依据同时运行算法的数量及算法依赖关系,通过可视化界面配置单模型调度、多模型并行调度、多模型串行调度及混合调度,最终满足不同场景下 AI 多模型利用的散发与部署运行,进步实时部署的便捷性。

三、大而全的简单模型运行「难」

相较于核心云服务器,边缘节点的资源配置无限,难以运行大而全的简单模型。如果将云端训练好的 AI 算法模型迁徙至资源、算力绝对无限的边缘节点,算法开发人员须要做大量模型量化、优化以及算子层面的调整工作,过程繁冗,优化成果高度依赖开发者教训。

深服气智能边缘计算平台反对开发者依据业务需要,在云上部署大模型,边缘部署小模型。边缘侧针对样本数据进行难易判断,简略样本在边缘侧由小模型实现推理,难例样本回传至云端由大模型实现推理,并主动实现云边推理后果汇总。这样,用户在边缘侧推理可取得更短的时延以及更高吞吐量,并兼顾了云侧推理的精度。

以上就是本期对于深服气智能边缘计算平台的分享,关注“深服气科技”公众号能够获取更多技术内容。

正文完
 0