关于java:端云协同打造更易用的AI计算平台

6次阅读

共计 2067 个字符，预计需要花费 6 分钟才能阅读完成。

内容起源：华为开发者大会 2021 HMS Core 6 AI 技术论坛，主题演讲《端云协同，HUAWEI HiAI Foundation 打造更易用的 AI 计算平台》。

演讲嘉宾：华为海思 AI 技术专家

大家好！HHUAWEI HiAI Foundation 作为芯片使能的根底平台，基于“芯、端、云”三层凋谢架构，构筑全面凋谢的智慧生态，帮忙开发者疾速利用 AI 解决能力，为用户提供更好地智慧利用体验。充分利用华为麒麟芯片能力，HUAWEI HiAI Foundation 在实时性上，防止网络提早和拥塞；在隐衷性上，爱护本地图片、视频、语音信息以及操作习惯等；在老本方面，开发者可最大化利用芯片算力，节俭计算成本和带宽老本。自 2018 年公布以来，HUAWEI HiAI Foundation 第三方利用的调用量逐年递增，目前日调用量已破百亿，取得了开发者的价值认可。

HUAWEI HiAI Foundation 之所以受到欢送的起因是其撑持更多支流推理框架，在引领端侧 AI 行业标准构筑的同时通过开源，让更多开发者灵便高效地优化模型。

2021 年上半年，咱们曾经实现了与 KwaiNN、Bytenn、MNN、TNN 等框架的对接。在此基础上，HUAWEI HiAI Foundation 能够撑持华为手机以及各产品线十分多的业务和利用。比方视频剪辑、录像直播、线上领取、地图、输入法等。

通过以上框架图，咱们能够看到 HUAWEI HiAI Foundation 作为根底平台，次要由推理减速平台和异构计算平台两个局部组成。推理减速平台的作用是跟更多的下层推理框架实现对接，帮忙开发者聚焦模型优化；异构计算平台则更好地使能 NPU、CPU、GPU、DSP 等计算 IP，充分利用芯片算力。之后，HUAWEI HiAI Foundation 能够实现多平台对立的赋能手机、平板、智慧屏、音箱等基于麒麟芯片的华为产品，并与 HarmonyOS 深度交融，在鸿蒙生态中起到端侧 AI 能力的踊跃作用。

HUAWEI HiAI Foundation 上线后，咱们还遇到了很多问题。比方在一个利用新个性公布后，业务算子性能须要一直优化并追随手机等 ROM 零碎版本更新推送，使得整体上线周期较长。局部机型进行反对服务（EOS）后，则无奈享受最新的性能优化。由此，开发者的诉求也很清晰，就是追随互联网节奏，帮忙业务疾速公布上线以及笼罩更多机型，囊括 EOS 的机型。

为解决上述典型问题及开发者对接时提出的若干其它问题，HUAWEI HiAI Foundation 往年在两个方面进行了重大降级。 一是基于端云协同的计算库独立降级能力 。反对计算库动静降级，保障性能优化的算子库更快推送至端侧，同时通过插件进行模型编译，放弃更优的异构策略和高性能的交融模板。目前，这个能力曾经在 HarmonyOS 2.0 版本上线，满足合作伙伴的疾速业务上线需要。

二是易用性的降级 。咱们会提供更丰盛的接口调用，更易懂的用户手册、Demo 演示和工具包。具体来说次要包含以下四点：

Model Zoo 助力开发者疾速使能 NPU 减速 。Model Zoo 综合了硬件优化模型库、模型优化领导以及技术交换社区的能力，通过它开发者能够疾速晓得哪一类模型在硬件上跑得速度更快，如何优化模型构造获取更好的能效收益等。技术交换社区除了便于开发者参加探讨交换外，也为后续高校科研合作项目、AI 技术比赛等提供根底。
推出高性能、低功耗、高精度、小模型的模型调优工具 。包含模型量化工具包和模型构造搜寻工具包。前者推出了 16bit、8bit、4bit、2bit 和自适应混合量化，模型玲珑而灵动，能够保障不失落模型计算进度。后者则更多是通过主动搜寻形式，帮忙开发者联合硬件信息调整模型构造，使之更加麻利疾速。
异构计算——CPU、GPU、NPU 等 IP 的高效协同 。下图列举了一个典型的数据流。从视频解码器到图像预处理，再到图像处理、渲染优化、送显等，通过了十分多的 IP 计算。那么这些 IP 怎么在较长的数据流中高效协同呢？这就须要多 IP 主动异构。它能够主动交融优化各计算节点，共享计算内存，做到多 IP 间数据零拷贝。另外，多 IP 的调度工作能够主动编排，反对优先级管制和节点间内存主动调配。
模型可视化——用户模型信息可见，晋升调优效率 。在模型构造可视化工具（Netron）上，开发者能够间接看到 HUAWEI HiAI Foundation 的模型构造，更加便当。

现在，HUAWEI HiAI Foundation 已退出 AI 标准化组织 AITISA（人工智能产业技术创新策略联盟），并参加端侧 AI 规范草案撰写，独特构筑 AI 行业标准。为了让开发者更好地应用端侧 AI 能力，HUAWEI HiAI Foundation 会放弃初心，做更好、更易用的端侧 AI 计算平台，服务、赋能开发者，晋升利用体验，谢谢 !

理解更多详情 >>

拜访华为开发者联盟官网
获取开发领导文档
华为挪动服务开源仓库地址：GitHub、Gitee

关注咱们，第一工夫理解 HMS Core 最新技术资讯~

正文完