内容起源：华为开发者大会 2021 HMS Core 6 AI 技术论坛，主题演讲《端云协同，HUAWEI HiAI Foundation 打造更易用的 AI 计算平台》。
演讲嘉宾：华为海思 AI 技术专家
大家好！HHUAWEI HiAI Foundation 作为芯片使能的根底平台，基于“芯、端、云”三层凋谢架构，构筑全面凋谢的智慧生态，帮忙开发者疾速利用 AI 解决能力，为用户提供更好地智慧利用体验。充分利用华为麒麟芯片能力，HUAWEI HiAI Foundation 在实时性上，防止网络提早和拥塞；在隐衷性上，爱护本地图片、视频、语音信息以及操作习惯等；在老本方面，开发者可最大化利用芯片算力，节俭计算成本和带宽老本。自 2018 年公布以来，HUAWEI HiAI Foundation 第三方利用的调用量逐年递增，目前日调用量已破百亿，取得了开发者的价值认可。
HUAWEI HiAI Foundation 凋谢框架
HUAWEI HiAI Foundation 之所以受到欢送的起因是其撑持更多支流推理框架，在引领端侧 AI 行业标准构筑的同时通过开源，让更多开发者灵便高效地优化模型。
2021 年上半年，咱们曾经实现了与 KwaiNN、Bytenn、MNN、TNN 等框架的对接。在此基础上，HUAWEI HiAI Foundation 能够撑持华为手机以及各产品线十分多的业务和利用。比方视频剪辑、录像直播、线上领取、地图、输入法等。
通过以上框架图，咱们能够看到 HUAWEI HiAI Foundation 作为根底平台，次要由推理减速平台和异构计算平台两个局部组成。推理减速平台的作用是跟更多的下层推理框架实现对接，帮忙开发者聚焦模型优化；异构计算平台则更好地使能 NPU、CPU、GPU、DSP 等计算 IP，充分利用芯片算力。之后，HUAWEI HiAI Foundation 能够实现多平台对立的赋能手机、平板、智慧屏、音箱等基于麒麟芯片的华为产品，并与 HarmonyOS 深度交融，在鸿蒙生态中起到端侧 AI 能力的踊跃作用。
HUAWEI HiAI Foundation 端云协同计划劣势
HUAWEI HiAI Foundation 上线后，咱们还遇到了很多问题。比方在一个利用新个性公布后，业务算子性能须要一直优化并追随手机等 ROM 零碎版本更新推送，使得整体上线周期较长。局部机型进行反对服务（EOS）后，则无奈享受最新的性能优化。由此，开发者的诉求也很清晰，就是追随互联网节奏，帮忙业务疾速公布上线以及笼罩更多机型，囊括 EOS 的机型。
为解决上述典型问题及开发者对接时提出的若干其它问题，HUAWEI HiAI Foundation 往年在两个方面进行了重大降级。 一是基于端云协同的计算库独立降级能力 。反对计算库动静降级，保障性能优化的算子库更快推送至端侧，同时通过插件进行模型编译，放弃更优的异构策略和高性能的交融模板。目前，这个能力曾经在 HarmonyOS 2.0 版本上线，满足合作伙伴的疾速业务上线需要。
二是易用性的降级 。咱们会提供更丰盛的接口调用，更易懂的用户手册、Demo 演示和工具包。具体来说次要包含以下四点：
-
Model Zoo 助力开发者疾速使能 NPU 减速 。Model Zoo 综合了硬件优化模型库、模型优化领导以及技术交换社区的能力，通过它开发者能够疾速晓得哪一类模型在硬件上跑得速度更快，如何优化模型构造获取更好的能效收益等。技术交换社区除了便于开发者参加探讨交换外，也为后续高校科研合作项目、AI 技术比赛等提供根底。
-
推出高性能、低功耗、高精度、小模型的模型调优工具 。包含模型量化工具包和模型构造搜寻工具包。前者推出了 16bit、8bit、4bit、2bit 和自适应混合量化，模型玲珑而灵动，能够保障不失落模型计算进度。后者则更多是通过主动搜寻形式，帮忙开发者联合硬件信息调整模型构造，使之更加麻利疾速。
-
异构计算——CPU、GPU、NPU 等 IP 的高效协同 。下图列举了一个典型的数据流。从视频解码器到图像预处理，再到图像处理、渲染优化、送显等，通过了十分多的 IP 计算。那么这些 IP 怎么在较长的数据流中高效协同呢？这就须要多 IP 主动异构。它能够主动交融优化各计算节点，共享计算内存，做到多 IP 间数据零拷贝。另外，多 IP 的调度工作能够主动编排，反对优先级管制和节点间内存主动调配。
- 模型可视化——用户模型信息可见，晋升调优效率 。在模型构造可视化工具（Netron）上，开发者能够间接看到 HUAWEI HiAI Foundation 的模型构造，更加便当。
现在，HUAWEI HiAI Foundation 已退出 AI 标准化组织 AITISA（人工智能产业技术创新策略联盟），并参加端侧 AI 规范草案撰写，独特构筑 AI 行业标准。为了让开发者更好地应用端侧 AI 能力，HUAWEI HiAI Foundation 会放弃初心，做更好、更易用的端侧 AI 计算平台，服务、赋能开发者，晋升利用体验，谢谢 !
理解更多详情 >>
拜访华为开发者联盟官网
获取开发领导文档
华为挪动服务开源仓库地址：GitHub、Gitee
关注咱们，第一工夫理解 HMS Core 最新技术资讯~