内容起源：华为开发者大会2021 HMS Core 6 AI技术论坛，主题演讲《端云协同，HUAWEI HiAI Foundation打造更易用的AI计算平台》。

演讲嘉宾：华为海思AI技术专家

大家好！HHUAWEI HiAI Foundation作为芯片使能的根底平台，基于“芯、端、云”三层凋谢架构，构筑全面凋谢的智慧生态，帮忙开发者疾速利用AI解决能力，为用户提供更好地智慧利用体验。充分利用华为麒麟芯片能力，HUAWEI HiAI Foundation在实时性上，防止网络提早和拥塞；在隐衷性上，爱护本地图片、视频、语音信息以及操作习惯等；在老本方面，开发者可最大化利用芯片算力，节俭计算成本和带宽老本。自2018年公布以来，HUAWEI HiAI Foundation第三方利用的调用量逐年递增，目前日调用量已破百亿，取得了开发者的价值认可。

HUAWEI HiAI Foundation凋谢框架

HUAWEI HiAI Foundation之所以受到欢送的起因是其撑持更多支流推理框架，在引领端侧AI行业标准构筑的同时通过开源，让更多开发者灵便高效地优化模型。

2021年上半年，咱们曾经实现了与KwaiNN、Bytenn、MNN、TNN等框架的对接。在此基础上，HUAWEI HiAI Foundation能够撑持华为手机以及各产品线十分多的业务和利用。比方视频剪辑、录像直播、线上领取、地图、输入法等。

通过以上框架图，咱们能够看到HUAWEI HiAI Foundation作为根底平台，次要由推理减速平台和异构计算平台两个局部组成。推理减速平台的作用是跟更多的下层推理框架实现对接，帮忙开发者聚焦模型优化；异构计算平台则更好地使能NPU、CPU、GPU、DSP等计算IP，充分利用芯片算力。之后，HUAWEI HiAI Foundation能够实现多平台对立的赋能手机、平板、智慧屏、音箱等基于麒麟芯片的华为产品，并与HarmonyOS深度交融，在鸿蒙生态中起到端侧AI能力的踊跃作用。

HUAWEI HiAI Foundation端云协同计划劣势

HUAWEI HiAI Foundation上线后，咱们还遇到了很多问题。比方在一个利用新个性公布后，业务算子性能须要一直优化并追随手机等ROM零碎版本更新推送，使得整体上线周期较长。局部机型进行反对服务（EOS）后，则无奈享受最新的性能优化。由此，开发者的诉求也很清晰，就是追随互联网节奏，帮忙业务疾速公布上线以及笼罩更多机型，囊括EOS的机型。

为解决上述典型问题及开发者对接时提出的若干其它问题，HUAWEI HiAI Foundation往年在两个方面进行了重大降级。一是基于端云协同的计算库独立降级能力。反对计算库动静降级，保障性能优化的算子库更快推送至端侧，同时通过插件进行模型编译，放弃更优的异构策略和高性能的交融模板。目前，这个能力曾经在HarmonyOS 2.0版本上线，满足合作伙伴的疾速业务上线需要。

二是易用性的降级。咱们会提供更丰盛的接口调用，更易懂的用户手册、Demo演示和工具包。具体来说次要包含以下四点：

  • Model Zoo助力开发者疾速使能NPU减速。Model Zoo综合了硬件优化模型库、模型优化领导以及技术交换社区的能力，通过它开发者能够疾速晓得哪一类模型在硬件上跑得速度更快，如何优化模型构造获取更好的能效收益等。技术交换社区除了便于开发者参加探讨交换外，也为后续高校科研合作项目、AI技术比赛等提供根底。

  • 推出高性能、低功耗、高精度、小模型的模型调优工具。包含模型量化工具包和模型构造搜寻工具包。前者推出了16bit、8bit、4bit、2bit和自适应混合量化，模型玲珑而灵动，能够保障不失落模型计算进度。后者则更多是通过主动搜寻形式，帮忙开发者联合硬件信息调整模型构造，使之更加麻利疾速。

  • 异构计算——CPU、GPU、NPU等IP的高效协同。下图列举了一个典型的数据流。从视频解码器到图像预处理，再到图像处理、渲染优化、送显等，通过了十分多的IP计算。那么这些IP怎么在较长的数据流中高效协同呢？这就须要多IP主动异构。它能够主动交融优化各计算节点，共享计算内存，做到多IP间数据零拷贝。另外，多IP的调度工作能够主动编排，反对优先级管制和节点间内存主动调配。

  • 模型可视化——用户模型信息可见，晋升调优效率。在模型构造可视化工具（Netron）上，开发者能够间接看到HUAWEI HiAI Foundation的模型构造，更加便当。

现在，HUAWEI HiAI Foundation已退出AI标准化组织AITISA（人工智能产业技术创新策略联盟），并参加端侧AI规范草案撰写，独特构筑AI行业标准。为了让开发者更好地应用端侧AI能力，HUAWEI HiAI Foundation会放弃初心，做更好、更易用的端侧AI计算平台，服务、赋能开发者，晋升利用体验，谢谢 !

理解更多详情>>

拜访华为开发者联盟官网
获取开发领导文档
华为挪动服务开源仓库地址：GitHub、Gitee

关注咱们，第一工夫理解 HMS Core 最新技术资讯~