乐趣区

关于android:全场景AI推理引擎MindSpore-Lite-助力HMS-Core视频编辑服务打造更智能的剪辑体验

挪动互联网的倒退给人们的社交和娱乐形式带来了很大的扭转,以 vlog、短视频等为代表的新兴文化样态正受到越来越多人的青眼。同时,随着 AI 智能、美颜修图等性能在图像视频编辑 App 中的利用,促使视频编辑效率和视频成果失去了很大的晋升,也让视频利用场景更加丰盛。

以后剪辑产品性能多样、素材丰盛,然而开发周期较长、门槛较高。为了让剪辑软件更加智能、简略易用,晋升开发者的效率,HMS Core 6 为开发者提供视频编辑服务(Video Editor Kit),提供视频导入、编辑、渲染、导出、媒资治理等一站式视频解决能力。除了反对残缺的传统视频编辑性能,视频编辑服务还提供了诸如专属滤镜、人物追踪、一键染发等丰盛的 AI 解决能力辅助视频创作,为用户带来更加畅快的创作灵感,打造更加智能的剪辑体验。

多样化的智能视频解决能力是由一个个神经网络模型实现的,因为训练好的模型文件较大(单个模型大小个别为十几甚至几十兆),而手机等设施 ROM 和 RAM 空间大小无限,如何以更少的终端设备空间占用为开发者提供更丰盛的智能化视频解决能力,成为挪动利用视频编辑面临的一大挑战。

为解决以上挑战,HMS Core 视频编辑服务抉择应用华为自研 AI 框架 MindSpore Lite 进行神经网络模型推理。MindSpore Lite 是一款全场景 AI 推理引擎,通过对立 API 接口反对在端、边、云的不同环境疾速部署,反对 HarmonyOS、Android、iOS、Windows 等多种操作系统,反对 Ascend、GPU、CPU(x86、arm……)等多种硬件执行。除反对 MindSpore 训练出的模型格局,MindSpore Lite 还反对 TensorFlow,TensorFlow Lite、Caffe、ONNX 等第三方模型格局的转换及推理。

MindSpore Lite 为 AI 模型推理提供高性能和超轻量的解决方案:通过高效的内核算法和汇编级优化,以及 CPU、GPU、NPU 的异构调度,能够充分发挥硬件算力,实现最小化推理时延和功耗;提供模型量化压缩技术,采纳训练后量化(Post-Training Quantization, PTQ),无需数据集即可间接将权重数据从浮点型映射到低比特的定点数据,无效升高模型大小,助力 AI 模型在资源受限环境下的部署执行。

针对权重数据的量化反对固定比特量化和混合比特量化两种模式。固定比特量化采纳 Bit-Packing 的形式,反对 1 -16 任意比特的权重量化,满足用户在不同压缩场景下的要求,同时针对模型量化后的数据分布状况,主动抉择适合的编码策略进行压缩编码,从而达到最优的压缩成果。

混合比特量化依据神经网络不同层对量化损失的敏感度不同的特点,采纳均方误差作为优化指标,主动搜寻出最适宜以后层的比特位,在保障精度的同时实现更大的压缩率。同时针对量化后的模型,采纳无限状态熵 (Finite State Entropy, FSE) 对量化后的权重数据进行熵编码进一步压缩,实现对模型的高效压缩,晋升模型传输速率和缩小模型存储空间。

除此之外,量化时还会采纳 Bias Correction 的形式,最小化其量化误差。Bias Correction 会依据权重数据固有的统计学个性,反量化时对其进行校准,使权重值量化前后具备雷同的冀望和方差,可能大幅度提高模型精度。
视频编辑服务中的 AI 模型采纳 MindSpore Lite 提供的混合比特量化形式,最终在保障精度的同时达到了均匀 5x+ 的模型压缩成果,例如一键染发的模型从原来的 20.86M 压缩到 3.76M,无效解决了模型过多、文件过大导致的部署艰难问题。

通过对 AI 模型的量化压缩,在 ROM 空间占用不变的前提下,保障剪辑产品能够部署更多的 AI 模型,充分发挥 AI 能力来提供更多的特效利用场景,使得剪辑性能更加弱小、更加智能。华为官网剪辑软件花瓣剪辑在接入视频编辑服务能力后,用户可通过应用专属滤镜、人物追踪等 AI 视频剪辑性能(局部个性随花瓣剪辑 App 降级陆续凋谢),让视频剪辑更便捷和更富裕趣味性。

MindSpore Lite 致力于打造高性能、超轻量级的全场景 AI 引擎,除高性能内核算法及硬件异构调度、量化压缩之外,还提供端云协同的一站式训练和推理能力。HMS Core 视频编辑服务基于 MindSpore Lite,助力开发者打造更加易用且智能的剪辑工具。

欲了解更多信息,欢送拜访官网

华为开发者联盟 HMS Core 官网

MindSpore 官网

MindSpore 开源社区

退出移动版