共计 1996 个字符,预计需要花费 5 分钟才能阅读完成。
AV1(Alliance for Open Media Video 1)是由 AOM(Alliance for Open Media,凋谢媒体联盟)制订的一个开源、免版权费的视频编码标准。与它的前身 VP9 相比,AV1 蕴含了 100 多个编码工具,大大提高了编码效率。以 AOM 推出的 libaom 和微帧科技研发的 WZAurora 为例,试验数据证实了 AV1 在编码效率上完胜 H.265/HEVC、H.264、VP9。
AV1 尽管编码效率高,但也给人们留下了编码速度十分慢的初印象。事实上,自 AV1 公布以来,开源社区就没有进行过对 AV1 编码器的编码效率和编码速度的综合优化。仅以开源 AV1 编码器 libaom 为例,从 2019 年 1 月到 2020 年 4 月,其编码速度进步了 10 倍(而不是 10%),同时编码效率也进步了 10%。
Zoe Liu 在本次演讲中,从齐全簇新的视角探讨了对 AV1 编码器的优化。AV1 规范到目前为止已推出 2 年 4 个月,硬件解码生态在逐渐拓展中,但当下还是以软件解码反对为主。Zoe Liu 演讲中的 AV1 优化,指标是让 AV1 这款新的视频编码标准,在解码端以软件为次要解决方案的条件下,尽快进入实用阶段。一般来说,开发人员都是从进步编码效率和放慢编码速度两方面来优化和改良编码器。事实上,咱们还能够从解码器端的解码复杂度中来思考编码器的优化,这无疑是为 AV1 编码器的优化提供了一个新的思路。咱们能够尝试剖析解码器解码的复杂度,从中获取有价值的反馈,并依据这些反馈来设计咱们的编码器。一个优良的 AV1 编码器不仅可能足够好地均衡编码效率和编码速度,还应思考如何开释解码器的压力,以保障视频最终的晦涩播放。
家喻户晓,目前最出名的 AV1 开源软件解码器为 dav1d。dav1d 受 AOM 赞助,由 VideoLAN 和 FFmpeg 联合开发。目前的试验证实,dav1d 相比所有其余 AV1 开源软件解码器,在解码速度以及多线程方面,体现了显著的劣势。为了评估 AV1 在挪动设施上的解码性能,咱们特地关注了 dav1d 在挪动端的解码功耗数据。挪动端除计算资源受限外,功耗是考量解码器优劣的重要指标。功耗过高,会重大影响电池的使用寿命,与此同时手机会发热,进一步会引起 CPU 降频,大大影响用户体验。因而咱们在几个典型的挪动设施上对 dav1d、ffmpeg-h264、openhevc 软件解码器做了测试,评估指标包含 CPU 使用率(%)、内存应用(MB)、电流(mA)、功耗(mW)、电压(mV)和温度(℃)。结果表明,在功耗方面 dav1d 处于 ffmpeg-h264 和 openhevc 之间,比 ffmpeg-h264 差,但比 openhevc 体现好。
此外,咱们还与合作者一起收集了更多的 dav1d 解码性能数据,并重点关注 dav1d 在低端挪动设施上的体现。测试视频集包含 720×536、960×480 等多种分辨率。试验证实了,在低端挪动设施上,当编码码率较高时,实时解码将会是一个很大的挑战。如何通过优化编码器来升高解码的复杂度,是微帧始终思考的问题。
AV1 提供丰盛的编码工具,这使得 AV1 不仅仅是一个免版税的编码标准,更是业界积攒的先进编码技术。也正因为对这些工具的驳回,使得编码的复杂程度晋升了很多,同时对解码器的复杂度也造成了很大的影响。例如 Warped Motion,是 AV1 中第一次采纳仿射变换(Affine Transform)对简单的静止建模,超过了传统的二维静止矢量的概念,在编码和解码两侧,都须要从现有宏块和四周三个宏块的静止矢量中导出仿射变换的参数。解码器的复杂度远远小于编码器的复杂度,AV1 中相似 Warped Motion 这样的规范工具一旦采纳,在解码器复杂度中感知度会十分强。因而,无论是打造编码器还是解码器,这都是一个全新的挑战。咱们优化 AV1 编码器,是心愿提速的同时放弃 AV1 的规范劣势。
基于此,咱们对画质、码率、编码速度以及解码速度进行了综合优化, 并在此基础上提出了 DCA(Decoder Complexity Aware)的概念。利用 CAE(Content Adaptive Encoding)+DCA 的联结优化策略,在 AV1 当下只有软解反对的状况下,实现 AV1 在实用场景中的落地,使得视频最终用户能够尽早享受到 AV1 的规范劣势。举个简略的例子,AV1 中宏块大小的宰割办法能够从 4 ×4 始终到 128×128。咱们能够通过防止图像块被宰割得过大或过小,在保障足够好的编码效率的同时又能大大降低解码的复杂度,从而使解码器在低端设施上也可能进行实时解码。
AV1 作为一款新的编码标准,其生态也在一直的建设和欠缺中。咱们很开心地看到,越来越多的视频厂商、硬件厂商发表反对 AV1 这一编码标准,AV1 的利用越来越广泛。作为寰球当先的 AV1 商用编码器提供商,微帧科技也将继续优化 WZAurora 编码器,全力推广 AV1 的应用和落地,让更多客户享受到 AV1 带来的技术价值。