世界杯的编码技术挑战
对于世界杯这样的大型体育赛事而言,视频编码算法既要在高速静止、简单纹理的场景下确保直播内容的清晰度和晦涩度,保障用户的观赛体验,又要兼顾码率、提早等对网络传输层面尤为敏感的指标。另外,抖音实现了业界首次的世界杯较量反对 4K HDR 10-bit 直播,其内容信息量相较于以往有极大晋升,对编码器的实时性提出了更高要求。
火山引擎如何实现这个挑战
BVC 编码器长期迭代优化
火山引擎自研的 BVC 编码器通过多年的技术攻关和优化技术积攒,以及在不同视频服务业务方向上的长期迭代优化,目前其编码性能和编码器架构的计算效率都处于业界领先水平,在国内权威编码器大赛 MSU 较量中屡次夺冠。
世界杯我的项目针对性优化
概述
在 BVC 编码器的根底上,火山引擎多媒体实验室针对世界杯较量场景进行了一系列针对性优化。首先通过迷信构建世界杯较量视频的测试集,剖析足球比赛视频个性,进一步开掘了以后场景下的先验信息,无效晋升了编码效率,在保障画质的状况下进一步升高了码率,同时优化了码率平稳性以及码控精度。同时,团队优化了多核下的并行机制,极大幅度晋升了 CPU 利用率;同时剖析并优化了 4K HDR 10-bit 视频编码中的复杂度瓶颈,进一步放慢了 HDR 视频的编码速度。最终使得 BVC 编码器在保障画质和降低码率的同时,能进一步晋升编码速度,达到并超出了 4K HDR 10-bit 50fps 视频实时编码的要求。另外在线上部署时,团队通过主观品质评测专门对足球赛事视频优化了各种不同品质配置下的最优码率,比方超高清 4K,超高清 HDR,蓝光 HD 等品质配置,保障不同用户的观看品质。
优化成绩
本次 BVC 编码器共优化了 3 个不同档位,别离用于 4K HDR/SDR 编码,1080p 编码,以及 720p/480p 编码。
(1)针对世界杯场景,BVC 编码器优化前后各项指标对比方下图可见优化后,BVC 编码器既有雷同视频品质下带宽收益(BD-Rate),尤其是在雷同 VMAF 质量指标时码率节俭收益显著,同时编码速度和 CPU 利用率也晋升较大(尤其是 4K 档位),码控精准度也有显著晋升。
(2)针对世界杯场景的 4K 10 – bit 视频,BVC 编码器与开源 x265 编码器性能对比方下图:可见在雷同 PSNR 下,BVC 编码器的带宽节俭高于 x265 的 veryslow 最慢档,且在雷同测试条件下,编码速度也高于 x265 的 ultrafast 最快档。
备注:上述图示中,speed(绝对于 x265 ultrafast 编码速度)越大越好,bandwidth(绝对于 x265 ultrafast 带宽)越小越好。
优化伎俩
团队通过精准构建世界杯足球比赛测试集,无效束缚了团队的优化场景,既能为团队提供更多的足球比赛视频的先验信息,同时也不会导致过拟合的状况。在此基础上,团队做了大量编码器内核优化,包含编码工具调优,新增数十项主 / 主观编码算法,多线程调度以及 SIMD 等工程优化减速,码率管制优化等;在优化过程中,团队应用了多个品质评估指标对优化技术性能进行评估,最终实现了在保障画质不变的条件下既有码率节俭又有速度晋升的优化成果。(1)构建精准的足球比赛测试序列团队剖析了足球比赛视频中每个片段的时域复杂度和空域复杂度,同时依据每个片段的场景内容,筛选出了数十个作为足球比赛测试集。在此基础上,团队退出了局部通用测试视频避免过拟合,构建了最终的测试集,如下图。
(2)优化编码器内核团队首先测试了已有的数十个编码工具在以后场景的性价比,找出性价比最高的(复杂度最低,码率节俭最高)工具在以后场景下开启,并敞开性价比低的工具。在此基础上,团队针对编码器外部的多个不同模块,其中包含预剖析和编码过程中静止搜寻,模式决策,环路滤波等,开发了数十项新算法,进一步提高了编码效率和升高模块的计算复杂度,放慢编码速度。针对世界杯场景中视频时域复杂度高特点,团队通过优化了码率控制算法,保障了场景切换时的码率平稳性,同时进步了整体码率的精准性。团队也优化了反对 ROI 区域的码控算法,在雷同码率下使得主观感触更优,无效进步了足球比赛中人眼敏感的球员区域以及草坪区域的主观品质。团队也进行了大量并行优化,通过多线程任务调度以及 SIMD 优化,晋升了多核下的 CPU 利用率,极大放慢了编码速度。
优化示例
(1)解决 480p 档位拖影问题优化前(左)vs 优化后(右):
(2)晋升 720p/480p 草坪清晰度优化前(左)vs 优化后(右):