视频品质评估指标只是掂量画面质量的工具,单项指标的数值或高或低,都不应是视频工作者的最终目标。微帧始终都以晋升画质优化观看体验为次要指标,致力于应用最优的品质评估形式,提供最极致的画质成果。
视频流量在整个互联网流量的占比每年都在高速增长,为升高视频存储老本和数据传输通道的负载,视频压缩规范及算法在一直踊跃开发和改良。视频品质的评估在其中也起着至关重要的作用,只管曾经倒退出了大量视频品质评估办法,但广泛接受度最高、最出名的评估办法还是经典的 PSNR、SSIM 以及 VMAF。
本文将浅谈一下这几类评估办法的概念,并将联合微帧在日常试验中所得的教训, 重点聊一聊 PSNR avg.MSE 与 PSNR avg.log,谁更胜一筹?以及 VMAF 的“喜”与“忧”。
PSNR(峰值信噪比)
峰值信号的能量与噪声的均匀能量之比,实质的是比拟两张图像像素值差别,用处较广,目前仍作为对照其余指标的基线。PSNR 的单位是 dB,数值越大示意失真越小。
\(MSE=\frac{1}{mn}\sum\limits_{x=0}^{m-1}{\sum\limits_{y=0}^{n-1}{(I(x,y)-K(x,y))^2}} \)
两个 m×n 单色图像 I 和 K,I 为一无噪声的原始图像,K 为 I 的噪声近似(例:I 为未压缩的原始图像,K 为 I 通过压缩后的图像)。
\(PSNR=10log_{10}(\frac{MAX^{2}}{MSE}) \)
其中,MAX 是示意图像点色彩的最大数值,如果每个采样点用 8 位示意(例:影像解决),那么就是 255。
PSNR avg.MSE 与 PSNR avg.log,谁更胜一筹
PSNR avg.MSE:当聚合整个视频的逐帧分数时,首先计算 MSE 的算术平均值,而后取对数。
\(PSNR_{avg.MSE}(V,\bar{V}) =10log_{10}\frac{MAX^{2}}{\frac{1}{n}\sum\limits_{i=0}^{n-1}{MSE(V_{(i)},\bar{V}_{(i)})}} \)
PSNR avg.log:当聚合整个视频的逐帧分数时,首先计算每帧的 PSNR,而后计算所有视频帧的算术平均值。
\(PSNR_{avg.log}(V,\bar{V})=\frac{1}{n}\sum\limits_{i=0}^{n-1}{10log_{10}\frac{MAX^{2}}{MSE(V_{(i)},\bar{V}_{i})}} \)
经微帧屡次测试表明,相较于 PSNR avg.MSE,PSNR avg.log 具备肯定不合理性,其太过“关照”品质更高的帧,比方 PSNR=99dB 和 PSNR=50dB 的单帧,往往在主观上看不出区别,但通过 PSNR avg.log 的公式计算后,PSNR=99dB 的一帧就会大大拉高最终平均分,在特定序列上容易被 trick。
然而,事实上人眼对于品质越差的帧反而越敏感,所谓一锅老鼠屎坏了一锅粥,当观看视频时忽然闪现一帧品质差的画面,人眼会对这一帧记忆更为粗浅。相较于 PSNR avg.log,PSNR avg.MSE 就更加关照低质量帧,从这点上更合乎主观感触。
SSIM(构造相似性)
一种全参考的图像品质评估指标,别离从亮度、对比度、构造三方面度量图像相似性。SSIM 取值范畴为 [0,1],值越大,示意图像失真越小。
\(SSIM(x,y)=\frac{(2\mu_{x}\mu_{y}+c_{1})(2\sigma_{xy}+c_{2})}{(\mu_{x}^{2}+\mu_{y}^{2}+c_{1})(\sigma_{x}^{2}+\sigma_{y}^{2}+c_{2})} \)
\(c_{1}=(k_{1}L)^2,c_{2}=(k_{2}L)^2 \)
SSIM 在掂量编码主观损失方面有其独特的体现。比方,当 x264 关上 AQ(自适应量化技术,敞开 AQ 时,x264 偏向于对低细节度的平滑区域应用过低码率,AQ 能够更好地把码率调配到各个宏块中),PSNR 和 VMAF 都会重大掉分,SSIM 却能体现出收益。大量实际表明 AQ 与主观呈正相干,SSIM 在这点上更合乎主观感触。
VMAF(视频多评估办法交融)
由 Netflix 推出的视频品质评估工具,用来解决传统指标不能反映多种场景、多种特色的视频状况。该指标是目前互联网视频最支流的主观视频评估指标,实用于掂量大规模环境中流播视频品质的观感。
VMAF 的“喜”与“忧”
“喜”— VMAF 的劣势
视频画质加强是目前视频暴发时代的刚需利用,它可能更好的晋升用户观看体验,然而品质评估罕用指标 PSNR 和 SSIM,尽管简略易算,但却不能齐全反馈人眼主观感触,更无奈评估对原画的加强,VMAF 却能够做到这一点。
通过比照能够发现右图通过画质加强,能展示更多的细节,小字变得更加清晰,同时 VMAF 也有了较大的晋升。
“忧”— VMAF 的有余
① VMAF 值可能被 trick。单纯为了进步 VMAF 值,而加强对比度,理论是不合理的,虽 VMAF 值进步了,但画质却并没有真正晋升,轻重倒置。
下图为例,左边视频仅在右边视频根底上进行了对比度加强的解决,右边 VMAF 为 67.44,左边 VMAF 为 97,可见通过加强对比度,VMAF 也晋升了不少,但当咱们查看细节,会发现画质没有失去基本晋升,原有的马赛克、噪点仍然存在。
② VMAF 在掂量原画损失的能力稍弱,有时不如 SSIM 与 PSNR,甚至事与愿违。咱们能够做一个简略试验,采纳 x264 superfast 对规范测试序列 Johnny 做定码率编码,在敞开 deblock 后(采纳了 no-deblock 选项),PSNR 和 SSIM 呈现显著损失,VMAF 却获得了增益,如下表所示。(deblock 是视频编码一项成熟已久的技术,用来加重编码造成的马赛克伤害。)
为了更直观地感触,咱们提取试验中的同一码率下的比照帧(下图),可见 no-deblock(右图)的 VMAF 略高于开启 deblock(左图)的 VMAF,但右图却充斥了马赛克。因而,关掉 deblock 尽管能晋升 VMAF 值,但失真会比较严重。
VMAF 尽管有令人担忧的硬伤,然而的确有其独到的一面。譬如上方敞开 deblock 的右图,尽管马赛克伤害重大,然而左图整体更含糊一些。此外鉴于 VMAF 能兼顾绝对于源的画质加强和画质伤害两局部,在互联网畛域应用越来越宽泛。
由此可见,在日常评估视频品质时,单看一组指标数据容易产生误差。视频品质评估指标只是掂量画面质量的工具,单项指标的数值或高或低,这都不应是视频工作者的最终目标。微帧始终都以晋升画质优化体验为次要指标,提倡大家该当既看 VMAF,也要联合 PSNR 和 SSIM,进行综合评估,以达到最靠近人眼主观的测评成果。