视频品质评估指标只是掂量画面质量的工具,单项指标的数值或高或低,都不应是视频工作者的最终目标。微帧始终都以晋升画质优化观看体验为次要指标,致力于应用最优的品质评估形式,提供最极致的画质成果。

视频流量在整个互联网流量的占比每年都在高速增长,为升高视频存储老本和数据传输通道的负载,视频压缩规范及算法在一直踊跃开发和改良。视频品质的评估在其中也起着至关重要的作用,只管曾经倒退出了大量视频品质评估办法,但广泛接受度最高、最出名的评估办法还是经典的PSNR、SSIM以及VMAF。

本文将浅谈一下这几类评估办法的概念,并将联合微帧在日常试验中所得的教训,重点聊一聊PSNR avg.MSE与PSNR avg.log,谁更胜一筹?以及VMAF的“喜”与“忧”。

PSNR(峰值信噪比)

峰值信号的能量与噪声的均匀能量之比,实质的是比拟两张图像像素值差别,用处较广,目前仍作为对照其余指标的基线。PSNR的单位是dB,数值越大示意失真越小。

\( MSE=\frac{1}{mn}\sum\limits_{x=0}^{m-1}{\sum\limits_{y=0}^{n-1}{(I(x,y)-K(x,y))^2}} \)
两个m×n单色图像 I 和K, I 为一无噪声的原始图像,K为 I 的噪声近似(例:I 为未压缩的原始图像,K为 I 通过压缩后的图像)。

\( PSNR=10log_{10}(\frac{MAX^{2}}{MSE}) \)
其中,MAX是示意图像点色彩的最大数值,如果每个采样点用 8 位示意(例:影像解决),那么就是 255。


PSNR avg.MSE与PSNR avg.log,谁更胜一筹

PSNR avg.MSE:当聚合整个视频的逐帧分数时,首先计算MSE的算术平均值,而后取对数。

\( PSNR_{avg.MSE}(V,\bar{V}) =10log_{10}\frac{MAX^{2}}{\frac{1}{n}\sum\limits_{i=0}^{n-1}{MSE(V_{(i)},\bar{V}_{(i)})}} \)

PSNR avg.log:当聚合整个视频的逐帧分数时,首先计算每帧的PSNR,而后计算所有视频帧的算术平均值。

\( PSNR_{avg.log}(V,\bar{V})=\frac{1}{n}\sum\limits_{i=0}^{n-1}{10log_{10}\frac{MAX^{2}}{MSE(V_{(i)},\bar{V}_{i})}} \)

经微帧屡次测试表明,相较于PSNR avg.MSE,PSNR avg.log具备肯定不合理性,其太过“关照”品质更高的帧,比方PSNR=99dB和PSNR=50dB的单帧,往往在主观上看不出区别,但通过PSNR avg.log的公式计算后,PSNR=99dB的一帧就会大大拉高最终平均分,在特定序列上容易被trick。

然而,事实上人眼对于品质越差的帧反而越敏感,所谓一锅老鼠屎坏了一锅粥,当观看视频时忽然闪现一帧品质差的画面,人眼会对这一帧记忆更为粗浅。相较于PSNR avg.log,PSNR avg.MSE就更加关照低质量帧,从这点上更合乎主观感触。

SSIM(构造相似性)

一种全参考的图像品质评估指标,别离从亮度、对比度、构造三方面度量图像相似性。SSIM取值范畴为[0,1],值越大,示意图像失真越小。

\( SSIM(x,y)=\frac{(2\mu_{x}\mu_{y}+c_{1})(2\sigma_{xy}+c_{2})}{(\mu_{x}^{2}+\mu_{y}^{2}+c_{1})(\sigma_{x}^{2}+\sigma_{y}^{2}+c_{2})} \)
\( c_{1}=(k_{1}L)^2,c_{2}=(k_{2}L)^2 \)

SSIM在掂量编码主观损失方面有其独特的体现。比方,当x264关上AQ(自适应量化技术,敞开AQ时,x264偏向于对低细节度的平滑区域应用过低码率,AQ能够更好地把码率调配到各个宏块中),PSNR和VMAF都会重大掉分,SSIM却能体现出收益。大量实际表明AQ与主观呈正相干,SSIM在这点上更合乎主观感触。

VMAF(视频多评估办法交融)

由Netflix推出的视频品质评估工具,用来解决传统指标不能反映多种场景、多种特色的视频状况。该指标是目前互联网视频最支流的主观视频评估指标,实用于掂量大规模环境中流播视频品质的观感。


VMAF的“喜”与“忧”

“喜” — VMAF的劣势

视频画质加强是目前视频暴发时代的刚需利用,它可能更好的晋升用户观看体验,然而品质评估罕用指标PSNR和SSIM,尽管简略易算,但却不能齐全反馈人眼主观感触,更无奈评估对原画的加强,VMAF却能够做到这一点。

通过比照能够发现右图通过画质加强,能展示更多的细节,小字变得更加清晰,同时VMAF也有了较大的晋升。

“忧” — VMAF的有余

① VMAF值可能被trick。单纯为了进步VMAF值,而加强对比度,理论是不合理的,虽VMAF值进步了,但画质却并没有真正晋升,轻重倒置。

下图为例,左边视频仅在右边视频根底上进行了对比度加强的解决,右边VMAF为67.44,左边VMAF为97,可见通过加强对比度,VMAF也晋升了不少,但当咱们查看细节,会发现画质没有失去基本晋升,原有的马赛克、噪点仍然存在。

② VMAF在掂量原画损失的能力稍弱,有时不如SSIM与PSNR,甚至事与愿违。咱们能够做一个简略试验,采纳x264 superfast对规范测试序列Johnny做定码率编码,在敞开deblock后(采纳了no-deblock选项),PSNR和SSIM呈现显著损失,VMAF却获得了增益,如下表所示。(deblock是视频编码一项成熟已久的技术,用来加重编码造成的马赛克伤害。)

为了更直观地感触,咱们提取试验中的同一码率下的比照帧(下图),可见no-deblock(右图)的VMAF略高于开启deblock(左图)的VMAF,但右图却充斥了马赛克。因而,关掉deblock尽管能晋升VMAF值,但失真会比较严重。

VMAF尽管有令人担忧的硬伤,然而的确有其独到的一面。譬如上方敞开deblock的右图,尽管马赛克伤害重大,然而左图整体更含糊一些。此外鉴于VMAF能兼顾绝对于源的画质加强和画质伤害两局部,在互联网畛域应用越来越宽泛。

由此可见,在日常评估视频品质时,单看一组指标数据容易产生误差。视频品质评估指标只是掂量画面质量的工具,单项指标的数值或高或低,这都不应是视频工作者的最终目标。微帧始终都以晋升画质优化体验为次要指标,提倡大家该当既看VMAF,也要联合PSNR和SSIM,进行综合评估,以达到最靠近人眼主观的测评成果。