“胶片成像的颗粒感,是数字影像无奈复制的独特魅力。”驰名导演克里斯托弗·诺兰在《信条》上映时示意。作为胶片电影的忠诚追随者,自处女作起,诺兰每一部影片都采纳胶片进行拍摄,其中包含《星际穿梭》《盗梦空间》等风靡寰球的著述。
诺兰导演口中的“胶片成像的颗粒感”,正是本文要探讨的 Film Grain(胶片颗粒)。
为何 Film Grain 作为一种噪声,却能失去大量导演和观众的青睐?其实是因为在某些特定的非线性零碎中,噪声的存在可能加强强劲信号的检测能力,这种景象就称为随机共振。而在图像零碎中,在肯定噪声(如 Film Grain)强度条件下,图像视觉品质能够达到更优的成果。
因而,Film Grain 作为影视创作用意的一部分,在对视频进行编码时,无效保留 Film Grain 是十分重要的。
但 Film Grain 作为图像噪声,散布和大小都不规则,具备随机性。Film Grain 的随机性使得传统编码技术难以无效压缩,同时也使得预测变得十分艰难,静止预计的精度也会升高。
就此,微帧科技在微帧 Aurora AV1 根底上研发了 Film Grain 编码技术,此技术已胜利利用于某出名 PGC 视频平台,并取得了客户及平台用户的认可。
应用 AV1 能更高效地保留与合成 Film Grain。因为传统视频规范在制订时,并没有将 Film Grain 加进规范,使用传统编码方式对视频编码,容易造成 grain 散布不平均、保留不残缺等问题。而 AV1 在制订时就把 Film Grain 解决工具加进了规范,对于 Film Grain 编码和解码的反对度更高。
与开源 libaom 相比,微帧 Aurora-AV1 的劣势在于编码速度更快、效率更高,其次是能反对 10bit Film Grain 的去噪解决;并且,在开源 libaom 编码器上保留 grain 容易呈现显著的 banding,微帧 Aurora-AV1 的自适应量化模式也能更好的防止这种状况。
针对不同类型的 grain,微帧科技采纳 Aurora-AV1 视频编码器进行了 3 个方向的尝试:去噪 + 合成(Grain Synthesis)、间接保留(Grain Preservation)、保留 + 合成(Preservation+Synthesis)。
01、去噪 + 合成(Grain Synthesis)
Grain Synthesis 是通过去噪解决去除视频中的 grain,并预计出 grain 参数,这些参数将随压缩视频流一起发送至解码器,解码后,再将 grain 合成并增加到重建的视频帧中。
此办法有助于保留已编码视频的 grain 外观,与间接对 grain 进行编码比,能放弃更低的码率。
但 Grain Synthesis 的毛病在于:合成过程中的第一步须要生成一个 64×64 的模板,之后随机从模板中选取一个 32×32 的块。在选取的时候,x,、y 的坐标须要小于 32,导致相邻块选取的 32×32 块会有重叠,且朝向统一,在 grain 强的序列中的平坦区域非常容易产生 pattern,以及显著的 artifacts。
就此问题,微帧的解决办法是:选取 grain 的种子,只采纳 pattern 没那么显著的种子进行合成。
02、间接保留(Grain Preservation)
若源视频中的 Film Grain 是未经压缩的,能够用 AV1 Film Grain 工具进行重建;但对于已被转码压缩的视频,则很难重建。因为 grain 通过压缩后,会呈现低频重量,产生肯定的 pattern,这些很难用 AR model 齐全示意进去。因而,对于显著有低频重量的 grain pattern,须要通过间接编码的形式进行保留。
除此之外,对于 grain 比拟细的序列,采纳间接保留 grain 的形式,能让 grain 保留的更平均,也能保障更好的清晰度,使得在无 grain artifact 的同时生成较好的 grain 视频。
值得一提的是,采纳微帧 Aurora-AV1 间接编码保留 grain,可能克制 grain 不统一和不同帧清晰度不统一的景象,这是一般 AV1 编码器目前所达不到的。
03、保留 + 合成(Preservation+Synthesis)
编码过程中还会遇到同一帧 grain 散布十分不平均的状况,比方上半局部有 grain,下半局部没有 grain,这种状况不能依赖 Grain Synthesis 的办法,因为规范全图都为同一种 grain model。间接编码的形式则可能会呈现 grain 保留不残缺、不统一等状况。
对于相似这种简单的 grain,微帧采纳的办法是:将 grain 合成,针对难以用 Grain Synthesis 规范生成的 grain,间接依赖编码器进行编码;针对 Grain Synthesis 规范比拟好生成的 grain,采纳规范生成 grain,如高频的高斯噪声局部则能够采纳 Grain Synthesis 来合成。
Preservation+Synthesis 的形式能解决 Grain Synthesis 的局限性,重现比较复杂 pattern 的 grain。同时,减少了 grain 合成的形式会比间接编码的办法,能保留更多的细小的 grain。