“胶片成像的颗粒感,是数字影像无奈复制的独特魅力。”驰名导演克里斯托弗·诺兰在《信条》上映时示意。作为胶片电影的忠诚追随者,自处女作起,诺兰每一部影片都采纳胶片进行拍摄,其中包含《星际穿梭》《盗梦空间》等风靡寰球的著述。
诺兰导演口中的“胶片成像的颗粒感”,正是本文要探讨的Film Grain(胶片颗粒)。
为何Film Grain作为一种噪声,却能失去大量导演和观众的青睐?其实是因为在某些特定的非线性零碎中,噪声的存在可能加强强劲信号的检测能力,这种景象就称为随机共振。而在图像零碎中,在肯定噪声(如Film Grain)强度条件下,图像视觉品质能够达到更优的成果。
因而,Film Grain作为影视创作用意的一部分,在对视频进行编码时,无效保留Film Grain是十分重要的。
但Film Grain作为图像噪声,散布和大小都不规则,具备随机性。Film Grain的随机性使得传统编码技术难以无效压缩,同时也使得预测变得十分艰难,静止预计的精度也会升高。
就此,微帧科技在微帧Aurora AV1根底上研发了Film Grain编码技术,此技术已胜利利用于某出名PGC视频平台,并取得了客户及平台用户的认可。
应用AV1能更高效地保留与合成Film Grain。因为传统视频规范在制订时,并没有将Film Grain加进规范,使用传统编码方式对视频编码,容易造成grain散布不平均、保留不残缺等问题。而AV1在制订时就把Film Grain解决工具加进了规范,对于Film Grain编码和解码的反对度更高。
与开源libaom相比,微帧Aurora-AV1的劣势在于编码速度更快、效率更高,其次是能反对10bit Film Grain的去噪解决;并且,在开源libaom编码器上保留grain容易呈现显著的banding,微帧Aurora-AV1的自适应量化模式也能更好的防止这种状况。
针对不同类型的grain,微帧科技采纳Aurora-AV1视频编码器进行了3个方向的尝试:去噪+合成(Grain Synthesis)、间接保留(Grain Preservation)、保留+合成(Preservation+Synthesis)。
01、去噪+合成(Grain Synthesis)
Grain Synthesis是通过去噪解决去除视频中的grain,并预计出grain参数,这些参数将随压缩视频流一起发送至解码器,解码后,再将grain合成并增加到重建的视频帧中。
此办法有助于保留已编码视频的grain外观,与间接对grain进行编码比,能放弃更低的码率。
但Grain Synthesis的毛病在于:合成过程中的第一步须要生成一个64x64的模板,之后随机从模板中选取一个32x32的块。在选取的时候,x,、y的坐标须要小于32,导致相邻块选取的32x32块会有重叠,且朝向统一,在grain强的序列中的平坦区域非常容易产生pattern,以及显著的artifacts。
就此问题,微帧的解决办法是:选取grain的种子,只采纳pattern没那么显著的种子进行合成。
02、间接保留(Grain Preservation)
若源视频中的Film Grain是未经压缩的,能够用AV1 Film Grain工具进行重建;但对于已被转码压缩的视频,则很难重建。因为grain通过压缩后,会呈现低频重量,产生肯定的pattern,这些很难用AR model齐全示意进去。因而,对于显著有低频重量的grain pattern,须要通过间接编码的形式进行保留。
除此之外,对于grain比拟细的序列,采纳间接保留grain的形式,能让grain保留的更平均,也能保障更好的清晰度,使得在无grain artifact的同时生成较好的grain视频。
值得一提的是,采纳微帧Aurora-AV1间接编码保留grain,可能克制grain不统一和不同帧清晰度不统一的景象,这是一般AV1编码器目前所达不到的。
03、保留+合成(Preservation+Synthesis)
编码过程中还会遇到同一帧grain散布十分不平均的状况,比方上半局部有grain,下半局部没有grain,这种状况不能依赖Grain Synthesis的办法,因为规范全图都为同一种grain model。间接编码的形式则可能会呈现grain保留不残缺、不统一等状况。
对于相似这种简单的grain,微帧采纳的办法是:将grain合成,针对难以用Grain Synthesis规范生成的grain,间接依赖编码器进行编码;针对Grain Synthesis规范比拟好生成的grain,采纳规范生成grain,如高频的高斯噪声局部则能够采纳Grain Synthesis来合成。
Preservation+Synthesis的形式能解决Grain Synthesis的局限性,重现比较复杂pattern的grain。同时,减少了grain合成的形式会比间接编码的办法,能保留更多的细小的grain。