乐趣区

关于人工智能:电影AI修复让重温经典有了新的可能

摘要:有没有一种出现,不以谋求商业为第一目标,不必花大价格,不必翻拍,没有画龙点睛,低成本的可共赏的让经典更清晰?

本文分享自华为云社区《除了重映和翻拍,重温经典的第三种可能》,原文作者:音视频大管家。

时隔 12 年,《阿凡达》重映了,国内重映票房累计预估 14.8 亿元人民币!!!

经典就是经典!

说到经典重映,没有奥斯卡最佳摄影、最佳视觉效果、最佳艺术领导三大奖项加持,很难有哪部电影,能有《阿凡达》这样重映的底气吧。包含《泰坦尼克号》、国内星爷的《功夫》等,更多是花大价格做修复,甚至还原成 3D 版,主观说市场成果个别。

为了经典再现,翻拍也是一个形式,如《大话西游 III》、《倩女幽魂》、《白蛇传说》,后果观众并不买单。毕竟成为经典除了剧情和导演,还有演员以及时代的特色等因素的独特作用,所以翻拍一不小心就失去了原有的滋味。

有没有一种出现,不以谋求商业为第一目标,不必花大价格,不必翻拍,没有画龙点睛,低成本的可共赏的让经典更清晰?

有!因为人们对经典影片再次精彩出现的谋求,从未止步。为了让经典从新焕发光辉,华为云视频云开启了香港经典电影的高清修复之路。

这个周末,重温 80 后的青春记忆就在华为视频 APP。

一、电影修复要做什么

先做一个领域设定:咱们明天聊的是 电影 AI 修复 的问题。所以高老本多人力投入相似《泰坦尼克号》的修复不在此领域。

电影修复最直观的是让图像更清晰。第一步须要理解图像不清晰的起因是什么。咱们直观了解是:工夫太久了。

从业余的角度来说,电影的修复,除了视频修复外,还须要做视频加强的解决,这样能力达到更好的成果。

1. 视频修复

视频修复要解决的问题是:视频在拍摄、压缩、传输、存储等环节因为各种起因导致的视频画质问题。这些画质问题开展来说包含:划痕、压缩失真、噪点等。为了帮忙大家更直观理解这些问题对画面的影响,咱们找来了某些方面的问题比较突出的图片。

保留或搬运受损导致的划痕

压缩带来的失真

拍摄设施局限产生的噪点

当然,以上图片并非只有一个问题。同样,在电影修复的实在场景中,往往蕴含多种失真,且失真水平差别大。修复起来就得综合思考。

2. 视频加强

视频加强次要加强哪些局部?肉眼如何分别加强成果?

视频加强的成果个别从四个方面来体现:分辨率、帧率、动静范畴、色域。

  • 高分辨率

分辨率在这里指显示器所能显示的像素有多少。显示器可显示的像素越多,画面就越精密。很显著,4K 能显示的比 720P 显示的就清晰很多。视频加强能够晋升分辨率。

  • 高帧率

咱们都晓得,视频是由一帧帧图片组合而成。能够将右边的视频了解为 1 秒钟有 24 帧图片,左边 1 秒钟有 60 帧图片,很显著,左边的视频看上去更加晦涩顺滑。

  • 高动静范畴

高动静范畴简称 HDR,规范动静范畴简称 SDR。艰深讲,在 SDR 的根底上,HDR 能做到让画面亮的中央更亮,暗的中央更暗;色调的范畴能够由 BT709 减少到 BT2020;并且色调的变动也会更加平滑。

  • 广色域

广色域,能够了解为独自对色彩的范畴进行调整,由原来的 709BT 晋升到 2020BT。

总之,视频加强次要是在以上四个方面加强成果,解决的是因显示硬件降级,使得先前采集、制作的视频无奈最优匹配的问题。

二、电影修复的三大挑战

目前要主动修复老电影,并非易事,面临着三大挑战:数据、算法、评估。

1. 数据挑战:盲修复工作的泛化能力晋升

电影的失真往往蕴含了上述多个问题,也就是混合失真。盲修复,就是在修复之前,并不分明视频中有哪些问题,用的是泛化的算法,面临难题是:如何晋升泛化算法的自适应性来应答多种修复场景;如何利用大量比照的数据,晋升学习效果。

混合失真

强度不一失真

2. 算法挑战:如何同时让图像各个方面品质失去晋升

与失真的状况一样,视频加强在理论利用中,往往是多任务组合,如将 1080p 30fps SDR 晋升为 4K 60fps HDR 视频。即同时须要将图像分辨率由 1080 变成 4000,将每秒的帧数由 30 晋升到 60,将规范动静范畴转为高动静范畴。说人话就是让视频的图像像素更高、光线更清晰、色调更丰满、色彩适度更顺滑、静止画面显示更晦涩。这就要求多任务之间的优化须要联结加强。

3. 评估挑战:针对生成图像的品质评估

传统的评估算法次要有 PSNR,SSIM,VMAF,然而体现并不好。基于深度学习的修复加强算法,输入信号特色与原图差别微小。举个例子:图片 Reference 通过肯定解决当前,如果用传统的评估算法,得出的是 Patch0,而咱们主观评估是 Patch1. 阐明传统评估算法与主观评估算法不太统一,这就须要新的评估算法。

三、华为云视频云如何修复电影

先来直观感受一下华为云视频云修复电影前后的比照,点击查看《黄飞鸿》修复片段

1. 电影修复技术架构

为了使修复做到轻量化、低成本以及自适应,华为云视频云构建了一整套电影修复技术架构。该架构包含品质检测、算法调度以及主客观评估三个环节,具体如下:

2. 具体操作

  • 混合失真修复

华为云视频云在解决失真问题时,将传统强度检测作为先验输出,即对可能存在的失真问题,先预判,而后输出 AI 算法中,再构建多任务混合失真修复模型,最初进行修复。

  • 空域加强:基于语义特色的视频超分

超分就是指通过媒体解决技术将分辨率低的图片变为分辨率更高的图片。超分实现的原理是:先利用了大量的高分辨率图像积攒并进行学习,再对低分辨率的图像进行学习高分辨率图像的学习模型引入来进行复原,最初失去图像的高频细节,取得更好的图像复原成果,进步图像的辨认能力和辨认精度。

对大部分电影、电视剧,受众往往更关注人脸及字幕,所以这两者是重要的加强区域,且具备较强先验。华为云视频云从网络轻量化、稳定性、综合成果等角度登程,实现了一种基于语义的自适应超分算法。比照可参考下图:

  • 时域加强:插帧

空域与时域是一个绝对概念,如果把空域了解为影片当中的某一个画面,那么时域更关注的是画面之间的连接关系。如果空域加强是对每个画面的加强,那么时域加强在视觉感知上,往往指影片画面与画面之间的连接更顺滑与晦涩。所以在视频加强过程中,插帧是强依赖于静止预计。这个预计准确度又会受遮挡、小物体大静止、反复纹理、静止含糊等场景的影响。

华为云视频云通过改良网络,联合传统办法,如参考时空域上相邻的静止向量对光流进行修改,如下:

  • 对比度与饱和度加强

现有基于深度学习的对比度和饱和度加强算法,因为数据的有余,难以达到好的成果。华为云视频云通过寻找图像在亮度和色调空间的统计法则,作为网络先验输出,能较好解决数据问题。

说了这么多,你肯定想问,在哪里能够看到啊?

小编不卖关子了,请移步华为视频 - 电影 - 高清修复,欢送比照提倡议。

这个周末,让咱们一起重温星爷的老电影,还有那些已经的经典之作。

同样的片段,当初的你和已经的你,心情是否一样?

点击关注,第一工夫理解华为云陈腐技术~

退出移动版