《大闹天宫》、《黑猫警长》、《舒克和贝塔》……这些儿时的“小伙伴”陪伴咱们一起度过难忘的童年时光。随着技术的提高，高清视频、高分辨率显示设施、更高的传输带宽等新技术的呈现，为咱们带来了前所未有的视觉体验，也让咱们对影片品质有着越来越高的谋求。而这些经典动画因为噪声、含糊、划痕等画质问题，在现在的显示设施上则“惨不忍睹”，如图 1 所示。
图 1 顺次为：噪声 划痕 含糊 压缩
针对年代久远的经典老片，能够通过传统的人工修复晋升视频品质，但在实操中耗时费劲，业余修复人员一天的修复量也只能以“帧”计，即使能够对胶片上的某些脏点或者划痕进行有针对性的去除，但对于视频分辨率低、帧率低、压缩噪声等问题仍然很难解决。近年来，随着人工智能、尤其是深度学习技术的蓬勃发展，其在视频解决畛域失去了宽泛的利用。相比于传统办法，深度学习类算法基于大量的数据训练，高维的特色空间推理，在许多视频解决、分类、辨认问题上都获得了很好的成果，那么把基于深度学习的办法利用在老动画片的修复上，后果会如何呢？
即使借助深度网络这样的强力武器，老动画片的修复还是面临诸多挑战。首先就是动画片的品种繁多，不同国家，不同年代，不同类型的动画片，都须要解决；其次，老动画的故障多种多样，含糊、噪声、伤害等问题都须要修复；最初，这些故障都不是独立呈现的，他们的不同组合、不同强度，让输出数据域散布十分发散，对修复网络是极大的挑战。
优酷数字多媒体实验室依靠站内海量的高清视频资源，联合深度学习畛域最新研究成果，克服了上述的多种艰难，针对老旧动画片开发出一套集 智能超分、去噪、去块、去模糊、生成细节 等修复性能为一体的修复模型，不仅仅具备很好的问题修复能力，而且可能优化线条、生成细节，让老动画观感面目一新。比方针对经典的去噪问题，动画片中的噪声多种多样，不光是简略的高斯白噪声，粗颗粒噪声、小构造噪声、压缩噪声，甚至斑点噪声都很常见，要解决好去噪问题，首先就要对动画片中的噪声特点和散布有全面的意识和总结，并且在咱们的数据结构和增广中去精密模仿，这样，咱们的网络去噪就具备了必要的鲁棒性；其次，工夫噪声是升高观看体验的要害，也是码率杀手，咱们的去噪网络必须具备去除工夫噪声的能力，所以咱们也是采纳了经典的多帧模型，并且把主体网络离开设计成光流模块加修复模块，前者用最新的光流网络，对齐帧间特色，后者通过 3D 卷积等形式，进行特色交融、像素重建；最初，为了在无效去除噪声的同时保留细节，咱们引入了更能反映高层语义的感知 loss，训练专门的鉴别器甄别细节和噪声。借助这些伎俩，咱们的修复模型在噪声解决上有了不错的能力。其余的去模糊、超分等能力，也是基于相似的思考和设计，这里就不赘述了。值得一提的是，当一个综合性能的网络，要解决的问题越来越多样化时，网络的单项能力是越来越弱的，也就是“能力全”和“成果精”不能得兼。咱们基于老本和复杂度的思考，给主修复网络减少了内部参数调节层，一方面升高了修复网络的数据域范畴，晋升域范畴内的修复成果；另一方面，借助可调参数，也让修复网络能灵便适配多种修复场景，兼顾了“全”和“精”，不过，就须要借助人工或者一些前置算法，对具体的各个片子进行参数配置了。
整体修复流程如图 2 所示。算法形成大体蕴含数据采集、数据扩增、模型训练和部署推理四个局部。上面，从数据、网络结构、训练形式等方面对咱们的模型进行具体的介绍。
图 2 整体流程图
模型的泛化性能间接影响算法的理论利用成果。为了利用一个模型修复多种视频缺点，训练数据的结构非常重要。这里，工程师们在训练数据的结构上投入了大量精力。在如何无效扩增数据规模、开发更加实在的数据扩增形式、数据荡涤等多个方面进行了深入研究。目前，算法团队开发的自适应高阶降质算法能够无效地适应各种低质量动画视频的降质类型，具备鲁棒性强、修复成果好的特点。例如，在老动画片中，咱们常常能够遇到画面含糊、蕴含较多噪声、因为压缩等导致的块状残留等。利用咱们提出的算法能够无效修复这一缺点，从而失去清晰、锐利、紧致的线条，极大地改善了用户的观看体验。
如图 3 所示，通过算法的智能修复，无论月亮、还是修建、亦或是树木都失去了更为清晰的出现。
图 3 去模糊：原图 模型修复后
如图 4 所示，通过模型修复后，画面中的噪声失去了无效的去除，内容不仅更为清晰，而且线条更为锐利、紧致。
图 4 去噪：原图 模型修复后
如图 5 所示，因为原图中存在较多块状噪声，非常影响用户观感。通过咱们的算法智能修复后，在图像中曾经较好地打消了块状噪声。
图 5 去块：原图 模型修复后
在泛滥深度学习算法中，研究者们针对不同工作提出了大量网络结构：如分类工作中的残差网络、宰割工作中的 U 型网络、跟踪工作中的孪生网络等。尽管这些网络在各自畛域获得了惊人的成就，但对修复工作却并不实用。为了尽可能晋升推理速度、保留原始视频的信息、稳固精确地去除噪声、以及生成真切正当的高频细节，咱们针对修复工作开发出轻量、高效、稳固的深度网络模型。通过对不同层级特色进行跨层连贯实现高效的特色复用；通过多分支构造提取不同尺度的特色，从而对图像内容进行多尺度剖析；利用时空注意力机制更好地聚焦图像的低质量区域；此外，借助高分辨率特色图和图像的构造特点更好地保留无效信息、生成真切的细节。
最初，算法团队针对动画修复的工作特点，开发出一套基于生成反抗模型的训练框架。借助判断器网络的反传梯度以及多个额定设计的损失函数，生成网络不仅能够去除大部分噪声和含糊，而且能够使得画面更为活泼，即为网络赋予了“无中生有”的修复能力。在这一能力的加持下，修复后的动画视频在优酷取得了“新生”。如图 5 所示，修复后的云层细节更为清晰、富裕层次感。
图 5 高频细节生成：原图 模型修复后
动画片不仅仅是咱们儿时的美妙回顾，也是贵重的文化资产，优酷的小伙伴们会在老动漫修复路线上持续摸索后退，一直把更多更好的修复成果出现给大家，为艺术增辉添彩，让经典永不褪色。
明天，让咱们一起在优酷重温经典动画，欢度六一儿童节！