简介：2021 年，超高清迈入“8K”时代。超高清视频将带来全新视听体验，但超高清生产在内容生产层面也面临着超高清存量少、生产设施更新换代慢、制作周期成倍增加的窘境。在 7 月 10 日的 Imagine 阿里云视频云全景翻新峰会上，达摩云资深算法专家谢宣松，发表了《AI 技术驱动超高清“视”界》的主题演讲，从超高清产业的生产现状与窘境登程，深度分析 AI 技术如何驱动视听降级，并分享了达摩院在超高清生产畛域的实践经验，以下为演讲内容整顿。

超高清产业倒退现状

视觉是一个生理学词汇。通过视觉，人和动物感知外界物体的大小、明暗、色彩、动静，取得对机体生存具备重要意义的各种信息。从物理现象角度来看，也就是视网膜对光的各种感应，包含光的亮度、细节形容，还包含跟工夫相干的这些信息。而 对视觉冲击力最大的就是视频。

AI 在视频方面能施展什么作用？

AI 在视频施展的作用次要分成两局部，第一局部是最根底的，AI 对视频或者图像的了解，体现在咱们视频中常见的 分类、打标、检测、宰割 等。AI 是与人相干的，因为人必定一上来先了解世界，所以 AI 要施展它的作用，第一步就是了解学习。

第二局部和生产类相干，比方 生产、编辑、加工、擦除、插入 等，其中 AI 在底层视觉就是施展它的加强作用。那么 AI 是如何在底层视觉上施展它的作用的呢？

视觉是人类最重要的感觉，所以视频的体验的问题是重中之重。体验会和很多货色相干，人类也在一直谋求着体验，第一是 清晰度的谋求，从 4K 到 8K，信息蕴含量越来越多，细节的丰盛水平也越来越高。2021 年 4k 超高清视频曾经遍及，并迈入 8K 高清时代。

第二是 色调 ，更活泼的色调，这也是影响人体验的一个十分重要的中央。第三个则是更 沉迷式 的体验。

那 AI 能够施展些什么作用呢？能不能在各行各业进行利用呢？

首先是超高清视频，2014 年国家公布 4K 的策略，到当初曾经过来了 7 年，4K 开始朝着更高的 8K 方向倒退。在这个过程当中内容永远是滞后的，基础设施反而是超前的，像 4K 电视，当初消费者依然不会去购买一台最根本配置的 4K 电视，而信号的基础设施曾经迈向了 8K、5G。

去年春节进行了第一次 8K 直播，东京奥运会、北京冬奥会都会有 8K 直播，而且 8K 的直播会越来越多。

但 8K 直播有很多艰难，因为视频是残缺内容生产的过程。其实有很多环节，例如素材采集，素材采集当初曾经生产级别化了，1080P、4K 级别的素材采集，利用手机就能够满足。但怎么生产内容，拍一下视频是否就算是生产了？

其实它只是最根本最简略的生产，对内容生产来说分两块：第一块是存量的内容，从古老的黑白到起初有色画面但分辨率很低的内容。技术和人的体验的要求越来越高，所以之后的内容制作的周期和要求越来越高。

技术在 内容生产 方面能够施展微小的价值，因为技术无外乎两个货色，第一个 降本提效 ，这是最基本的。第二是 翻新，可能疾速快捷低成本发明新的机会。

所以技术在这块会施展十分大作用，包含网络传输、终端是须要欠缺整个产业链的。而我明天所讲的只是其中的一个点，但这一点也须要十分多技术来补完。

AI 技术驱动视听降级

要进步视觉体验，最根本的是 减少能够察看到的细节，而跟细节最相干的就是分辨率，但分辨率须要终端设备反对，所以这是第一点，也是最重要的。

第二是 晦涩丝滑的视觉体验，目前大部分是显示器是 60 赫兹，但也有 120 赫兹、240 赫兹、甚至 360 赫兹的显示器，赫兹代表着屏幕每秒的刷新率，也就是每秒钟屏幕呈现图像画面的次数。屏幕反对的赫兹数越高，每秒显示的画面也就越多，视频观感也更晦涩。

之前的带宽有余，不足以反对那么多的画面信号传输，而视频自身的帧数也达不到晦涩的体验。

当然，技术能够补救视频本身上的有余，来进步视频的视觉体验。

第一个是关注 细节 ，第二关注 晦涩度 ，第三关注 色调。4K 内容是有国家明确标准的，你要想称之为 4K 内容，你要先满足这些条件。

从这三个档次来看，技术上谋求细节可能就会呈现很多瑕疵，因为这里很多初试者，常常用 GAN 系列技术，在生产过程当中会经常出现不可控因素，导致呈现瑕疵。

瞎话说，我始终想把视觉生产定义成可控的视觉内容生产，既可能保障细节的还原，同时又可能保障瑕疵的管制，这须要很外围的技术，这是第一。

第二个，算法除了要管制超分辨率以外，另外 算法的源头是什么？是数据，大家广泛感觉数据有两种，低分辨率和高分辨率，因为低画质和高画质是一对的。

这些数据怎么获取，有很多伎俩。次要的方法是用人工的形式、高老本的形式，获取这两种数据，能不能用技术的形式真正生产高仿真、高实在的数据对（data pair），这是将来很大的一个课题。

最初要使 AI 技术在实际当中应用，把成果和效率上均衡做好，这自身也是个问题。

第一个要解决的是数据规模。因为 AI 的数据规模是海量的，在这些场景大家感触到的比拟差的画质，很多细节都曾经损失掉了。很多含糊的货色，色调不对的中央，AI 是无奈凭空绘制出这些数据的，所以能不能设计个计划，使 AI 用算法主动获取实在的数据，目前，这是十分难的一个课题。

在比拟早的时候大家用简略的形式，要想谋求更好一点，可能用一些数据核，使得清晰的画面变得不清晰，而后去制作一个数据对。当然可能做了核之后加一些货色，加一些噪声，那有了这些当前是不是就行了？其实也不行，因为所有的视频要通过编码、解码，在传输过程中又会产生很多损失。

所以怎么模仿损失的那局部？设计一个好的算法，对编解码自身也是很好的，这一系列思考下来，低质和高质的数据对能够做十分多事件，这外面牵扯到对噪声的剖析、场景的剖析，不同场景关注点的不一样，动漫画更关注边缘，静止场景比拟高的关注静止的动作，还有简单的场景可能会关注很多的细节。

所以在这些方面须要做十分多的数据分析和数据生产，兴许平时大家就是做一个算法，让一堆人打标，画框就行了，所以在这个问题中，数据对的生成是个命题，怎么获取到实在的训练数据。当然这个数据除了实在以外还要有规模，达摩院在技术这一方面破费了很多的致力。

超高清生产实践

接下来怎么加强？比方怎么加强人像，咱们当初比拟重要的办法就是退出 GAN 系列技术 进去，达摩院开源了 GPEN 的高清算法。

在中国共产党建党 100 周年的各种视频新闻中，很多人像基于这个算法做了修复，在 B 站等各平台播放，起到了很好的 PR 作用，这些都是基于达摩院的算法去修复的。

这外面第一个退出了 GAN 的先验网络 也加了生成式数据发生器。根本分三大类，第一类针对内容的，当然针对特色层面的，还有针对 GAN 层面的 Loss 在外面，所以能够失去针对人像十分好的根底模型。这是其中一种。

当然对实在的物理世界来说人尽管是最重要的，但文字、风光等各种细节，也须要算法来欠缺加强。

对于解决晦涩度的问题，在很多时候，尤其在静止变化率十分大时常常会呈现瑕疵，所以怎么在不同的尺度、呈现不同的瑕疵时，检测并补救修复，而后晋升晦涩度，这须要很多的工作来欠缺。

除了细节加强，数据的还原、生成，还有瑕疵的检测，差分的检测，色彩的调准，十分多算法能够施展它的作用，这一系列组合起来视频才可能实现从低清到 4K 到 8K 的演进，这自身也是个系统工程。

所以从这三个维度也无所谓传统与不传统的办法，大家都是利用深度学习的办法加强分辨率，帧率、色调还有细节，还有在不同场景下怎么欠缺算法更好。

有了这些算法，造成真正可用的产品和服务还有很长的路要走，这就是系统工程要做的事件。根本来说，从原创的素材，加上 AI 视觉生产、智能生产，画面加强，还有内容加工，失去内容之后怎么编辑、批改、生成封面、拆条，这外面都能够做很多的技术来发挥作用。

上图展示了人物照片 AI 加强后的成果，利用开源的 GPEN 高清算法实现面部加强，加强后的视觉效果很棒，但实际上还有很多难点在外面，如果这个照片源头十分差或者受到很重大的污损，要想做好的加强还是很艰难的。

另外这是一个综合的货色，可能用到面部的加强，但也不能脱离环境生产，要和背景相结合。如果是很古老的照片，还要做色调还原，包含黑白变成黑白等。

画质加强，当然对于视频来说更简单，原始画面的比拟暗，但加上色调会更加活泼，再加上超分当前细节更突出，这时车不是那么晦涩，加一个差分使得汽车行驶画面更晦涩。从色调到细节再到晦涩度再加上场景加强，造成了残缺的视觉加强，这是属于视频视觉解决技术。

达摩院视频综合加强 成果展现

最初 AI 驱动高清往前走，智能是最根本的，达摩院是做 AI 技术的，所以能不能自适应去做事件十分重要。自适应如同很简略，但事实上在不同的场景，AI 技术并没有所谓的普适性的能力。

在有卡通时，有新闻人物时，有纪录片时，咱们心愿 AI 可能有适应的残缺零碎，用万能的模型去解决，而不是繁多的模型，使 AI 自适应的针对不同场景采纳最优质的算法。

最初自我评估这是很重要的有意思的话题，对于主观的视频加强技术好不好，如何去评判它，自身也是很艰难的事件，达摩院也会在视频加强技术投入很多的工夫去做，去欠缺。

当然还须要零碎去承载它，视频云就是这个基础设施平台，使得能够高效率规模化地做各种各样 AI 视频视觉加强的工作。

当然当初 AI 缓缓朝着两个维度走，第一个走向消费者，平民百姓，为大家服务。另外 深刻到各行各业为大家提供降本提效，以及翻新各种各样的机会。AI 技术将基于视频云，驱动将来的高清视界。

版权申明：本文内容由阿里云实名注册用户自发奉献，版权归原作者所有，阿里云开发者社区不领有其著作权，亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容，填写侵权投诉表单进行举报，一经查实，本社区将立即删除涉嫌侵权内容。