共计 6629 个字符，预计需要花费 17 分钟才能阅读完成。
线上会议、在线教育、电商直播等多个场景的衰亡，也使得实时互动技术从幕后走到台前，失去了更多人的关注。编解码、网络传输、计算机视觉等 RTE 相干的一系列技术也正焕发出更强的生命力。2021 年，在深度学习、5G 等技术的加持下，RTE 会进一步催生哪些可能？声网 Agora 开发者社区联结 InfoQ 独特策动，邀请了声网 Agora 开发者社区中的多位技术专家，从视频传输、计算机视觉、编解码规范倒退、WebRTC、机器学习、音频技术等角度，独特撰写「2021 实时互动技术瞻望系列」，一窥技术新趋势。本文作者，宋利，上海交通大学传授，声网 Agora 开发者社区 MVP。本文首发于 InfoQ，由声网 Agora 开发者社区 与 InfoQ 联结策动，并由 InfoQ 审校。
疫情暴发至今一年多的工夫里，很多行业在疫情期间都备受打击，然而也有一些行业“因祸得福”，快速增长，包含在线教育、在线诊疗、在家办公、在线买菜、在线直播等。这些在线业务行业，均要大量利用音视频直播技术，在音视频直播技术的背地有两项关键技术在撑持：实时通信技术（Real-time Communication）与实时渲染技术（Real-time Rendering）。目前二者正在与实时生成技术相结合，为咱们带来更好的实时沟通体验。
RTC 技术与实时渲染技术
RTC（Real-time Communications），实时通信，是一个正在衰亡的风口行业，其强调“实时”即 Real-time，提早在毫秒级别，反对强互动，最典型的利用就是直播连麦和实时音视频通信。
提到直播，还有一个重要的技术叫做 CDN：内容散发网络，简略地说就是将网站 / 利用的图片、音频、视频等素材提前传输到间隔用户更近的 CDN 节点上（在物理层面就是电信机房里的服务器），当用户拜访时就能够就近疾速下载、缩小期待。当初有一些平台通过 CDN 来实现直播，然而 CDN 的技术机制实践上会有 5-10 秒的提早，在浏览图片、短视频等素材来说用户感知不显著，对于不须要实时强互动的直播，比方体育赛事网络直播、演唱会网络直播、新闻现场直播，提早在 5-10 秒之间则是能够承受的。
而像前文提到的办公、教育、社交、医疗、娱乐这些直播应该对互动有十分高的要求，5-10 秒的提早是无法忍受的，一方面画面会存在延时、卡顿、含糊、杂音、回声等常见问题；另一方面，实时互动基本没法用，游戏或直播中的连麦，近程医疗医患对话，直播小班课老师学生间的答疑，须要探讨的视频会议……实践上都要做到跟移动电话一样低延时、高接通和强互动，否则不只是体验不行，而是没法用。正是因为此，视频会议、社交直播、小班课、游戏开黑等互动要求高的场景，RTC 技术基本上已成为惟一抉择。国内的 RTC 服务供应商包含声网、腾讯云、阿里云等。
RTC 技术比较复杂，不只是须要专门的网络节点，同时对网络架构、通信协议、软件算法和利用机构都有特殊要求。一个残缺的实时音视频零碎包含以下几个局部：
此外 RTC 对数据传输的及时性的要求通常要高于可靠性的要求。如发送端采集的一帧编码数据失落了，对于接管播放端可能并没有太大的影响，接管播放端能够利用收到的后面和前面的帧，通过补帧等技术，实现同样好的用户体验，再如一帧音频数据失落了，接收端能够用 NetEQ 等技术，依据收到的后面和前面的数据，用算法填上这一帧的数据，而不会升高用户体验。
实时渲染（Real-time Rendering）次要用于实时图像生成与剖析解决，负责渲染直播画面、直播特效等等，如美颜、动画表情互动、礼物特效，提供更加个性化、人性化的应用体验。实时渲染关注的是交互性和实时性，个别制作的场景须要进行优化以进步画面计算速度并缩小延时。
实时渲染技术随着计算机图形学的倒退在继续提高。2000 年之后，3D 图像渲染 GPU 曾经成为台式机标配，CGI 开始无处不在，预渲染的图形在迷信上简直是实在照片级的。这期间的工作次要集中在集成更简单的多阶段的图像生成。纹理映射也曾经倒退为一个简单的多阶段过程，应用着色器（shader）将纹理渲染、反射技术等多种算法集成到一个渲染引擎中的操作并不少见。2009 年电影《阿凡达》使用动作捕获技术为角色生成动画，可能将动画间接叠加到实时拍摄的图像上，真正实现了高质量的实时渲染。软件方面 OpenGL 也开始成熟。不久前英伟达公布的 DLSS 2.0（Deep learning super sampling），依据官网宣传，能够保障渲染程序在较低分辨率下对游戏画面进行实时光线追踪，而 DLSS 2.0 则会将渲染后的画面进行 4 倍超采样，从而保障细节与帧率的兼顾，标记着实时渲染技术有了新的冲破。
实时生成技术停顿
近年来，随着互联网的迅猛发展和智能挪动设施疾速遍及每时每刻都有大量的图像被生产、编辑和流传，越来多任务须要算法具备成图像生成能力，现有的直播渲染技术曾经不能满足观众需要，实时生成画面 + 实时传输通信是将来趋势。与此同时，深度学习在语音辨认、自然语言解决计算机视觉等许多畛域都获得了微小的胜利，由层叠神经元组计算模型——深度神经网络，领有比传统算法更加弱小的特征提取及示意能力。因而人们开始钻研其在生成模型上的利用。深度模型通过训练样本去预计数据集的概率分布，接着便能够利用这个生成新的数据或者操纵原有的数据。
基于生成反抗网络 GAN（Generative Adversarial Networks, GANs）图像生成钻研目前收到了宽泛关注。GAN 是由 Goodfellow 等人在 2014 年提出。这个深度生成模型背地的思维是博弈论，训练的过程能够被视作二元零和博弈。GAN 蕴含两个组成部分，生成器（generator）和判断器（discriminator），两者均由多层感知机组成。在训练过程中，生成器 G 旨在生成尽可能真切的图像数据去骗过判断器 D，而判断器则致力去分辨实在的样本和生成器输入的假样本。能够证实，该反抗训练过程最终将收敛到实践上的惟一解，在这种状况下，生成器生成的数据和实在数据将无奈辨别。训练实现后，生成器便能够从噪声中随机采样，生成训练数据集中不存在的新本。相比于传统模型例如玻尔兹曼机，GAN 不再须要简单的马尔科夫链，只应用反向流传即可。同时大量试验 表明，GAN 能够生成更加锐利、真切的图像，因而其在图像生成畛域失去了宽泛的利用。
近期一些 GAN 畛域的工作实现了实时的图像生成性能，如实时的人脸驱动。Siarohin 等人提出了一阶静止模型，蕴含关键点检测器、密集运动场预计网络和静止迁徙网络。关键点检测器通过无监督的训练，对源图像和指标图像别离提取关键点，接着密集运动场预计网络利用两幅图像的关键点信息估计出稠密间静止信息，接着依据部分仿射变换去预计出密集的运动场，最初迁徙网络承受指标图像作为输出，将编码器的特色基于此前失去的运动场进行扭曲，再送入解码器，获最初重现图像。这种办法实现的实时人脸驱动成果如下。
还有一些插件借助类似的办法，能够在 ZOOM 视频会议中实现实时换脸。下图 ZOOM 会议中的马斯克并非马斯克自己，而是换脸失去的。
近期，NVIDIA 推出一款 Cloud-AI 视频流平台——Maxine，它能够在视频通话中，提供高清画质、乐音打消、眼光校对，以及实时转录、翻译等性能，并且反对电脑、平板、手机等多种类型的设施，用于解决以后视频通话存在的各种问题。Maxine 减少了打消伪影的性能，能够使得画面更清晰，能过滤掉常见的背景乐音，如敲击键盘、主机运行的嗡嗡声、家里吸尘器的声音，还提供了实时翻译、转录字幕的性能。最重要的是借助视频压缩技术，能够无效缩小数据传输的带宽。Maxine 通过把带宽问题变成计算问题，能够将传输所需带宽缩小到 H.264 视频压缩规范所需带宽的十分之一，极大地减少视频的晦涩度。Maxine 采纳的 AI 视频压缩技术的外围在于它不是对整个屏幕的像素进行流式解决，而是剖析通话中每个人的面部关键点，而后在另一端的视频中从新设置人脸的动画，如此一来便能够大幅升高的数据的传输量，同时还能够保障视频传输的品质。在面对面互动体验方面，Maxine 还减少了动画头像交互和虚构助手性能。动画头像交互容许视频通话者依据爱好抉择动画虚构头像，这些头像虽不是实在的，但能够通过交互者的声音和情绪基调主动驱动。
FaceBook 也应用深度生成模型以极小的带宽（小于 10kbits/s）提取并传输人脸特色点，而后在用户接收端设施上主动重建人脸，进而实现视频通话。他们设计的网络大小仅仅为 3MB，能够在 iPhone8 上运行。
RT2C
实时通信将来的发展趋势是与实时生成相结合，实现实时创作与连贯（RT2C，Real-time Creation and Connection），其中创作局部包含生成和渲染，连贯局部包含传输通信与社交网络。这将极大拓展媒体流传场景，提供更高品质的内容，让媒体制作更加便捷和多样化，提供更新鲜、更人性化的观看成果和应用体验，更加吸引观众，拓展市场。一个典型利用是虚实联合的自在视角直播技术。
自在视角直播是指用户应该可能自在地抉择观看直播的视角。传统的直播只为观众提供固定的一个视角，用户只能随着导播镜头被动地去观看。现有的一些多链路直播也只是当时在场景四周固定几个摄像机，而后提供这几个摄像机的观看视角，不是真正的“自在视角”。自在视角直播是让用户能够平滑无缝、自在地抉择观看角度，通过遥控器或者手势滑动视窗，充沛防止遮挡影响，实现 720°的无缝观看，不错过每一个精彩细节。同时提供一些上帝视角仰视全场，便于观众随时理解全场整体态势，也提供一些运动员或演员的跟踪视角、放大视角，让观众能随时跟踪本人喜爱的运动员或演员的体现。让观众好像在现场自在穿梭，随便观赏表演或较量，关注本人最在意的细节。使得人对真实世界的视觉感知同时具备了沉迷感、立体感、空间感，还解决了个别的平面视频内容不丰盛、交互不天然的问题。与此同时还能够进行 AR 场景加强，在直播的视频流中渲染入一些现场并不存在的特效现象，让电视前的观众有亦真亦幻的视觉感触。比方在大型表演直播中增加虚构的人物、现象或动态效果，与实在的演员进行互动；在较量现场的场间劳动中渲染一些大型的吉祥物投影或者啦啦队表演。
自在视角生成首先须要做摄像机主动定标，这方面曾经有很多钻研。视角生成畛域相干技术大抵能够分为三种：基于模型的绘制、基于图像的绘制和基于景深图像的绘制。基于模型的绘制次要指通过对场景进行三维建模，在获取场景纹理信息后，应用计算机图形学办法做旋转平移失去新视角图像。基于图像的绘制次要指间接利用参考图像来生成新视角，离散采样而后通过插值合成新视角的图像。基于景深的绘制在图像上退出了场景深度，用于辅助绘制新视角的图像。其中基于景深的绘制是比拟风行的办法。通过这些办法能够实现自在视角和上帝视角的生成。而跟踪视角的生成须要借助视频检测与追踪技术，从不同摄像机中辨认和检测人物，并且保障任何时刻都至多有一台摄像机能跟踪到观众抉择跟踪的人物。视频追踪方面目前曾经有很多成熟的办法能够用，包含一些搭建 RNN 网络来进行的追踪的钻研，通过学习新的间隔度量办法来进行滤波的限度玻尔兹曼机进行的追踪钻研等等。下图展现了一种自在视角生成的解决方案。
神经渲染也是获取新视角的重要办法。有些神经渲染办法会在图像交融阶段用一个神经网络来学习输出参考视角之间的一个混合权重，益处是能够更充沛学习对每一个输出视角。有些神经渲染办法不仅学习输出参考视角的混合权重，还要学习场景自身的几何构造、外表材质等属性，并且在一个可微的图形学渲染器中生成出新的视角。还有些神经渲染办法学习一个体素网格模型，用一个固定分辨率的体素网格来记录和更新从输出学到的特色，后续再通过一个渲染网络生成新视角。近年提出的神经渲染办法 NeRF，间接从空间地位和视角（5 维输出）映射到色彩和不透明度（4 维输入 ) 来进行体渲染，首先构建一个场景的稠密模型，而后对系数模型中的采样点进行积分，用神经网络学习采样点与虚构视角之间的关系，在动态场景上获得了很好的成果，如下图所示：
然而 NeRF 只能解决动态场景，并且须要大量工夫和数据去训练模型。NeRF 的改良办法 Deformable NeRF 能够解决动静场景的神经渲染办法，而且能够在手机端运行，成果如下图所示：
AR 场景加强的相干技术曾经在大型晚会中失去了较多的利用。一般来讲，须要当时在线下构建好虚构模型及其动态效果，对场地构建 3D 模型和坐标，进行三维注册，在直播时将模型和动态效果渲染入视频流，嵌入场地的特定地位，而后出现进去。当初对于大型场景的建模能够借助激光雷达实现。因为计算量微小，须要借助边缘计算的办法，进步响应速度，升高提早。
在传输局部，自在视角技术除了能够采纳更大带宽、更低提早的网络进行传输外，还能够采纳硬件编解码、CDN 网络优化等办法进一步提高实时性。随着 5G 网络带来的加强带宽、海量连贯、低延时高牢靠个性，以及 VR/AR 技术的疾速倒退，上述技术路线正在逐步落实。湖南电视台与华为联结制作的节目《舞蹈风暴》借助时空凝固设施，360 度平面出现了舞者表演中的每一个旋转翻滚，用“风暴时刻”定格每一个精彩霎时，让舞蹈之美在节目中得以具象出现，带来了赏心悦目的视觉体验。
Intel True View 也为咱们带来了良好的自在视体验。在橄榄球较量这样激动人心的直播中，Intel True View 同样能够让电视机前的观众随便地抉择本人想要的观看视角，紧盯本人最关注的细节，突破了传统直播视角固定的缺点，加强了互动性。
总结，本文对 RTC 技术做了介绍，并简述了实时渲染技术的倒退历史，而后介绍了实时图像与视频生成畛域的相干钻研工作与最新进展，最初提出 RTC 技术将朝着实时生成与传输 RT2C 方向倒退。
点击理解更多实时互动信息～
参考资料
1.CSDN. 实时通信 RTC 技术栈之：视频编解码 [EB/OL].https://blog.csdn.net/netease… 2018.10.29
2. 知乎. LiveMe FE 李承均：RTC 技术的入门和实际 [EB/OL].https://zhuanlan.zhihu.com/p/… 2020.08.05
3. 知乎. 走过半个多世纪，计算机图形学的倒退历程通知你 5 毛钱的电影特效到底多难 [EB/OL].https://zhuanlan.zhihu.com/p/… 2020.03.31
4.Siarohin A, Lathuilière S, Tulyakov S, et al. First order motion model for image animation [C]// Conference on Neural Information Processing Systems (NeurIPS), 2019.12
5.Wang T C, Mallya A, Liu M Y. One-Shot Free-View Neural Talking-Head Synthesis for Video Conferencing[J]. arXiv preprint arXiv:2011.15126, 2020.
6.Oquab M, Stock P, Gafni O, et al. Low Bandwidth Video-Chat Compression using Deep Generative Models[J]. arXiv preprint arXiv:2012.00328, 2020.
7.Mildenhall B, Srinivasan P P, Tancik M, et al. Nerf: Representing scenes as neural radiance fields for view synthesis[J]. arXiv preprint arXiv:2003.08934, 2020.
8.Park K, Sinha U, Barron J T, et al. Deformable Neural Radiance Fields[J]. arXiv preprint arXiv:2011.12948, 2020.
9. 网易号. 惊艳之举！湖南广电联手华为再掀“舞蹈风暴”[EB/OL].http://mp.163.com/article/FR1… 2020.11.09
10.Youtube. It’s called True View | Intel[EB/OL].https://www.youtube.com/watch… 2020.09.03