明天给大家分享一下 InfoQ 平台公开课——弱网下的极限实时视频通信，对于实时视频通信的极限摸索，主讲人是南京大学的马展传授。
一、课题背景
首先说下课题的背景，平时手机、电脑等网络设备接管信息的准确性和及时性都与实时通信无关，以实时视频通信为例，咱们不可能始终保障网络的全时稳固，此时，弱网环境的存在会对进步传输品质起到重要的作用。
援用官网的解释就是：弱网环境长期存在，特地在很多关乎到生存、生产乃至生命的关键时刻，通信网络往往受到极大的物理条件限度，如海事作业、应急救灾、高并发场景等。因而咱们更加须要摸索新实践新办法来无效的剖析、精准的建模、精确的预判，以期实现弱网极限环境下（如极低带宽 <50kbps, 极不稳固网络抖动，极大时延等）的高质量实时视频通信。
马传授先介绍了一下他本人对于视频解决方向钻研了大略十七年左右，目前次要在做两个方面的工作，一方面是对于信息采集的，另一方面是利用相似人脸识别、车流辨认、智能交通等技术进行视频解决，面向人的这样的一个重建。
二、弱网下极限视频通信是什么？
引入弱网
弱网 和惯例的互联网不一样，惯例的互联网从目前极限的角度来看，曾经是相当的不错。而比如说无论是直播也好还是点播也好，不论从信号处理的角度、视频压缩的角度还是从网络的角度，网络的设施曾经可能满足高清超高清，甚至更多。然而遇到大规模泥石流等状况，基站无奈应用；如果是在海事上，只能用的是通信卫星。然而咱们又须要实时的、及时的、精确的把握线上环境，此时钻研一种极限视频框架就显得非常重要，也就是弱网。
三、极限通信的架构设计和劣势
三个方面
一、从最根本的这样的一些工程设计的角度登程，可能真正全副走向 数据挪动。
利用原来的办法进行数据驱动，相似于阿尔法狗 - 围棋，它外面用了强化学习。把强化学习用到去管制网络带宽，去管制咱们简单的像视频编解码器这样的一些参数。绝对应来说，这些网络的这些参数和编辑码参数都是数字。所以如果咱们通过经验性的去设计他这个，心里可能永远是有一个瓶颈的。
二、那第二个就是 经验型的设计，从数据驱动更进一步走到智能化。
马传授在这里取了个题目，叫从 阿尔法 go 到阿尔法 zero。说到阿尔法狗在设计的时候，他会为了很多这样的做一个简略的起步，然而到阿尔法 zero 他就会依据本人的这样的模式从最初始的状态，而后缓缓学习。所以也提出了对于端到端的视频通信，利用在线学习，可能学到整个网络互联当中不同的状态。而后提供一个最新的在线学习的模型或者决策，要实现对繁多用户的个性化学习。
三、利用 视频核心 以及 数据通信 的模式。联合视频内容或者图像的内容，让通信信息自身在这个用户的这个了解上，或者咱们叫语义层面的这样的一个内容了解上，真正从数据能走向人工智能。相当于在感知中，即便视频丢了一帧或者图像有一些像素的失落，甚至有一些大块的失落，都能够通过一些弥补的办法把它获取回来。
四、智能视频编码
在视频信号处理方面，咱们怎么样通过有脑视觉启发的这样的一个神经网络的视频压缩视频编码解决或者这样的一个更低码率的信号处理？
视频压缩它其实是一个十分相似于之前流水线结构的一个过程。从像素而后到编码端，从像素到这个安置流，解码呢从二进制流到像素，它其实是一个信息化的流程。那么这个信息化流程下咱们有一些新实践和新办法应该要挖掘，应该持续去摸索的。
其中提到两大零碎，从 人的角度 来看的话，咱们从视网膜而后到两头的这样的。叫 optical nerve。而后再到这样的一个外侧膝双层，最初到咱们的大脑，咱们叫高级视觉皮层。那么这也是信息的逐渐的提取和感知了解。
在另一个角度下提出了要用这个 生物视觉或者老视觉 来启发，利用最根本的 信息流，从人眼感 3D 世界中进行网络成像。这样的称之为叫 for the pass way 到两头就是外侧汲取底层，而后再通过不同的细胞到咱们的高级皮层，再到外面这个 aerial，而后这外面每个局部它都有很多这样的一个功能性。目前除了实践上的摸索，咱们称为叫这个刺激性试验，还有很多灵长类动物的这样的一个解剖试验。所以也从侧面证实了这样的信息是怎么样的一个传递过程。
技术上的挑战 - 复杂度
对于之前的一些视频图像的解决，其中有一个很关注的就是它的复杂度。它复杂度也是芯片设计到底是否实现的一个很重要的环节。
解决方案
提出了一个新的一种办法，就是咱们是否把这个基于这样一个脑视觉的这样的一个模式可能跟当初的传统的这样的一个视频压缩可能联合起来。这个次要有两个起因，个别是从性能上的。在性能上的话，尽管说咱们当初的图像压缩曾经超过了最新的国际标准。然而在视频聊天的时候，还有肯定的路要走，同时的话就是目前应该有数十亿的设施。已有的这样的一个超大数量存在。所以最无效的办法就是咱们是否在这些已有的这样的设施上可能通过一些简略的革新可能让一些古老的数据失去启发，在视频解决上可能实实在在的用起来。
五、网络自适应传输
基于强化学习的视频码率自适应
问题形容及难点
网络的时延抖动会造成可用带宽的实时变动。现有算法次要为 VoD 场最 / 启发式设计. 实时场景中无奈取得将来视频信息且不容忍较大缓冲
解决思路
1. 设计高效鲁棒的码率自适应算法预测带宽并动静调整视频编码和发送码率
2. 实时码率自适应策略零碎框架, 通过历史的视频流化教训主动学习实时码率自适应算法
前期依据学习国际化先进经验，把这个用到了真正的实时零碎外面。而后用这个实时系在互联网上的一个 any game 上进行了一个分布式学习。所以在这外面咱们提出了就是说离线的这样的一个 adaptive time streaming。采集了很多这样的一个网络垂直，也包含像欧洲，像其余实验室给进去的，而后提出了一个网络反馈信号的规范，其中进行了一个演变。
基于强化学习的视频码率自适应一演进
存在问题
1. 离线训练过程样本受限
2. 模仿环填与理论环境可能不符
3. 思考模型模型泛化性能带来的性能损失
解决思路
1. 网络情况聚类和分类
2. 视频内容服类和分类
3. 针对网络情况、视频别离训练离线模型
4. 在线模型调优进一步笼罩未思考到的环境情况
六、端到端极限视频通信演示平台
做的两个 demo。首先第一个就是跟 any game 做的就是目前整个的这样的一个状态，网络的感知以及这样的一个云游戏。
DEMO- 云游戏
另一个就是在用这样的一个称为叫云中行，而后其实也是通过视频的模式把这样的一个桌面可能传递回来。
DEMO- 远程桌面
以上，就是本次笔记分享的全部内容，本次分享对应的视频内容，能够点击“这里”进行观看。