弱网的场景
弱网与惯例的互联网还是不一样的，惯例的互联网对于极限挑战，曾经是不错的。无论是直播、点播，基础设施、网络设备以及压缩解决技术等曾经齐全能够满足高清、超高清、多视点等需要了。但对于弱网来说，比方：应急救灾、近海海事、无人图传、边防监控等，这些场景往往须要实时的通信，但这些场景下，依赖基站通信存在肯定的天然起因可能会导致通信受限，甚至中断。比方：大规模泥石流、地震等自然灾害。
极限通信架构
基于弱网理论的场景，以及理论存在的问题，南大实验室提出了一个极限通信的架构，次要体现在三个方面：
- 数据驱动
- 在线强化学习实现个性化
- 数据通信转向人工智能
数据驱动
从数十年的钻研教训来看，从最根本的工程设计角度登程，来走向数据驱动，当然，这一点也被证实是可行的：比方：强化学习等来利用到管制网络带宽，视频编解码器等参数，这些参数都是比较复杂的。
在线强化学习实现个性化
当然，心愿从数据驱动，能够再更进一步走向自动化、智能化，因为你无奈晓得接触的网络的变动，无奈预计是什么样的散发存在。所以心愿通过最新的在线学习的模型、策略等，实现端到端的视频通信。
数据通信到人工智能
大部分的视频通信，目前都是以数据通信的形式存在，例如：交换机等不晓得数据到底是视频，还是图像，还是其它什么的。所以心愿联合视频、图像内容，其自身在用户了解上，或者说语义层面上，真正从数据层走向人工智能。因为在用户感知中，即便视频失落一帧，像素失落，咱们都能够通过弥补的方法给取回来。在网络最差的时候，咱们是否能够在网络不能读取的时候，被动丢包，能够借助一些终端设备来解决。例如：一些比拟风行的手机里包含芯片，这些芯片计算能力很强，能够在网络丢包时，终端给予弥补。咱们后期在做一些测试：当把基于线性的模型推广到数据驱动的话，能把用户感知、视频通信感知的性能晋升百分之十以上。同时，咱们把离线的模型变成在线的模型，能够再次晋升其性能。当然，如果在用户感知的角度被动丢包的话，能够予以晋升。面临的艰难是：如何把这些更好的部署到终端、网络节点、服务器上。
智能视频编码
对于大数据量的视频压缩与编码，这是很有必要的。那么，如何把压缩、编码做到最好，这是 30 多年来人们的一个谋求。当然，这些年来，能够看到视频压缩还是有肯定的提高。从 MPEG-1 到 VVC、AVS3，有将近 16 倍的晋升。
在最后，基于现有的实践，想通过人的了解零碎，启发一个新的视频编解码零碎。并且过后有相干的一些实践文章被提出。最初，思考从生物视觉、脑视觉的角度登程，来做这一块的工作。
从工艺角度登程，随着当初工艺谋求的越来越量级化，5 纳米、3 纳米，而且设施功耗、算力等成为最大的思考。那么从 2015 年，谷歌开始研发本人的 GPU。后续的话，苹果、华为等手机端也存在这种减速设施的卡。从工业上是能够这样做的，但其带来的就义是比拟大的。
所以，当初钻研的是，视频图像的内容，无非是人来看，或者是机器用。但都须要了解视频图像的内容，能力更好的决策。所以，看视频内容的时候，有时候是实现一种心理上的感应。比方：看悬疑、悲剧、恐怖等电影，有开心、高兴，也有悲伤。从人的角度，有视网膜，到两头的 Nerve，再到大脑 brain，绝对应的高级视觉底层。这也是信息的部分抽取、剖析、感知、了解。绝对应的，咱们称为机器智能的状况下，就监控而言，前端有相机 Camera，连贯上网络，通过网络会送到相似于城市大脑这样大型的计算中心进行一些决策。这样的一个零碎过程，就相似于咱们人的大脑信息的提取、传输，再到前面的心理决策，很直观。所以，咱们能够从人的这样的一个了解零碎来启发咱们是否通过这样的形式来做。同时，咱们也驳回了一些其余的资料，比方：国内上一些分支也在做这方面的钻研。咱们心愿新的常识来帮忙咱们梳理、启发。在这种状况下，咱们提出采纳生物视觉或脑视觉来启发做这样的一件事。
回到根本的信息流，视频图像从人眼感知到视网膜成像，通过这样的 pathway，到高级视网膜皮层，也会到其余的皮层，V2、V4、MT 等。这才是一个残缺的 visual information flow，科学界也通过解剖剖析这一系列的传输信息的过程。所以，咱们想通过脑视觉、神经科学来做想做的一些事件。在历史发行的很多文章中，在六十年代，美国科学家提出，人眼视觉感知器，感知世界的时候解决大略是 100MB/s，而后通过视网膜上的细胞，进行拆散后，进入外侧系地层，大略压缩 100 倍：1MB/s，而后一系列细胞，再到 V1 高级视觉皮层时，只有 40b/s。因为人眼关注的区域，分辨率会很高，不关注的分辨率会较低。把其放大 10 倍的话，当初最好的视频规范 VVC，在播送的条件状况下，也是 1000 倍左右。同时，人眼对于图像视频是非部分的操作，因为人眼的扫视、转动，对于某些区域、色彩、形态会特地的敏感。这就是注意力机制，德国的一个博士早 20 年开始做，V1 所出现进去的跟这个注意力机制就十分类似，所以咱们加了这个模块：nonlocal attention。前面的一些模块，跟 V1 之后，传输到更深层次的语义，咱们设计成 hyper，次要是帮忙信息的重建与信息的提取。最初做成简略的端到端的对称，通过对称来提取信息表针。很乏味的是，这样的信息表针，不论是图像的像素，或者是多幅图像的静止也好，还是有静止的错落也好，都能很好的表白。所以咱们称为：A Hypothetical Feedforward System with Feedback 这样一个 model，简称 HFF。而后这个 HFF 对于像素都是一个残缺的表白，这个 model 利用到视频压缩、图像压缩，后果还是比拟喜人的。最近的图像压缩曾经超过 VVC 的成果。
对于设计中，也存在肯定的挑战，比方：视频的复杂度。之后提出了一种新的形式，基于脑视觉的形式与传统的视频压缩联合起来，次要是 2 个起因，性能方面，当初图像压缩曾经超过了国内的规范，但视频压缩中还是略低。第二个就是现有的设施上曾经有一些的存在，所以最无效的办法是，是否在已有的设施通过一些简略的 net，这样让新的脑信息的启发解决实实在在的用起来，所以提出了新的计划：Performance/Complexity。这次要的概念是，人的大脑不会像解码器一样，只是局部的解析、最初更多是交融的过程。同时，人的细胞对于不同的图像特色的敏感水平是不一样的。
网络自适应传输
首先，通过的 BBR 去做码率管制的话，是比拟无限的。所以，有一个思考：能不能把网络的 trace、network 变动作为一种形式来做强化学习，从而推出基于强化学习的视频网络自适应。学习国内上比拟先进的教训，把这个利用到实时零碎中，产生了离线 ARS 训练算法。当然，比照于以后先进算法 BBR、GCC，晋升 12% 左右的 QoE 性能。然而，这个过程也不是完满的演进，存在肯定的缺点。比方：离线训练的过程中存在样本受限，与理论环境不相符。在收集很多的网络模块，比方：4G 的，那么对于 5G 的网络特色是否不一样。所以须要在线学习，在线学习就网络情况进行分类、视频分类的都须要进行解决。次要波及到网络情况和视频内容的聚类、分类。这样，总算给出一个较优的性能。同时，会对于每个用户的信息进行一个新模型的提炼，当这样的状态与均匀状态的区别太大时，就会应用新模型，同时，会主动部署训练，造成一个模型滚动计划体系。依据最新的演进，那么比照于离线学习的模型，在线学习的性能显著晋升 8.1% 的归一化 QoE。从离线的 OffLine ARS，到 OnLine 的 ARS，在内容上晋升的性能还是不一样的，但大部分都有较高的晋升。从离线学习，由部分的环境以及训练的资源受限，到在线学习时，实时的获取用户的信息源以及环境因素，能够很好的为新模型训练提供更多、更好的保障，这样训练进去的模型，能够更好的兼容理论情景下的环境因素等变动，同时，能够在新环境中，作为一些补充、欠缺来生成新的模型，是有利于实时网络模型训练的。
总结
弱网环境的次要问题有两个方面，一方面是带宽极低，其实也不是很大问题，只有网络安稳。那么就波及到第二个问题，网络抖动。其实弱网不仅仅在应急救灾、近海海事等，尤其当初 5G 上来后，频率变高，须要直线传输，当遇到许多妨碍的时候会带来网络的变动比拟大，这种也称为弱网。当然，有时候，wifi 下也会存在弱网的呈现。面对带宽低，次要是信息量，进步压缩。面对网络抖动大，通过网络管制、机器学习来学习网络的状态。目前咱们的钻研还是比拟当先于国内的，尤其是对于压缩编码。在现有的模型算法中，咱们的性能有很大的劣势。
精彩举荐
- 实战 | 云原生时代的微服务架构
- 浅谈微服务平安架构设计
- 消息中间件那点事儿
- Spring Cloud 与 K8s 在微服务层面的不同
- 如何利用 k8s 拉取公有仓库镜像
- 个站建设基础教程
- 浅谈 Java 汇合 | 底层源码解析
- 大佬整顿的 mysql 标准，分享给大家
- 微服务自动化部署 CI/CD