关于算法:编码技术新突破字节跳动-AVG-让视频缩小-13

42次阅读

共计 1271 个字符,预计需要花费 4 分钟才能阅读完成。

字节跳动的海内技术团队在寰球视频编码畛域实现最新冲破。

据联结视频专家组 JVET 官网显示,字节跳动 AVG(先进视频团队)往年 2 月发动一项视频压缩的技术提案,该提案可能在优化压缩品质的同时,节约至多 13% 的存储和带宽。例如,一段 180 分钟 H.266/VVC 规范的高清视频(1080P 分辨率),大概须要 3GB 的数据体积,利用新技术后只须要 2.6GB。这是业界公开的单个智能编码工具的最佳性能增益。

字节跳动 AVG 在美国加州建设研发团队,成员有来自高通、微软、英特尔等巨头的资深研究员,也有出身海内外顶级院校的新生代。在此前 JVET 制订新一代国内视频编解码规范 H.266/VVC 的过程中,字节跳动 AVG 累计提交 260+ 项技术提案,其中 130+ 项被驳回,被驳回提案数和驳回率均排在世界前列,是 H.266/VVC 外围算法的次要贡献者之一。

视频是由一张张图片连接起来的动静图像序列,视频编解码则是视频利用的底层核心技术,作用是对图像进行压缩和数字编码,以尽可能小的带宽传送高质量的视频数据。H.266/VVC 可能在不影响画质的状况下,把视频码率升高到前一代规范 H.265/HEVC 的一半。原本只够放标清视频的网速,也能流畅播放高清视频。

此次字节跳动 AVG 提出的新算法,旨在通过深度学习技术构建缩小视频压缩失真的滤波器 (DAM),骨干是基于残差单元重叠的深度卷积网络,辅以自适应模型抉择以最大水平适应个性简单的天然视频。所谓残差单元是指通过引入跳层连贯,容许网络把注意力放在变动的残差上,这与视频图像帧之间的残差有殊途同归之妙,比方武林高手决斗,“剑光一闪”,每一帧图像绝大部分内容是雷同的,闪动的剑光造成残差,这也是视频编码压缩的重点关注对象。

试验结果显示,相比 H.266/VVC 最新规范,字节跳动的 DAM 解决方案可能为视频编码性能带来显著晋升,亮度信号 Y 可实现 10.28% 的性能增益,两个色度信号 U 和 V,性能增益也别离达到 28.22% 和 27.97%,在视频品质有所优化的同时,至多还可放大 13% 的数据体积。


图:测试用例来自国际标准组织的测试视频

据悉,字节跳动 AVG 已自主研发了 BVC2.0 编码器,首次加入国内权威的 MSU 2020 视频编码器大赛,就在四项评估指标上包揽第一。AVG 的各项研究成果,也将通过 BVC 编码器的升级换代投入利用,包含抖音、西瓜视频、今日头条等 App 的视频类内容解决,以及云计算、云游戏等基础架构畛域,从而为用户带来更高清画质、更晦涩播放的视频体验。

AVG 除了深度参加国内视频规范制订外,也为国产新一代视频压缩规范 AVS3 做出重要奉献,包含块划分、静止矢量编码及预测、色 - 亮度帧内预测等多项原创性技术被 AVS3 视频规范所驳回。字节跳动因而取得 2019 年度 AVS 产业技术创新之提案奖,是迄今惟一获奖的互联网企业。

字节跳动 AVG 的张莉博士介绍说,视频压缩规范作为服务商必须遵循的标准,不仅蕴含着难以估计的商业价值,也会为用户带来实实在在的便当。通过规范制订与产品研发,字节跳动会继续翻新并输入技术能力,与行业一起为用户提供更优质的视频服务。

正文完
 0