关于深度学习:图像视频压缩深度学习有一套

摘要： 得益于深度神经网络提取信源特色的能力，深度学习技术在信源压缩编码畛域获得了比传统办法更

本文分享自华为云社区《基于深度学习的图像视频压缩编码》，原文作者：罗鹏。

得益于深度神经网络提取信源特色的能力，深度学习技术在信源压缩编码畛域获得了比传统办法更优异的成果。

基于深度学习的图像压缩编码

自编码器

Ballé1 提出了一种基于变分自编码器的端到端图像压缩模型，采纳联合边信息（side information）的超先验的计划。
模型如下图所示。

Q 示意量化；AE 和 AD 别离示意算术编码和解码；卷积参数示意为层 times×长 times×宽 / 下采纳或上采样，uparrow↑示意上采样，downarrow↓示意下采样。

Minnen2 提出了一种超先验联合自回归模型的计划。

循环神经网络（Recurrent Neural Network, RNN）

Google3 团队提出一种基于长短期记忆（long short-term memory, LTSM）的神经网络架构对图像进行可变压缩率的编码方法。
模型如下图所示。

上图是基于卷积核逆卷积的残差编码器，将上上层各第二和第三的卷积 / 逆卷积模块换成 LTSM 模块即为所提出的模型。

Google4 团队在后面工作的根底上引入了 GRU 和 ResNet 模块，并采纳熵编码进一步晋升了压缩率。

模型如下图所示。

生成反抗网络（Generative Adversarial Network, GAN）

Agustsson5 提出了一种基于 GAN 的图像压缩计划，可选择地对局部 / 全副图像生成对应语义标签；解码时，失常压缩的图像局部失常解码，无图像局部由 GAN 网络生成。
模型如下图所示。

E_E_ 为编码器；q_q_ 为量化器；G_G_ 为解码和生成器；D_D_ 为反抗器。

基于深度学习的视频压缩编码

基于深度学习的视频编码分为两种：

• 采纳深度学习代替传统视频编码中局部模块
• 端到端采纳深度学习编码压缩

局部计划

采样深度神经网络能够代替传统视频编码中的模块包含：帧内 / 帧间预测、变换、高低采样、环路滤波、熵编码等 6。

端到端计划

Lu7 提出了一个端到端采纳深度学习进行视频编码压缩的计划；其采纳卷积光流预计来进行静止预计，并应用两个自编码器对光流信息和残差信息进行编码压缩。
编码框架如下图所示：

采纳一个卷积网络模块进行光流预计 8，以作为静止预计。
采纳自编码器对光流信息进行压缩，自编码器网络如下图所示：

联合上一帧图像和光流信息，取得静止弥补图像。静止弥补网络如下图所示：

将原图像与弥补图像进行差计算取得残差，残差也应用自编码器压缩。

Rippel9 提出了一种端到端基于机器学习（包含深度学习）的视频压缩计划；采纳多帧参考的光流预计做静止预计，采纳自编码器对光流信息和残差编码压缩，采纳机器学习做码率管制。

Reference

1. [2018 ICLR]
   Variational image compression with a scale hyperprior
2. [2018 NIPS]
   Joint Autoregressive and Hierarchical Priors for Learned Image Compression
3. [2016 ICLR]
   Variable Rate Image Compression with Recurrent Neural Networks
4. [2017 CVPR]
   Full Resolution Image Compression with Recurrent Neural Networks
5. [2019 ICCV]
   Generative Adversarial Networks for Extreme Learned Image Compression
6. [2019 MM]
   Deep Learning-Based Video Coding: A Review and A Case Study
7. [2019 CVPR]
   DVC: An End-to-end Deep Video Compression Framework
8. [2017 CVPR]
   Optical Flow Estimation using a Spatial Pyramid Network
9. [2019 ICCV]
   Learned Video Compression

点击关注，第一工夫理解华为云陈腐技术~