关于深度学习:基于深度学习的两种信源信道联合编码

45次阅读

共计 3633 个字符,预计需要花费 10 分钟才能阅读完成。

摘要: 信源编码是一个数据压缩的过程,其目标是尽可能地将信源中的冗余度去掉;而信道编码则是一个减少冗余的过程,通过适当退出冗余度来达到抵制信道噪声,爱护传输数据的目标。

本文分享自华为云社区《基于深度学习的信源信道联结编码》,原文作者:技术火炬手。

信源编码是一个数据压缩的过程,其目标是尽可能地将信源中的冗余度去掉;而信道编码则是一个减少冗余的过程,通过适当退出冗余度来达到抵制信道噪声,爱护传输数据的目标。

经典端对端无线通信零碎如下图所示:

  • 信源 x_x_ 应用信源编码,去除冗余失去比特流 s_s_。
  • 对 s_s_ 进行信道编码(如 Turbo、LDPC 等)失去 y_y_,减少相应的校验位来抵制信道噪声。
  • 对比特流 y_y_ 进行调制(如 BPSK、16QAM 等)失去 z_z_,并经物理信道发送。
  • 接收端对经信道后的符号 bar{z}_z_ˉ 进行解调、解码操作失去 bar{x}_x_ˉ。

依据定义信道形式不同,基于深度学习的信源信道联结编码(Deep JSCC)能够分为两类。

第一类, 受无编码传输的启发,将信源编码、信道编码和调制联结设计为编码器。

零碎模型如下图所示:

第二类, 将通信零碎中的调制、噪声信道、解调模块形象为离散的二进制信道。

零碎模型如下图所示:

第一种模型称为基于物理信道的符号编码,第二种称为基于形象信道的比特编码。

另一方面,信源可依据其是否具备结构化特色划分为两类:

  • 结构化信源,如图像、视频。
  • 非结构化信源,如高斯信源。

结构化信源是 Deep JSCC 的次要钻研场景。因为神经网络对结构化数据具备弱小的特色获取能力,并且有针对各种结构化数据设计的网络结构的呈现。

因而,Deep JSCC 相较于传统设计更具备劣势。

图像 / 视频等具备空间拓扑构造信源适宜 CNN 网络结构,文本 / 语音等具备工夫序列化构造信源适宜 RNN 网络结构。

对于非结构化信源,Deep JSCC 则稍显羸弱。因为非结构化信源外部相关性弱,难以去除冗余。

基于物理信道的符号编码

结构化信源

Gunduz 团队 1 提出了一个传输高分辨率图像的 Deep JSCC 框架。
发送端和接收端都应用 CNN 网络,并在训练时退出了高斯白噪声和瑞利衰减噪声。
提出的 Deep JSCC 框架如下图所示:

试验表明,从 PSNR 和 SSIM 数据来看,提出的信源信道联结编码比信源信道拆散计划更优,在低信噪比的信道环境下,劣势尤其显著。

Gunduz 团队 2 在前一个计划的根底上,提出将噪声反馈模块融入传输零碎,以加强编解码器对变换信噪比的鲁棒性。

解码器将一部分通过噪声信道的接管到的符号 bar{z}_z_ˉ 反馈给编码器,编码器依据 bar{z}_z_ˉ 从新计算信噪比,并对编解码网络参数进行改良,以适应变换的信噪比环境。

其通信计划如下图所示:

Jankowski3 提出了一种应用 Deep JSCC 来进行图像检索的计划,先提取图像特色,而后应用 Deep JSCC 编码传输图像特色子,接收端接管解码特色子并基于特色对图像进行检索。

零碎架构如下图所示:

非结构化信源

Saidutta4 提出了一种利用双编码解码构造的 Deep JSCC 计划对高斯信源进行编码传输。
训练时采纳 MSE 优化器。

零碎架构如下图所示:

在后面工作的根底上,Saidutta5 提出了基于变分自编码器对高斯信源编码的 Deep JSCC 计划,通过假如接管信号和重构信号的高斯统计个性,给出了正则化 MSE 损失的可变下限证实。

Xuan6 提出了一种基于 RNN 对高斯信源编码的 Deep JSCC 计划。

其不须要获取信源的先验信息,并在实践上证实了 Deep JSCC 的有效性,同时证实了基于深度学习的编码器与基于混沌动静零碎(Chaotic Dynamical System)的编码函数之间的相似性。

零碎框架如下图所示:

基于形象信道的比特编码

与传统符号流的 Deep JSCC 计划不同,二进制信道下传输离散比特流无奈计算反向流传梯度。因而,离散信道的嵌入也比物理信道的嵌入更为简单。

近年来,神经网络离散化 7 和离散自编码器 8 的倒退,为上述难点提供了解决思路。针对离散化神经网络的问题,一个简略的办法是应用得分函数预计器代替梯度 9。因为该预计方差较高,一部分工作提出了不同的公式和控制变量来解决该问题 10。

另外,为了达到使离散随机变量间断化的目标,Jang 和 Maddisonet 别离提出了 Gumbel-Softmax 散布 11 和 Concrete 计划 12。

结构化信源

Choi13 提出了一种应用离散自编码器对图像进行形象信道的比特编码方案。为了保留编码的硬离散性,应用了多样本变分下界指标,用于取得低变差梯度。

系统结构如下图所示:

其应用图像及其二进制示意的互信息的变分下界来训练模型,以取得更好的鲁棒性。

Song14 提出了新的正则化办法 IABF(Infomax Adversarial Bits Flip),以加强 NECST 的压缩和纠错能力,晋升鲁棒性。并提出了新的损失函数,实现了网络对高维数据更无效的优化。

Shao15 基于轻量级 CNN 网络提出了可部署到计算能力无限的挪动设施中的低功耗 Deep JSCC。

零碎架构如下图所示:

Farsad16 提出了基于 RNN 构造的 Deep JSCC 计划,以对文本信源进行编码传输。采纳里德 - 所罗门(ReedSolomon)码对信道进行编码;结果表明,当编码比特较短时,该计划比传统办法具更低的单词错误率。

零碎架构如下图所示:

非结构化信源

Carpi17 提出了一种基于强化学习的 Deep JSCC 计划,采纳了比特位翻转解码(bitflipping decoding)、残差信念流传(residual belief propagation)和锚解码(anchor decoding)三种算法,让解码器由数据驱动去学习最佳的解码策略。

  1. [2019 TCCN]
    Deep Joint Source-Channel Coding for Wireless Image Transmission
  2. [2020 JSAIT]
    DeepJSCC-f: Deep Joint Source-Channel Coding of Images with Feedback
  3. [2019 ICASSP]
    Deep Joint Source-Channel Coding for Wireless Image Retrieval
  4. [2019 DCC]
    M to 1 Joint Source-Channel Coding of Gaussian Sources via Dichotomy of the Input Space Based on Deep Learning
  5. [2019 ISIT]
    Joint Source-Channel Coding for Gaussian Sources over AWGN Channels using Variational Autoencoders
  6. [2020 SPCOM]
    Analog Joint Source-Channel Coding for Gaussian Sources over AWGN Channels with Deep Learning
  7. [2019 TPMI]
    Learning Deep Binary Descriptor with Multi-Quantization
  8. [2018 NIPS]
    DVAE#: Discrete Variational Autoencoders with Relaxed Boltzmann Priors
  9. [1992 ML]
    Simple Statistical Gradient-Following Algorithms for Connectionist Reinforcement Learning
  10. [2017 NIPS]
    REBAR: Low-variance, unbiased gradient estimates for discrete latent variable models
  11. [2016 ML]
    Categorical Reparameterization with Gumbel-Softmax
  12. [2016 ML]
    The Concrete Distribution: A Continuous Relaxation of Discrete Random Variables
  13. [2018 ML]
    Neural Joint Source-Channel Coding
  14. [2020 AAAI]
    Infomax Neural Joint Source-Channel Coding via Adversarial Bit Flip
  15. [2020]
    BottleNet++: An End-to-End Approach for Feature Compression in Device-Edge Co-Inference Systems
  16. [2018 ICASSP]
    Deep Learning for Joint Source-Channel Coding of Text
  17. [2019 AACCCC]
    Reinforcement Learning for Channel Coding: Learned Bit-Flipping Decoding
  18. [2020 电信迷信]
    基于深度学习的信源信道联结编码方法综述

点击关注,第一工夫理解华为云陈腐技术~

正文完
 0