基于深度学习的两种信源信道联合编码

举报
技术火炬手 发表于 2021/03/25 11:03:17 2021/03/25
【摘要】 信源编码是一个数据压缩的过程,其目的是尽可能地将信源中的冗余度去掉;而信道编码则是一个增加冗余的过程,通过适当加入冗余度来达到抵抗信道噪声,保护传输数据的目的。

信源编码是一个数据压缩的过程,其目的是尽可能地将信源中的冗余度去掉;而信道编码则是一个增加冗余的过程,通过适当加入冗余度来达到抵抗信道噪声,保护传输数据的目的。
经典端对端无线通信系统如下图所示:
image.png

  • 信源 xx 使用信源编码,去除冗余得到比特流 ss。
  • 对 ss 进行信道编码(如 Turbo、LDPC 等)得到 yy,增加相应的校验位来抵抗信道噪声。
  • 对比特流 yy 进行调制(如 BPSK、16QAM 等)得到 zz,并经物理信道发送。
  • 接收端对经信道后的符号 \bar{z}zˉ 进行解调、解码操作得到 \bar{x}xˉ。
    根据定义信道方式不同,基于深度学习的信源信道联合编码(Deep JSCC)可以分为两类。
    第一类,受无编码传输的启发,将信源编码、信道编码和调制联合设计为编码器。
    系统模型如下图所示:
    image.png

第二类,将通信系统中的调制、噪声信道、解调模块抽象为离散的二进制信道。
系统模型如下图所示:
![image.png](https://bbs-img.huaweicloud.cn/blogs/img/语音等具有时间序列化结构信源适合 RNN 网络结构。
对于非结构化信源,Deep JSCC 则稍显羸弱。
因为非结构化信源内部相关性弱,难以去除冗余。

基于物理信道的符号编码

结构化信源
Gunduz 团队1 提出了一个传输高分辨率图像的 Deep JSCC 框架。
发送端和接收端都使用 CNN 网络,并在训练时加入了高斯白噪声和瑞利衰减噪声。
提出的 Deep JSCC 框架如下图所示:
image.png

实验表明,从 PSNR 和 SSIM 数据来看,提出的信源信道联合编码比信源信道分离方案更优,在低信噪比的信道环境下,优势尤其明显。
Gunduz 团队2 在前一个方案的基础上,提出将噪声反馈模块融入传输系统,以增强编解码器对变换信噪比的鲁棒性。
解码器将一部分经过噪声信道的接收到的符号 \bar{z}zˉ 反馈给编码器,编码器根据 \bar{z}zˉ 重新计算信噪比,并对编解码网络参数进行改进,以适应变换的信噪比环境。
其通信方案如下图所示:
image.png

Jankowski3 提出了一种使用 Deep JSCC 来进行图像检索的方案,先提取图像特征,然后使用 Deep JSCC 编码传输图像特征子,接收端接收解码特征子并基于特征对图像进行检索。
系统架构如下图所示:
image.png

非结构化信源

Saidutta4 提出了一种应用双编码解码结构的 Deep JSCC 方案对高斯信源进行编码传输。
训练时采用 MSE 优化器。
系统架构如下图所示:
image.png

在前面工作的基础上,Saidutta5 提出了基于变分自编码器对高斯信源编码的 Deep JSCC 方案,通过假设接收信号和重构信号的高斯统计特性,给出了正则化 MSE 损失的可变上限证明。
Xuan6 提出了一种基于 RNN 对高斯信源编码的 Deep JSCC 方案。
其不需要获取信源的先验信息,并在理论上证明了 Deep JSCC 的有效性,同时证明了基于深度学习的编码器与基于混沌动态系统(Chaotic Dynamical System)的编码函数之间的相似性。
系统框架如下图所示:
image.png

基于抽象信道的比特编码

与传统符号流的 Deep JSCC 方案不同,二进制信道下传输离散比特流无法计算反向传播梯度。
因此,离散信道的嵌入也比物理信道的嵌入更为复杂。
近年来,神经网络离散化7和离散自编码器8的发展,为上述难点提供了解决思路。
针对离散化神经网络的问题,一个简单的方法是使用得分函数估计器替代梯度9。
由于该估计方差较高,一部分工作提出了不同的公式和控制变量来解决该问题10。
另外,为了达到使离散随机变量连续化的目的,Jang 和 Maddisonet 分别提出了 Gumbel-Softmax 分布11和 Concrete 方案12。

结构化信源

Choi13 提出了一种使用离散自编码器对图像进行抽象信道的比特编码方案。
为了保留编码的硬离散性,使用了多样本变分下界目标,用于获得低变差梯度。
系统结构如下图所示:
image.png

其使用图像及其二进制表示的互信息的变分下界来训练模型,以获得更好的鲁棒性。
Song14 提出了新的正则化方法 IABF(Infomax Adversarial Bits Flip) ,以增强 NECST 的压缩和纠错能力,提升鲁棒性。
并提出了新的损失函数,实现了网络对高维数据更有效的优化。
Shao15 基于轻量级 CNN 网络提出了可部署到计算能力有限的移动设备中的低功耗 Deep JSCC。
系统架构如下图所示:
image.png
Farsad16 提出了基于 RNN 结构的 Deep JSCC 方案,以对文本信源进行编码传输。
采用里德-所罗门(ReedSolomon)码对信道进行编码;结果表明,当编码比特较短时,该方案比传统方法具更低的单词错误率。
系统架构如下图所示:
image.png

非结构化信源

Carpi17 提出了一种基于强化学习的 Deep JSCC 方案,采用了比特位翻转解码(bitflipping decoding)、残差信念传播(residual belief propagation)和锚解码(anchor decoding)三种算法,让解码器由数据驱动去学习最佳的解码策略。

  1. [2019 TCCN]
    Deep Joint Source-Channel Coding for Wireless Image Transmission
  2. [2020 JSAIT]
    DeepJSCC-f: Deep Joint Source-Channel Coding of Images with Feedback
  3. [2019 ICASSP]
    Deep Joint Source-Channel Coding for Wireless Image Retrieval
  4. [2019 DCC]
    M to 1 Joint Source-Channel Coding of Gaussian Sources via Dichotomy of the Input Space Based on Deep Learning
  5. [2019 ISIT]
    Joint Source-Channel Coding for Gaussian Sources over AWGN Channels using Variational Autoencoders
  6. [2020 SPCOM]
    Analog Joint Source-Channel Coding for Gaussian Sources over AWGN Channels with Deep Learning
  7. [2019 TPMI]
    Learning Deep Binary Descriptor with Multi-Quantization
  8. [2018 NIPS]
    DVAE#: Discrete Variational Autoencoders with Relaxed Boltzmann Priors
  9. [1992 ML]
    Simple Statistical Gradient-Following Algorithms for Connectionist Reinforcement Learning
  10. [2017 NIPS]
    REBAR: Low-variance, unbiased gradient estimates for discrete latent variable models
  11. [2016 ML]
    Categorical Reparameterization with Gumbel-Softmax
  12. [2016 ML]
    The Concrete Distribution: A Continuous Relaxation of Discrete Random Variables
  13. [2018 ML]
    Neural Joint Source-Channel Coding
  14. [2020 AAAI]
    Infomax Neural Joint Source-Channel Coding via Adversarial Bit Flip
  15. [2020]
    BottleNet++: An End-to-End Approach for Feature Compression in Device-Edge Co-Inference Systems
  16. [2018 ICASSP]
    Deep Learning for Joint Source-Channel Coding of Text
  17. [2019 AACCCC]
    Reinforcement Learning for Channel Coding: Learned Bit-Flipping Decoding
  18. [2020 电信科学]
    基于深度学习的信源信道联合编码方法综述
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。