关于信息:失真的概念和定义

本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown 版本已归档至【Github 仓库：https://github.com/timerring/information-theory】或者公众号【AIShareLab】回复 信息论 获取。

失真的概念和定义

信息率失真函数

为什么要钻研信息率失真函数?

用于限失真信源编码

• 失真在传输中是不可避免的 ;

• 接收者都存在肯定的灵敏度和分辨力，超过灵敏度和分辨率所传送的信息是无意义的

  • 即便信宿能分辨和分别，但对通信品质的影响不大，也可称为容许范畴内的失真
• 钻研在给定品质要求下的 最大容许失真 D，并求出相应的信源给出的 最小信息速率 R(D)

限失真信源编码的必要性

对于限失真信源, 应该传送的最小信息率是 R(D), 而不是无失真状况下的信息熵 H(X) , 显然 $H(X) \geq R(D)$ , 当且 仅当 D=0 时等号成立。

为定量度量 D, 必须建设信源的主观失真度量, 并与 D 建设定量关系。

R(D) 函数是限失真信源信息处理的实践根底。

R(D) 是传送每个信源符号所须要的最小的均匀二进制位数。

信源有损压缩的实际意义

依据信道编码定理，信道不可能实现对音讯的齐全无失真传输。理论生存中，人们并不要求取得齐全无失真的音讯，通常只要求近似地再现原音讯，也就是容许肯定的失真存在。在限定失真度条件下压缩信源代码长度(包含削减一部分主要信息）的编码，叫做限失真信源编码。

两种限失真传输

• 离散信源限失真传输，这里次要是编码的问题。
• 间断信源限失真传输，次要是数字化的问题。

限 (有) 失真信源编码的指标

对于有失真信源编码，咱们心愿在不大于肯定编码速率（即传输每信源符号所需的均匀的位数) 的条件下，使均匀失真限度到最小; 或者在均匀失真不大于某个值的条件下，使编码速率限度到最小。

失真度的定义

既然容许肯定的失真存在，对信息率的要求便可升高。能够引入一个失真函数，计算在失真度肯定的状况下传信率的极小值。

误差或失真越大，接收者收到音讯后判断信源存在的不确定性越大，取得信息量越小，信道传输音讯所需的信息率也越小。所以信息率与失真无关。为定量形容信息率和失真的关系，必须先规定失真的测度。

零碎模型

对信源收回的音讯 $X$ 进行有失真信源编码，经理想无噪声信道传输，达到信源译码器，输入为 $Y$。因为编码有失真，所以 $Y$ 不是 $X$ 的准确复现。如果把从信源编码器到信源译码器的传输通道看成一个有噪声信道，这个信道称做试验信道，那么 $X$ 和 $Y$ 就别离为试验信道的输出和输入。

因而能够通过钻研 试验信道的输入输出之间的互信息 来钻研限失真信源编码。

参考文献：

1. Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
2. Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
3. 周炯槃. 通信原理（第 3 版）[M]. 北京：北京邮电大学出版社, 2008.
4. 樊昌信, 曹丽娜. 通信原理（第 7 版）[M]. 北京：国防工业出版社, 2012.