关于信息:率失真函数的性质

信息率失真函数的性质

1. R(D) 是非负的实数, $\mathrm{R}(\mathrm{D}) \geq 0$。

   其定义域为 $0-\mathbf{D}_{\text {max}}$ , 其值为 $0 \sim \mathbf{H}(\mathrm{X})$。当 $D>D_{\text {max}}$ 时, $R(D) \equiv 0$

2. R(D) 是对于 $\mathrm{D}$ 的下凸函数

   R(D) 在定义域内是失真度 $\mathrm{D}$ 的 $\mathrm{U}$ 型下凸函数

3. R(D) 的枯燥递减性及连续性

   答应的失真度越大, 所要求的信息率越小。反之亦然。

率失真函数的枯燥递加和连续性

R(D) 的非增性也容易了解。容许的失真越大 $\rightarrow$ 信息率越小。

• 依据率失真函数的定义，它是在均匀失真度小于或等于容许的均匀失真度 D 的所有信道汇合 $B_{D}$ 中，取均匀互信 息的最小值。
• 当容许失真度扩充，$B_{D}$ 汇合也扩充，这时在扩充的 $\boldsymbol{B}_{D}$ 汇合中找最小值，显然这最小值或者不变，或者变小，所以R(D) 是非增的。

根据上述性质, 能够画出率失真函数的个别模式, 如下图示。

图中 $R(0)=H(X)$, $R\left(D_{\max}\right)=0$ , 决定了曲线边缘上的两个点。而 在 0 和 $D_{\text {max}}$ 之间, R(D) 是枯燥递加的下凸函数。

在间断信源状况下, 当 $D \rightarrow 0$ 时, $R(D) \rightarrow \infty$ , 曲线将不与 R(D) 轴相交。

对于信息率失真函数的阐明:

通常咱们总心愿信息通过信道传输时输出与输入之间的互信息最大，是在信道给定状况下的要求。而这里是在信源给定而不是信道给定条件下传输。信息率失真实践要解决的问题就是 计算满足失真要求的传输所需的最小信道容量或传输速率，以达到升高信道的复杂度和通信老本的目标。

实现限失真信源编码的形式

适应信源形式: 意识信源的理论主观概率统计个性，寻找适应此类概率统计个性的编码方法。

革新信源形式: 革新信源的主观统计个性，即解除理论信源音讯序列各音讯间的统计相关性，使之 成为无记忆信源，进而采纳预测编码和变换编码。

参考文献：

1. Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
2. Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
3. 周炯槃. 通信原理（第 3 版）[M]. 北京：北京邮电大学出版社, 2008.
4. 樊昌信, 曹丽娜. 通信原理（第 7 版）[M]. 北京：国防工业出版社, 2012.

本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown 版本已归档至【Github 仓库：https://github.com/timerring/information-theory】或者公众号【AIShareLab】回复 信息论 获取。