本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。
信道容量
写出并解释信道容量的定义
剖析计算如下信道的信道容量
- 无噪无损信道
- 有噪无损信道
- 无噪有损信道
- 二进制对称信道
- AWGN信道
信道容量的定义
香农指出信道中的噪声对信道造成的基本限度是信道的传信率, 而不是可靠性。
信息传输率 R
咱们钻研信道的目标是要探讨信道中均匀每个符号所能传送的信息量, 即信道的信息传输率 R , 即
$$\begin{aligned}R=I(X ; Y) & =H(X)-H(X \mid Y) \\& =H(Y)-H(Y \mid X) \text { bit } / \text { symbol }\end{aligned}$$
信息传输速率
若每个符号传输工夫为 $t(\mathrm{s})$ , 则信道在单位工夫内均匀的信息量定义为信息传输速率
$$R_{t}=\frac{I(X ; Y)}{t} \quad \mathrm{bit} / \mathrm{s}$$
均匀互信息
信道的信息传输率就是均匀互信息
接管到符号 $\mathrm{Y} $ 后均匀每个符号取得的对于 $\mathrm{X}$ 的信息量。
$$\begin{array}{l}I(X ; Y)=\sum_{i} \sum_{j} p(x_{i}) p(y_{j} \mid x_{i}) \log \frac{p(y_{j} \mid x_{i})}{p(y_{j})} \\p(y_{j})=\sum_{i=1}^{n} p(x_{i}) p(y_{j} \mid x_{i})\end{array}$$
定理：
给定信道转移概率矩阵P后,均匀互信息 I(X ; Y) 是输出信源的概率分布 $p(\boldsymbol{x})$ 的 $\cap$ 型上凸函数。
信道容量是齐全形容信道个性的参量,是信道可能传输的最大信息量。使 $I(\boldsymbol{X} ; \boldsymbol{Y})$ 达到最大的信源的概率分布 $p(\boldsymbol{x})$ 称为该信道的最佳输出散布。
信道容量
最大的信息传输率, 单位 bit/symbol
$$C=\max _{p(\boldsymbol{x}_{i})} I(X ; Y)$$
单位工夫的信道容量, 单位 bit/s:
$$C=\frac{1}{T} \max _{p(x_{i})} I(X ; Y)$$
三种非凡信道的容量
无噪无损信道
输入输出一一对应, 信道无噪声无信息损失。
$$\begin{array}{c}H(X \mid Y)=H(Y \mid X)=0 \\C=\max _{p(x)} I(X ; Y)=\max _{p(x)}\{H(X)-H(X \mid Y)\} \\=\max _{p(x)} H(X)=\operatorname{logr}=\log s\end{array}$$
其中$\mathbf{r}$ 为信道输出符号个数, $\mathbf{s}$ 为信道输入符号个数, $\mathbf{r}=s$ 。最佳输出为等概输出。
有噪无损信道
依据接管的符号, 能够齐全确定发送符号, 无信息损失。
$$\begin{array}{c}H(X \mid Y)=0 \\C=\max _{p(x)} I(X ; Y)=\max _{p(x)}\{H(X)-H(X \mid Y)\} \\=\max _{p(x)} H(X)=\operatorname{logr}\end{array}$$
最佳输出为等概输出
无噪有损信道
发送不会出错, 无噪声。然而依据接管符号, 无奈精确判断发送符号, 有信息损失。
$$\begin{array}{c}H(Y \mid X)=0 \\C=\max _{p(x)} I(X ; Y)=\max _{p(x)}\{H(Y)-H(Y \mid X)\} \\=\max _{p(x)} H(Y)=\operatorname{logs}\end{array}$$
最佳输出为使输入等概。
典型信道的信道容量
BSC信道容量
设二进制对称信道的输出概率空间为
$$[\begin{array}{l}X \\P\end{array}]=[\begin{array}{cc}0 & 1 \\\omega & \bar{\omega}\end{array}]$$
信道矩阵:
$$P=[\begin{array}{cc}1-p & p \\p & 1-p\end{array}]=[\begin{array}{ll}\bar{p} & p \\p & \bar{p}\end{array}]$$
$$\begin{array}{l}p(y=0)=\sum_{i=0}^{1} p(x_{i}) p(y_{0} \mid x_{i})=\omega \bar{p}+\bar{\omega} p \\p(y=1)=\sum_{i=0}^{1} p(x_{i}) p(y_{1} \mid x_{i})=\omega p+\bar{\omega} \bar{p} \\H(Y) \\=(\omega \bar{p}+\bar{\omega} p) \log \frac{1}{\omega \bar{p}+\bar{\omega} p}+(\omega p+\bar{\omega} \bar{p}) \log \frac{1}{\omega p+\bar{\omega} \bar{p}} \\=H(\omega \bar{p}+\bar{\omega} p)\end{array}$$
$$\begin{array}{l}H(Y \mid X)=-\sum_{i} p(x_{i}) \sum_{j} p(y_{j} \mid x_{i}) \log p(y_{j} \mid x_{i}) \\=-\sum_{j} p(y_{j} \mid x_{i}) \log p(y_{j} \mid x_{i})=-[p \log p+\bar{p} \log p] \\=H(p) \\I(X ; Y)=H(Y)-H(Y \mid X)=H(\omega \bar{p}+\bar{\omega} p)-H(p) \\\leq 1-H(p)\end{array}$$
当 p 固定时, I(X ; Y) 是 $\omega$ 的 $\cap$ 型上凸函数。
$$\begin{array}{l}I(X ; Y)=H(Y)-H(Y \mid X) \\=H(\omega \bar{p}+\bar{\omega} p)-H(p) \\\leq 1-H(p)\end{array}$$
I(X, Y) 对 $\omega$ 存在一个极大值,该极大值为信源的压缩极限。
BSC 信道容量 $C=1-H(p) $
当固定信源的概率分布 $\omega$ 时, $I(X ; Y)$ 是 p 的U型下凸函数。
- 当 $\boldsymbol{p}=\mathbf{0}$ ,
$C=1-0=1 bit =H(X) $ (信道无噪声) - 当 $p=1 / 2$ ,
$C=1-H(\frac{1}{2}, \frac{1}{2})=0 $ (信道强噪声)
当信源输出符号的速率为 $r_{s}$ (符号/秒), 信道容量
$$C_{t}=r_{s}[1-H(p)]$$
理论信息传输速率 $R_{t}$ 为
$$R_{t}=r_{s}[H(X)-H(X \mid Y)]$$
进入信道输出端的信息速率
$$D_{\text {in }}=r_{s} H(X)$$
BSC信道如下图, $r_{s}=1000$ 符号/秒,谬误传递概率 $p=0.1$ 求:信道容量和理论信息传输速率。
$$\begin{aligned}C_{t} & =r_{s}[1-H(p)] \\& =1000[1+(0.1 \log 0.1+0.9 \log 0.9)] \\& =1000[1-0.469]=531 \mathrm{bit} / \mathrm{s}\end{aligned}$$
信道理论信息传输速率
$$\begin{array}{l}R_{t}=r_{s}[H(X)-H(X \mid Y)] \\=1000 \times[0.811-0.398]=413 \mathrm{bit} / \mathrm{s} \\D_{i n}=r_{s} H(X)=1000 \times 0.811=811 \mathrm{bit} / \mathrm{s}\end{array}$$
解: $I(X ; Y)=H(Y)-H(Y \mid X)$
$$\begin{aligned}H(Y \mid X) & =\sum_{x} p(x) H(Y \mid X=x) \\& =q H(Y \mid X=0)+(1-q) H(Y \mid X=1)\end{aligned}$$
因为:
$$\begin{array}{l}H(Y \mid X=0) \\=p(0 \mid x=0) \log p(0 \mid x=0)+p(1 \mid x=0) \log p(1 \mid x=0) \\=1 \log 1+0 \log 0=0 \\H(Y \mid X)=(1-q) H(Y \mid X=1)=(1-q) h(0.5)=1-q\end{array}$$
$$\begin{array}{l}p(Y=0) \\=q p(Y=0 \mid X=0)+(1-q) p(Y=0 \mid X=1) \\=q+(1-q) \times 0.5=0.5+0.5 q p(Y=1)=q \\p(Y=1 \mid X=0)+(1-q) p(Y=1 \mid X=1) \\=(1-q) \times 0.5=0.5-0.5 q\end{array}$$
故:
$$\mathrm{C}=\max _{q}[H(0.5-0.5 q)-(1-q)]$$
令 $\frac{d C}{d q}=0$ , 有 $q=\frac{3}{5}=0.6$
$$C=h(0.2)-0.4=0.3219$$
间断信道的信道容量
单符号高斯间断信道
输出为间断随机变量 $X \in(-\infty, \infty)$ ,输入为 $Y=X+n$, $n$ : 均值为 0 , 方差为 $\sigma^{2}$ 的高斯变量, 与 X 统计独立。由条件概率可知, 当 X 已知时, Y 也为正态变量, 均值为 0 , 方差为 $\sigma^{2}$ ,
$$p(y \mid x)=\frac{1}{\sqrt{2 \pi \sigma^{2}}} \exp [-\frac{1}{2 \sigma^{2}}(y-x)^{2}]$$
$$\begin{array}{l}I[X ; Y, p(x)] \\=H(Y)-\int_{-\infty}^{\infty} p(x) \int_{-\infty}^{\infty} p(y \mid x) \log p(y \mid x) d y d x \\=H(Y)-\int_{-\infty}^{\infty} p(x) \log (\sqrt{2 \pi e} \sigma) d x \\=H(Y)-\log (\sqrt{2 \pi e} \sigma)\end{array}$$
注: p(x) 高斯分布, 则有
$$\int_{-\infty}^{\infty} p(x) \log p(x) d x=\log (\sqrt{2 \pi e} \sigma)$$
当信道输出功率为时 $P_{W i}$ , 输出功率可示意为 $P_{W o}$ , 且输出与噪声独立时
$$P_{W o}=P_{W i}+\sigma^{2}$$
使 H(Y) 最大的 Y 是均值为 0 的正态分布随机变量。而由 $Y=X+n$ 可知, $X$ 也应该为均值为零方差为 $P_{W_{i}}$ 的随机变量。所以
$$C=\log \sqrt{2 \pi e P_{W o}}-\log \sqrt{2 \pi e \sigma^{2}}=\frac{1}{2} \log \frac{P_{W o}}{\sigma^{2}}=\frac{1}{2} \log (1+\frac{P_{W i}}{\sigma^{2}})$$
如不限度输出信号, $H(\boldsymbol{H})$ 、 $P_{W_{o}}$ 可趋于有限, 此时信道容量无限大一一理论不可行。
限频、限功率高斯信道的容量
信道输出信号为安稳随机过程 $X(t)$ , 加性烦扰为 $n(t)$ , 输入为 $Y(t)=X(t)+n(t)$ 。输出信号功率受限, 即 $E[X^{2}(t)] \leq S$ 。
限带信道的频率特性:
$$H(f)=\{\begin{array}{ll}1, & |f|<B \\0, & |f|>B\end{array}.$$
$ Y(t), X(t), n(t)$ 的带宽为 B , 以 2B 采样，得 $Y(t_{1}), Y(t_{2}), \ldots$ ,
$ Y(t_{n}), \ldots, Y(t_{L}) \ldots, X(t_{1}), X(t_{2}), \ldots, X(t_{n}), \ldots, X(t_{L}) \ldots, n(t_{1}), n(t_{2}), \ldots ,
n(t_{n}), \ldots, n(t_{L}) \ldots$ 。时刻 $t_{n}, Y(t_{n})=X(t_{n})+n(t_{n})$ 。
由单符号高斯信道容量公式可得
$$\begin{aligned}C & =\max _{p(x)}[I(X(t_{n}), Y(t_{n}), p(x))] \\& =\frac{1}{2} \log (1+\frac{s}{\sigma^{2}})\end{aligned}$$
上式中 $\frac{S}{\sigma^{2}}$ 为信号功率与噪声功率的比, 也即信噪比 , 其中 $S=E[X^{2}(t_{n})], \sigma^{2}=E[n^{2}(t_{n})]$ 。
单符号信号一>多符号多维信道
$X_{L}, Y_{L}$ 别离示意 L 个抽样 $X(t_{n}), Y(t_{n}) (n=1,2, \ldots, L)$ 的 L 维向量, 则对多符号信道
$$I(X_{L}, Y_{L}) \leq \frac{L}{2} \log (1+\frac{S}{\sigma^{2}})$$
当 $X(t_{n}), Y(t_{n})$ 统计独立时
$$\max [I(X_{L}, Y_{L})]=\frac{L}{2} \log (1+\frac{S}{\sigma^{2}})$$
T 工夫内抽样数 L=2BT , 则信道传输最大信息量
$$C_{T}=B T \log (1+\frac{S}{\sigma^{2}})$$
对间断信道, 定义单位工夫内传送的最大信息量为信道容量
$$C=\frac{C_{T}}{T}=B \log (1+\frac{S}{\sigma^{2}})$$
限频、限功率高斯信道的信道容量公式, 也即 Shannon公式。
香农公式的另一种表白: 因为 $\lim _{x arrow 0} \frac{1}{x} \log (1+x)=\log _{2} e \approx 1.44 $, 所以 $\lim _{B arrow \infty} C \approx 1.44 \frac{S}{N_{0}}$ 。
$C=B \log (1+\frac{S}{N_{0} B}) b i t / s, N_{0}$ 为限带高斯白噪声 n(t) 的单边功率谱密度。
当 $S arrow \infty$ 时, $C arrow \infty$ ; 当 $ B arrow \infty$ 时, $C arrow$ 一确定值。
$$\begin{array}{c}C=B \log (1+\frac{S}{N_{0} B})=\frac{S}{N_{0}} \frac{N_{0} B}{S} \log (1+\frac{S}{N_{0} B}) \\\lim _{B arrow \infty} C=\frac{S}{N_{0}} \lim _{B arrow \infty}[\frac{N_{0} B}{S} \log (1+\frac{S}{N_{0} B})] \approx 1.44 \frac{S}{N_{0}}\end{array}$$
当 $C_{\infty}=1 \mathrm{bit} / \mathrm{s}$ ,有 $\frac{P_{s}}{N_{0}}=\ln 2=0.693 \sim-1.6 d B$ ,即带宽不受限制时, 传输1bit信息, 信噪比最低只须要-1.6dB, 这是加性高斯噪声信道信息传输速率的极限值, 是所有编码方式所能达到的实践极限。
$\gamma=\frac{C_{t}}{W}=\log (1+S N R) b p s / H z$-- 单位频带的信息传输速率（频带利用率）。
当 $\gamma arrow 0$ 时, $\mathrm{SNR}=-1.6 \mathrm{~dB}$ , 此时信道齐全丢失通信能力。
小结：
保障肯定的信道容量的带宽 B 和信噪比 $S / N_{0}$ 能够调换, 即减少带宽 能够升高必须的信橾比, 或减少信噪比也能够升高所必须的带宽。
Shannon信道编码定理
揭示了信源信息速率与信道容量的关系
如果信源的信息率 (即每秒收回的信息量）小于信道容量, 则存在一种编码方式, 可保障通过该信道传送信息的差错率任意小；反之 , 如果信源的信息率大于信道容量, 则不可能存在此种编码方式, 传送信息的差错率将很大。
现设计一个M进制数字通信零碎，要求码元速率为 $10^{4}$ 波特。已知信道为 $A W G N$ 信道，带宽为 $10 \mathrm{kHz}$ ， 噪声的功率谱密度为 $N_{0}=1 \times 10^{-12} \mathrm{~W} / \mathrm{Hz}$ , 零碎最大发送功率为 $10 \mathrm{~W}$ ，信道衰减 $80 \mathrm{~dB}$ 。问 $\mathrm{M}$ 最大取值是多少?
解: $C=B \log (1+\frac{S}{N}) $
$$10 \lg (\frac{P_{T}}{P_{R}})=10 \lg (10 / P_{R})=80 arrow P_{R}=10^{-7} \mathrm{~W}$$
故
$$\begin{array}{c}\frac{S}{N}=\frac{10^{-7}}{1 \times 10^{-12} \times 10^{4}}=10 \\C=B \log (1+\frac{S}{N}) \approx 3.46 \times 10^{4} \mathrm{bit} / \mathrm{s} \\C \geq R_{B} \times \log M arrow 3.46 \times 10^{4} \geq 10^{4} \times \log M arrow M \leq 3.46\end{array}$$
故：M最大取值为 8 。
信源与信道的匹配
信道的信息的传输速率 $\mathbf{R}$ 与信源散布密切相关。
$\mathbf{R}=\mathbf{C}$ , 信源与信道匹配。
$\mathbf{R} \neq \mathbf{C}$ , 信源与信道不匹配, 信道有冗余
定义
$$信道冗余度 = C - I (X ; Y)$$
其中 $I(X ; Y)$ 是信道理论通过的均匀信息速率
$$信道绝对冗余度 =1-\frac{I(X ; Y)}{C} $$
参考文献：
- Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
- Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
- 周炯槃. 通信原理（第3版）[M]. 北京：北京邮电大学出版社, 2008.
- 樊昌信, 曹丽娜. 通信原理（第7版） [M]. 北京：国防工业出版社, 2012.