本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown 版本已归档至【Github 仓库：https://github.com/timerring/information-theory】或者公众号【AIShareLab】回复 信息论 获取。
根本线性分组码与性能参数
线性分组码 (n,k) 定义
线性分组码是由 (n, k) 模式示意。编码器将一个 k 比特信息分组（信息矢量）转变成一个更长的由给定符号集组成的 n 比特编码分组（编码矢量）。当这个符号集蕴含 2 个元素 (0 and 1) 时 , 称为二进制编码。
k-bit 信息造成 $2^k$ 不同的信息序列 , 称为 k 元组。n-bit 能够造成 $2^n$ 个不同序列，称为 n 元组。
(n，k）分组码输入的长度为 n 的序列称为 码字 。所有这些码字的汇合称为该线性分组码的 码组。
因为 n >k，故编码时需按某种规定退出r=n- k 个监督（校验）码元。
对于分组码(n,k), 定义
- 编码效率: k/n
- 编码冗余度:(n-k)/n
线性分组码的几个重要概念
- 码距（汉明间隔）：两个码组中 对应地位上具备不同二进制码元的位数
-
码重（汉明分量）：线性分组码中，将码字（组）中 所含 1 的数目 定义为码字 (组) 的分量
码字 0011010 和 1101011 之间的码距为 4，码字 0011010 的码重是 3
-
编码信道：钻研信道编码和译码的信道模型
- 二元码、硬裁决时，建模为 BSC（二元对称）信道
- 软裁决时，建模为 AWGN 信道
- 软裁决与硬裁决译码（简略了解：译码器输出比特的选取）
信道编码性能参数
次要的性能参数有 过错概率、编码增益、检纠错能力 、 编码效率 k /n。
编码增益：给定过错概率下，通过编码所能实现的比特信噪比 $ 𝑬_𝒃/𝑵_𝟎$ 的缩小量。
- 检错能力 l: $d_{\text {min}} \geq l+1$
- 纠错能力 t: $d_{\min} \geq 2 t+1$
- 检错 l 纠错 t: $d_{\text {min}} \geq l+t+1$
设某二元信道编码码字汇合 A 中任意两个码字之间的汉明间隔别离为:6、7 和 8。请问该信道编码最多能纠正几位谬误，检测出几位谬误。
检错能力 l: $d_{\text {min}} \geq l+1$ —-> l = d – 1 = 5 最多检测 5 位谬误
纠错能力 t: $d_{\min} \geq 2 t+1$ —-> t = (d – 1) / 2 = 2.5 取整，最多纠 2 位错
根本线性分组码
a. 奇偶监督码
码字由 n 个码元组成，n – 1 个信息码元，另 一码元 为奇（偶）监督码元 **(n, n-1)** 奇偶监督码.
码率: (n-1)/ n
$$
\begin{array}
CC = (C_{n-1}, C_{n-2}, \ldots, C_{1}, C_{0}) \Rightarrow C_{n-1} \oplus C_{n-2} \oplus \ldots \oplus C_{1} \oplus C_{0} \\
\end{array}
$$
上式 =0 (偶校验)or 1(奇校验)
可检测到 奇数 个谬误图样, 如果谬误个数为偶数则无奈检测。
思考(4，3）偶监督码
误码率：$P_{e}=C_{4}^{2} p^{2}(1-p)^{2}+C_{4}^{4} p=6 p^{2}(1-p)^{2}+p^{4}$
若 p=0.001 , 则 $P_{e}=6 \times 10^{-6}$
b. 恒比码
- 每个码组中 1 和 0 的个数放弃恒定，因此比值恒定。我国电传通信中 5 中取 3 码 每个 5bit 码组中必须含有 3 个 1 和 2 个 0，总数共有 $C_{5}^{3}=C_{5}^{2}=10$ 种来示意十进制数。
c. 汉明码
- 能纠正 单个随机谬误 的线性分组码
差错控制类型对信道编码的要求
1.ARQ（检错重发 主动申请重发）
- 实用于非实时数据传输零碎
- 要求信道编码具备 检错性能
利用奇偶校验比特来检错重发。接收端不纠正错误，只是简略的要求发射机重发数据。此时，发射端与接收端间的对话须要双向链路反馈信道。
主动重发申请 (ARQ): 三种类型
- 进行——期待 ARQ（半双工）
- 具备回拉性能的间断 ARQ（全双工）
- 具备选择性重发性能的间断 ARQ（全双工）
ARQ 的次要长处是，谬误检测设施要比纠错设施简略得多，只须要大量的冗余。
ARQ 只实用于产生谬误时须要重发的状况。
2.FEC（前向纠错)
- 实用于实时通信零碎中
- 要求信道编码具备纠错性能
-
比 ARQ 优越的方面
- 没有可用的反向信道或 ARQ 提早过长。
- 重发策略无奈简略的实现。
- 没有纠正的谬误数目须要过多的重传。
3.HEC（混合纠错 ARQ+FEC）
即能检错又能纠错
首先收端进行检错，如谬误在纠错范畴内则纠正，否则申请重传。
信道编码次要波及的数学知识：无限域运算、矩阵运算
- 无限域初步常识：Galois 域——迦罗华域
- 无限域：指无限个元素的汇合，可按规定进行代数四则运算，且运算后果仍属于汇合中的无限元素。
- 对于二元域，记为 GF(2)，其内码元满足模二运算。
- 二元扩大域 GF($2^n$)——由 GF(2) 元素的所有长度为 n 的序列组成的汇合（二进制数组的汇合）。
-
设 $ \mathbf{x}, \mathbf{x}^{\prime} \in G F\left(2^{n}\right), \alpha \in G F(2)$ , 即 $\alpha$ 取 0 或 1。
加法: $\mathbf{x}+\mathbf{x}^{\prime}=\left(x_{n-1} \oplus x_{n-1}^{\prime}, x_{n-2} \oplus x_{n-2}^{\prime}, \ldots, x_{1} \oplus x_{1}^{\prime}, x_{0} \oplus x_{0}^{\prime}\right)$
乘法: $\alpha \cdot x=\left(\alpha x_{n-1}, \alpha x_{n-2}, \ldots, \alpha x_{1}, \alpha x_{0}\right) $
剖析图的信道编码，该码的最小汉明距是 3，该码能检测出 2 位错，能纠正 1 位错。该码适宜纠随机错还是突发错? 随机错
解：和下面相似，留神这里看的应该是 Codeword。最小汉明距是 3，检测出 3 – 1 = 2 位错，纠正(3 – 1) / 2 = 1 位错，因而适宜纠随机错。
参考文献：
- Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
- Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
- 周炯槃. 通信原理（第 3 版）[M]. 北京：北京邮电大学出版社, 2008.
- 樊昌信, 曹丽娜. 通信原理（第 7 版）[M]. 北京：国防工业出版社, 2012.