信息

文章和代码曾经归档至【Github仓库：https://github.com/timerring/dive-into-AI 】或者公众号【AIShareLab】回复 神经网络根底 也可获取。循环神经网络序列数据序列数据是常见的数据类型，前后数据通常具备关联性 例如 “Cats average 15 hours of sleep a day” 语言模型语言模型是自然语言解决 (NLP, Natural Language Processing) 重要技术。 NLP中常把文本看为离散工夫序列，一段长度为T的文本的词顺次为 $\mathrm{W}_{1}, \mathrm{~W}_{2}, \ldots, \mathrm{W}_{\mathrm{T}}$, 其中 $\mathrm{w}_{\mathrm{t}}(1 \leq \mathrm{t} \leq \mathrm{T})$ 是**工夫步 ( Time Step）**t 的输入或标签。 语言模型将会计算该序列概率$\mathrm{P}\left(\mathrm{w}_{1}, \mathrm{w}_{2}, \ldots, \mathrm{w}_{\mathrm{T}}\right)$，例如 Cats average 15 hours of sleep a day，这句话中 T = 8. 语言模型计算序列概率： $$\mathrm{P}\left(\mathrm{w}_{1}, \mathrm{w}_{2}, \ldots, \mathrm{w}_{\mathrm{T}}\right)=\prod_{\mathrm{t}=1}^{\mathrm{T}} \mathrm{P}\left(\mathrm{w}_{\mathrm{t}} \mid \mathrm{w}_{1}, \ldots, \mathrm{w}_{\mathrm{t}-1}\right)$$ 例如：P( 我, 在, 听, 课 ) = P(我) * P（在｜我）* P（ 听｜我 ，在）* P（课 ｜ 我 ，在，听）统计**语料库（Corpus）**中的词频，失去以上概率，最终失去P(我, 在, 听, 课) ...

文章和代码曾经归档至【Github仓库：https://github.com/timerring/java-tutorial 】或者公众号【AIShareLab】回复 java 也可获取。骑士环游问题算法优化意义算法是程序的灵魂，为什么有些程序能够在海量数据计算时，仍然保持高速计算?编程中算法很多，比方八大排序算法(冒泡、抉择、插入、快排、归并.希尔、基数、堆排序)、查找算法、分治算法、动静布局算法、KMP算法、贪婪算法、普里姆算法、克鲁斯卡尔算法、迪杰斯特拉算法、弗洛伊德算法。经典算法面试题-骑士环游问题马踏棋盘算法介绍马踏棋盘算法也被称为骑士环游问题将马随机放在国际象棋的8×8棋盘Board[0 ~7][0~7]的某个方格中，马按走棋规定(马走日字)进行挪动。要求每个方格只进入一次，走遍棋盘上全副64个方格。游戏演示:https://u.ali213.net/games/horsesun/index.html?game_code=403会应用到图的遍历算法(DFS)+贪婪算法优化 马踏棋盘问题(骑士环游问题)实际上是图的深度优先搜寻(DFS)的利用。如果应用回溯(就是深度优先搜寻)来解决,如果马儿踏了53个点，如图:走到了第53个,坐标(1,0)，发现曾经走到止境, 没方法，那就只能回退了，查看其余的门路，就在棋盘上不停的回溯.....，思路剖析+代码实现。先用根本形式来解决，而后应用贪婪算法(greedyalgorithm)进行优化。解决马踏棋盘问题,领会到不同的算法对程序效率的影响。应用后面的游戏来验证算法是否正确。骑士环游问题的解决步骤和思路剖析创立棋盘chessBoard,是二维数组将以后地位设置为曾经拜访,而后依据以后地位，计算马儿还能走哪些地位，并放入到一个汇合中(ArrayList), 最多有8个，每走一步，应用step + 1。遍历ArrayList中寄存的所有地位，看看那个能够走，如果能够走通，就持续，走不通，就回溯。判断马儿是否实现了工作，应用step和应该走的步数比拟，如果没有达到数量，则示意没有实现工作，将整个棋盘设置为0。留神:马儿走的策略不同，则失去的后果也不一样，效率也不一样。 对代码应用贪婪算法，进行优化，进步速度： 剖析 咱们当初走的下一个地位，是依照咱们的顺时针来筛选地位，因而抉择的这个点的下一个能够走的地位的个数是不确定的.优化思路是:咱们应该抉择下一个的下一个能够走的地位较少的点，开始走，这样能够缩小回溯。代码:对咱们的ps汇合依照能够走的下一个地位的次数进行排序，升序排序。package com.hspedu;import javax.swing.*;import java.awt.*;import java.util.ArrayList;import java.util.Comparator;public class HorseChessBoard { //定义属性 private static int X = 6; // 示意col private static int Y = 6; // 示意row private static int[][] chessBoard = new int[Y][X]; //棋盘 private static boolean[] visited = new boolean[X * Y];//记录某个地位是否走过 private static boolean finished = false; //记录马儿是否遍历完棋盘. public static void main(String[] args) { int row = 2; int col = 2; //测试一把 long start = System.currentTimeMillis(); traversalChessBoard(chessBoard, row - 1, col - 1, 1); long end = System.currentTimeMillis(); System.out.println("遍历耗时=" + (end - start)); //输入以后这个棋盘的状况 for (int[] rows : chessBoard) { for (int step : rows) {//step 示意 该地位是马儿应该走的第几步 System.out.print(step + "\t"); } System.out.println(); } } //写一个办法，对ps的各个地位，能够走的下一个地位的次数进行排序, 把可能走的下一个地位从小到大排序 public static void sort(ArrayList<Point> ps) { ps.sort(new Comparator<Point>() { @Override public int compare(Point o1, Point o2) { return next(o1).size() - next(o2).size(); } }); } //编写最外围的算法，遍历棋盘，如果遍历胜利，就把 finished 设置为true , //并且，将马儿走的每一步step，记录到 chessBoard public static void traversalChessBoard(int[][] chessBoard, int row, int col, int step) { //先把step 记录到 chessBoard chessBoard[row][col] = step; //把这个地位，设置为曾经拜访 visited[row * X + col] = true; //获取以后这个地位能够走的下一个地位有哪些 ArrayList<Point> ps = next(new Point(col, row)); // 留神这里的解决： col - X , row - Y sort(ps);// 排序：咱们应该抉择下一个的下一个能够走的地位较少的点，开始走，这样能够缩小回溯 //遍历 while (!ps.isEmpty()) { //取出以后这个 ps 第一个地位(点) Point p = ps.remove(0); //判断该地位是否走过，如果没有走过，咱们就递归遍历 if (!visited[p.y * X + p.x]) { //递归遍历 traversalChessBoard(chessBoard, p.y, p.x, step + 1); } } //当退出while，看看是否遍历胜利, 如果没有胜利，就重置相应的值，而后进行回溯 if (step < X * Y && !finished) { //重置 chessBoard[row][col] = 0; visited[row * X + col] = false; } else { finished = true; } } //编写办法，能够获取以后地位，能够走的下一步的所有地位(Point示意 x,y) public static ArrayList<Point> next(Point curPoint) { //创立一个ArrayList ArrayList<Point> ps = new ArrayList<>(); //创立一个Point对象(点/地位), 筹备放入到 ps Point p1 = new Point(); //判断在 curPoint 是否能够走如下地位，如果能够走，就将该点(Point) 放入到ps //判断是否能够走5地位 if ((p1.x = curPoint.x - 2) >= 0 && (p1.y = curPoint.y - 1) >= 0) { ps.add(new Point(p1)); //这里肯定要new Point } //判断是否能够走6地位 if ((p1.x = curPoint.x - 1) >= 0 && (p1.y = curPoint.y - 2) >= 0) { ps.add(new Point(p1)); //这里肯定要new Point } //判断是否能够走7地位 if ((p1.x = curPoint.x + 1) < X && (p1.y = curPoint.y - 2) >= 0) { ps.add(new Point(p1)); //这里肯定要new Point } //判断是否能够走0地位 if ((p1.x = curPoint.x + 2) < X && (p1.y = curPoint.y - 1) >= 0) { ps.add(new Point(p1)); //这里肯定要new Point } //判断是否能够走1地位 if ((p1.x = curPoint.x + 2) < X && (p1.y = curPoint.y + 1) < Y) { ps.add(new Point(p1)); //这里肯定要new Point } //判断是否能够走2地位 if ((p1.x = curPoint.x + 1) < X && (p1.y = curPoint.y + 2) < Y) { ps.add(new Point(p1)); //这里肯定要new Point } //判断是否能够走3地位 if ((p1.x = curPoint.x - 1) >= 0 && (p1.y = curPoint.y + 2) < Y) { ps.add(new Point(p1)); //这里肯定要new Point } //判断是否能够走4地位 if ((p1.x = curPoint.x - 2) >= 0 && (p1.y = curPoint.y + 1) < Y) { ps.add(new Point(p1)); //这里肯定要new Point } return ps; }}

本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。m 序列 (最长线性反馈移位寄存器序列)线性反馈移位寄存器的特色多项式线性反馈移位寄存器的递推关系式递推关系式又称为反馈逻辑函数或递推方程。设图2所示的线性反馈移位 寄存器的初始状态为 $(a_{0} a_{1} \ldots a_{n-2} a_{n-1})$ , 经一次移位线性反馈, 移位寄存器 左端第一级的输出为 $$a_{n}=c_{1} a_{n-1}+c_{2} a_{n-2}+\cdots+c_{n-1} a_{1}+c_{n} a_{0}=\sum_{i=1}^{n} c_{i} a_{n-i}$$ 若经 $\boldsymbol{k}$ 次移位, 则第一级的输出为 $$a_{l}=\sum_{i=1}^{n} c_{i} a_{l-i}$$ 其中, $l=n+k-1 \geq n, k=1,2,3, \ldots$由此可见, 移位寄存器第一级的输出, 由反馈逻辑及移位寄存器的原状态所决定。上式称为递推关系式。 线性反馈移位寄存器的特色多项式用多项式 f(x) 来形容线性反馈移位寄存器的反馈连贯状态: $$f(x)=c_{0}+c_{1} x+\cdots+c_{n} x^{n}=\sum_{i=0}^{n} c_{i} x^{i}$$ 称为特色多项式或特征方程。其中, $x^{i}$ 存在, 表明 $c_{i}=\mathbf{1}$ , 否则 $c_{i}=\mathbf{0}$ , x 自身的取值并无实际意义。 $c_{i}$ 的取值决定了移位寄存器的反馈连贯。 因为 $c_{0}=c_{n}=1$ , 因而, f(x) 是一个常数项为 1 的 n 次多项式, n 为移位寄存器级数。 ...

本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。伪随机码伪随机序列的概念伪随机序列该当具备相似随机序列的性质。在工程上罕用二元 {0,1} 序列来产生伪随机（噪声）码, 它具备以下几个特点: 在随机序列的每一个周期内 0 和 1 呈现的次数近似相等。每一周期内, 长度为 $\boldsymbol{n}$ 的游程取值(雷同码元的码元串)呈现的次数比长度为 n+1 的游程次数多一倍。随机序列的自相干相似于白噪声自相干函数的性质。对伪随机码定义可写为 （1）凡自相干函数具备 $$\rho_{x}(j)=\{\begin{array}{l}\sum_{i=1}^{n} \frac{x_{i}^{2}}{p}=1, \quad j=0 \\\sum_{i=1}^{n} \frac{x_{i} x_{i+j}}{p}=-\frac{1}{p}, j \neq 0\end{array}.$$ 模式的码, 称为伪随机码, 又称为广义伪随机码。 (2) 凡自相干函数具备 $$\rho_{x}(j)=\{\begin{array}{ll}\sum_{i=1}^{n} x_{i}^{2} / p=1 & j=0 \\\sum_{i=1}^{n} x_{i} x_{i+j} / p=a<1 & j \neq 0\end{array}.$$ 模式的码, 称为狭义伪随机码。广义伪随机码是狭义伪随机码的特例。 伪随机序列的产生能够用移位奇存器作为伪随机码产生器, 图1是一个4级移位存放 器, 用它就可产生伪随机序列。图1中的反馈逻辑为 $$a_{n}=a_{n-3} \oplus a_{n-4}$$ 当移位寄存器的初始状态是 $a_{n-4}=1$, $a_{n-3}=0$, $a_{n-2}=0$, $a_{n-1}=0$ , 通过一 个时钟节奏后, 各级状态自左向右移到下一级, 末级输入一位数, 与此同时模二加法器输入加到移位寄存器第一级, 从而造成移位 寄存器的新状态, 下一个时钟节奏到来又持续上述过程, 末级输入序列就是伪随机序列。在这种条件下, 产生的伪随机序列是 ...

本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。正交编码正交编码的基本概念正交性若两个周期为 T 的模拟信号 $s_{1}(t)$ 和 $s_{2}(t)$ 相互正交, 则有 $$\int_{0}^{T} s_{1}(t) s_{2}(t) d t=0$$ 同理, 若 M 个周期为 T 的模拟信号 $s_{1}(t)$, $s_{2}(t)$, $\ldots$, $s_{M}(t)$ 形成一个正交信号汇合，则有 $$\int_{0}^{T} s_{i}(t) s_{j}(t) d t=0 \quad i \neq j ; \quad i, j=1,2, \ldots, M$$ 相互关系数对于二进制数字信号, 用一数字序列示意码组。这里, 咱们只探讨二进制且码长雷同的编码。这时, 两个码组的正交性可用如下模式的相互 关系数来表述。 设长为 $\boldsymbol{n}$ 的编码中码元只取值 +1 和 -1 , 假如 $\boldsymbol{x}$ 和 $\boldsymbol{y}$ 是其中两个码组: $$x=(x_{1}, x_{2}, x_{3}, \cdots, x_{n}) \quad y=(y_{1}, y_{2}, y_{3}, \cdots, y_{n})$$ ...

本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。 第一代挪动通信零碎的关键技术有 ABCD A. 蜂窝网 B. FDMA C. 模仿调制 D. 次要有AMPS和TACS两种制式 第二代挪动通信零碎的关键技术有 ABCD A. 数字调制(GMSK) B. TDMA/CDMA C. 开始反对数据业务(GPRS) D. 次要有GSM和CDMA1X (IS-95)两种制式 第三代挪动通信零碎的关键技术有 ABCD A. 间接序列扩频 B. CDMA C. 全面反对数据业务，语音和数据离开 D. 有WCDMA、CDMA2000和TD-SCDMA三种制式 第四代挪动通信零碎(LTE)的关键技术有 ABCD A. OFDMA B. MIMO C. 反对数据业务，语音加载在数据网上(VoLTE) D. 智能天线、软件定义的无线电(SDR) 第五代挪动通信零碎(NR)的次要技术 ABCD A. NOMA/FBMC B. Massive MIMO C. 波束宰割多址技术（BDMA) D. D2D通信(D: device) 温习多径信道模型;定义正交码，可能结构哈达马矩阵并写出沃尔什序列，并画出对应的沃尔什函数波形;定义伪随机码，给定移位寄存器的构造，可能写出其所产生的伪随机序列;识记m序列的定义;可能依据要求，设计m序列的产生器。时变多径信道的信道模型 抽头延迟线信道模型 W信道传输信号带宽, 1 / W 为工夫分辨率, 抽头 $\{c_{n}(t)\}$ 为互不相干的高斯随机过程。延迟线长度与多径信道中的工夫弥散量绝对应。多径扩大能够示意为 $T_{\mathrm{m}}=\mathrm{L} / \mathrm{W}$ , 其中 $\mathrm{L}$ 为多径信号重量的最大数目。 ...

本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。交错技术1.突发谬误烦扰、衰败、平衡等等都会引入突发错。通过信道编译码后，其译码输入的谬误也将出现突发性，无论是分组码，还是卷积码都是如此。 信道编译码的门限效应卷积码抗突发错能力很差 卷积码是靠相邻符号间的相关性提供爱护的，而此相关性的维系工夫个别较短分组码对突发错和随机错的纠错能力根本相当，但码长较短，稍长一些的突发也无能为力也有专门针对突发错设计的分组码，但纠随机错的能力相应升高2.抗突发错的无效伎俩——交错交错 (interleaving) 就是一种将数据序列的程序进行变换的一种解决办法。又可称为置换（permutation）。 交错器的个别示意办法 交错表: $\boldsymbol{j}=\boldsymbol{T}(i)$ , 示意输入序列的第 j 个符号取自输出序列的第 i 个符号。即当输出序列为 $x_{1}, x_{2}, \ldots$ , 输入 序列为 $y_{1}, y_{2}, \ldots$ 时, $ y_{j}=x_{T(i)}$ 。3.交错器的三个重要参数交错提早交错前相邻的符号在交错后的最小间隔称为交错深度交错后相邻的符号在交错前的最小间隔称为交错宽度根本交错（块交错, block interleaver） 将数据流分成长度为 $\mathbf{W} * \mathbf{L}$ 的块, 将数据逐行写入一个 $\mathbf{L}$ 行 $\mathbf{W}$ 列的矩阵形缓冲区, 写满后再逐列读出。 深度为 $\mathbf{L}$ , 宽度为 $\mathbf{W}$ , 延时为 $\mathbf{W L}$ 。交错和解交错的延时总和为 2WL。 输出序列为 $x_{1}, x_{2}, \ldots, x_{R C}$ ; 输入序列为 $y_{1}, y_{2}, \ldots, y_{R C}$ 。 总结 ...

本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。卷积译码最大似然译码如果所有的输出信息序列等概, 则通过比拟各个条件概率, 也称为似然函数 $\mathbf{P}\left(\mathbf{Z} \mid \mathbf{U}^{(\mathbf{m})}\right)$ , 就能够失去具备最小过错概率的译码器, 这里 $\mathbf{Z}$ 是接管序列 , $\mathbf{U}^{(\mathrm{m})}$ 是可能发送的序列。如果满足如下公式, 译码器就抉择 $\mathbf{U}^{\left(\mathrm{m}^{\prime}\right)}$ $$\mathbf{P}\left(\mathbf{Z} \mid \mathbf{U}^{\left(\mathbf{m}^{\prime}\right)}\right)=\max \mathbf{P}\left(\mathbf{Z} \mid \mathbf{U}^{(\mathbf{m})}\right) \text { over all } \mathbf{U}^{(\mathbf{m})}$$ 对于 BSC信道, 上式相当于抉择和序列Z具备最小汉明间隔的码字 $\mathbf{U}^{\left(\mathrm{m}^{\prime}\right)}$ 。译码器总是从所有可能的发送序列 $\mathbf{U}^{(\mathrm{m})}$ 中抉择和Z间隔最小的序列 $\mathbf{U}^{\left(\mathrm{m}^{\prime}\right)}$ 。 对于高斯信道, 间隔为欧式间隔。 假如接收端收到的码序列为1011010010010010, 如何译码？ 计算下图中所有可能门路的概率, 而后比拟, 选出最大值。 有多少条门路 ? $\leq 2^{8}$ (穷举法, 须要比拟 $2^{l}$ , 其中 l 为码序列长度) 卷积译码-维特比卷积译码算法维特比译码算法是维特比在1967年提出。维特比算法的本质是最大似然译码，但它利用了编码网格图的非凡构造，从而升高了计算的复杂度，与齐全比拟译码相比，它的长处是使得译码器的复杂性不再是码字序列中所含码元数的函数。 该算法包含计算网格图上在时刻t达到各个状态的门路和接管序列之间的类似度，或者说间隔。维特比算法思考的是，去除不可能成为最大似然选择对象的网格图上的门路，即如果有两条门路达到同一个状态，则具备最佳量度的门路被选中，称为幸存门路。 对所有状态都将进行这样的选路操作，译码器一直的在网格图上深刻，通过去除可能性最小的门路实现裁决。较早地摈弃不可能的门路升高了译码的复杂性。留神，抉择最优门路能够表述为抉择具备最大似然度量的码字，或者抉择具备最小间隔的码字。 假如为BSC信道，汉明间隔为适合的间隔度量。 维特比译码算法的精华能够总结为:加、比、选。 加:间隔（概率，分支度量值)相加;比:累加间隔（概率，累计度量值）的比拟;选:选出间隔小（概率大）的门路作为幸存门路维特比译码算法是基于网格图进行的。译码时先将接管序列依照n分组，而后计算每分组与相应网格图中各分支的输入之间的汉明间隔。 下图所示的(2,1,3)卷积码，若接管序列为:11 01 10 11 00 10 11,求译码后果。 ...

本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。卷积码根底分组码—无记忆编码 卷积码—记忆编码 可能识记卷积码的基本概念;可能依据连贯矢量画出卷积码的编码器，并进行编码;可能依据编码器画出该卷积码状态转移图和网格图;可能使用维特比译码算法对卷积码进行译码;理解交错的概念。卷积码的概念卷积码由三个整数形容, (n, k, L), 其中k/n也示意编码效率，L称为束缚长度; 示意在编码移位寄存器中k元组的级数，k示意编码时一次输出编码器的码元数。 卷积码不同于分组码的一个重要特色就是编码器的记忆性，即卷积编码过程产生的n元组，不仅是以后输出k元组的函数，而且还是后面L-1个输出k元组的函数。通常，n和k取较小的值，通过L的变动来管制编码的能力和复杂度。 卷积码编码器的构造(n, k, L) 卷积码: 下图为卷积码的编码器, 其中有 kL 级 移位寄存器, $\boldsymbol{L}$ 称为卷积码的束缚长度。 卷积码的编码器是一种无限状态机，它的状态数目为 $2^{(L-1) k}$ 。状态和以后输出的 $\boldsymbol{k}$ 元组决定了以后输入的 n 元组。 卷积编码器示意这是一个 (2,1,3）卷积码，即n=2, k=1,L=3。 为什么叫卷积码? 编码过程: 设输出信息序列100101. 输入信息序列为11 01 11 11 01 00 01 11 卷积码编码器初始状态为0，编码之后需保障状态清零 1、连贯矢量（生成矢量)形容编码器的一种办法是指定n个连贯矢量，每个矢量对应于一个模2加法器。每个矢量都是L维的，示意该模2加法器和编码移位寄存器之间的连贯。矢量中第i位上的1示意移位寄存器相应级与模2加法器连贯，若是0，则示意相应级与模2加法器之间无连贯。 2、状态形容和状态图卷积码编码器属于一类称为无限状态机的器件。 “无限”表明状态机制只有无限个不同的状态。“状态”能够用设施的以后输出和起码的信息数量，来预测设施的输入。状态提供了无关过来序列过程及一组未来可能输入序列的限度，下一状态总是受到前一状态的限度。 以编码效率为1/n的卷积码编码器为例,状态就用最右端（L-1)级寄存器内容来示意（留神这里的最右端是指以后信息码元输出后移位寄存器最右端的寄存器）。 理解以后状态以及下一个输出，是确定下一输入的充要条件。 示意简略编码器的一种办法是状态图。 状态图方框内的状态示意寄存器最右端(L-1）级的可能内容，状态间的门路示意由此状态转移是的输入分支字。寄存器的状态示意为a=00，b=01，c=10，d=11.对应于两种可能的输出比特，从每一个状态登程只有两种转移，状态转移时的输入分支字标注在相应的转移门路旁。图中实线示意输出比特为0的门路，虚线示意输出比特为1的门路。 留神:状态转移不是任意的。因为每次移入1个信息比特，故寄存器在每个比特工夫上只有两种可能的状态转移。 3、树图尽管状态图齐全的形容了编码器的个性，但因为没有示意工夫的过程，采纳状态图跟踪编码器的状态转移很不不便。如果要展现出编码器输出、输入的所有可能状况，则可用树图形容。它是将编码器的状态图按工夫开展而成的。 4、网格图（The trellis Diagram）网格图将树图上处于同一状态的同一级节点合并。 下图为 (2,1,3) 卷积码的网格图。网格图的节点代表了编码器的状态; 在每个工夫单元内, 网格图用 $2^{L-1}$ 个节点示意 $2^{L-1}$ 个可能的编码器状态。可见，会有反复。 ...

本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。BCH码-循环码特点: 它的生成多项式 g(x) 与最小码距之间有亲密 的关系, 能够依据所要求的纠错能力 t , 很容易地构 造出 BCH码。 如果循环码的生成多项式具备如下模式: $$g(x)=\mathrm{LCM}\left[m_{1}(x), m_{2}(x), \ldots, m_{2 t-1}(x)\right]$$ 其中 t 为纠错个数, $m_{i}(x) $ 既约 (素) 多项式, $\mathrm{LCM}$ 示意取最小公倍数, 则由此生成的循环码为 $\mathbf{B C H}$ 码。码距 $\boldsymbol{d} \geq 2 \boldsymbol{t}+\mathbf{1}$ 。每个码字能纠 $\mathrm{t}$ 个随机独立过错。 若 $\mathbf{B C H}$ 码的码长 $n=2^{m}-1$ , 其中 $m \geq 3$, $t<\frac{m}{2}$, $n-k \leq m t$ , 则为本原 $\mathbf{B C H}$ 码; 若 $\mathbf{B C H}$ 码的码长是 $n=2^{m}-1$ 的因子, 则为非本原 $\mathbf{B C H}$ 码。 ...

本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。循环码生成多项式与生成矩阵定义：记 $\mathrm{C}(x)$ 为 (n, k) 循环码的所有码字对应的多项式的汇合, 若 g(x) 是 $\mathrm{C}(x)$ 中除 0 多项式以外次数最低的多项式, 则称 g(x) 为这个循环码的生成多项式。 定理1: $(\boldsymbol{n}, \boldsymbol{k})$ 循环码中, 必然存在一个次数最小的惟一的码多项式g(x) , 称为生成多项式, $$g(x)=x^{r}+g_{r-1} x^{r-1}+\cdots+g_{1} x+1$$ 其中: $r=n-k$ . 该码集中任意码字的码多项式必为g(x)的倍式。 非零碎循环码的编码: $$c(x)=u(x) g(x)$$ 设某 (7,4) 循环码的生成多项式为$g(x)=x^{3}+x+1$，问信息串 0110 的循环码是什么? 解: $$c(x)=u(x) g(x)=(x^{2}+x)(x^{3}+x+1)=x^{5}+x^{4}+x^{3}+x$$ 故码字为: 0111010 定理2: 当且仅当 g(x) 是 $x^{n+1}$ 的 $r=n-k$ 次因式时, g(x)是(n, k)循环码的生成多项式。 定理3: (n, k) 循环码的校验多项式为 $$\begin{array}{l}h(x)=\frac{x^{n}+1}{g(x)} \\=h_{k} x^{k}+h_{k-1} x^{k-1}+\cdots+h_{1} x+h_{0}\end{array}$$ 写出上面(7,3)循环码的生成多项式 $$g(x)=x^{4}+x^{3}+x^{2}+1 arrow 0011101$$ ...

本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】或者【AIShareLab】回复 信息论 获取。循环码的编码循环码编码用硬件实现时, 可用除法电路来实现。 除法电路次要是由移位寄存器和模 2 加法器组成。 $$\begin{array}{c}r(x)=x^{n-k} u(x) \bmod g(x) \\c(x)=x^{n-k} u(x)+r(x)\end{array}$$ 码多项式中 x 的幂次代表移位的次数。 例如图给出 (7,3) 循环码编码器的组成。$g(x)=1+x+x^{2}+x^{4}$。图中对应 g(x) 有4级移位寄存器, 别离用 $D_{1}, D_{2}, D_{3} , D_{4}$示意。 g(x) 多项式中系数是 1 或 0 示意该位上反馈线的有无, 信号 $\Phi_{1}$, $\quad \Phi_{2}$ , 管制门电路1-3。当信息位输出时, 管制信号使门1, 门3关上, 门2敞开, 输出信息码元一方面送 除法器进行运算, 另一方面间接输入。 在信息位全副输出除法器之后, 管制信号使门1, 3敞开, 门2关上, 这 时寄存器通过门2间接输入, 将寄位寄存器中的除法余项顺次取出, 即 将监督码元附加在信息码元之后。则编出的码组后面是原来 $\mathbf{k}$ 个信息 码元，前面是(n-k)个监督码元，从而失去零碎分组码。 为便于了解，下表给出这一编码器的工作过程。这里设信息码元为110，编出的监督码元为0101，循环码组为1100101。 循环码的随同多项式译码循环码的译码电路如图所示。 无错: $y(x)_{\bmod g(x)}=0$ ; 有错: $y(x)_{\bmod g(x)} \neq 0 $ 。 ...

本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。循环码可能识记循环码的基本概念; 可能阐明循环码生成多项式的特点; 可能利用多项式运算实现循环码（零碎型和非零碎型)的编译码; 能依据生成多项式求出循环码的生成矩阵（零碎型和非零碎型）; 可能解释循环码的编译码电路; 理解循环冗余校验(CRC) ，BCH和RS三种线性循环码 循环码的特点1.能够用线性反馈移位寄存器很容易地实现编码和随同式计算; 2.因为循环码有许多固有的代数构造，从而能够找到各种简略实用的译码办法。 因为循环码具备很多的良好性质，所以它在实践和实际中都很重要。 基本概念定义: 设 $\mathrm{C}$ 是某 ($\boldsymbol{n}, \boldsymbol{k}$) 线性分组码的码字汇合, 如果对任何 $$\mathbf{c}=(c_{n-1}, c_{n-2}, \cdots, c_{0}) \in \mathbf{C}$$ 它的循环移位(左移) $$\mathbf{c}^{(1)}=(c_{n-2}, c_{n-3}, \cdots, c_{0}, c_{n-1})$$ 也属于 $\mathrm{C}$ , 则称该 ($\boldsymbol{n}, \boldsymbol{k}$) 码为循环码。 同理, 左移 i 位 $$\mathbf{c}^{(i)}=(c_{n-i-1}, c_{n-i-2}, \cdots, c_{0}, c_{n-1}, \ldots, c_{n-i})$$ 仍是这个循环码的一个码字。 上面A、B、C、D四个码集，哪个码集是循环码? A 提醒:先判断是否线性分组码，再看是否合乎循环个性 A. (000,110,101,011) B. (000,010,101,111) C. (001,110,101,111) D. (000,010,100,001) 循环码的多项式形容对任意一个长为 $n$ 的码字 $$\mathbf{c}=(c_{n-1}, c_{n-2}, \cdots, c_{1}, c_{0}) \in \mathbf{C}$$ ...

本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。零碎码的编译码线性分组码的编码器如图硬件实现。生成矩阵为 $$G=\left[\begin{array}{l}1011000 \\1110100 \\1100010 \\0110001\end{array}\right]$$ 查表。(软件)矩阵乘法。(软件)线性分组码的译码器所有编码合乎监督方程, 监督方程在译码中十分重要。 对二元信道, 传输后 $\mathbf{y}=\mathbf{C}+\mathbf{e}$ , 向量 $\mathrm{e}=\left[e_{n-1}, e_{n-2}, \ldots, e_{i}, \ldots, e_{0}\right]$ 称为谬误图样。 $e_{i}=1$ 示意第 i 位谬误。 如果译码器能揣测出谬误图样e, 那它就能够给出译码后果为 $$\hat{\mathbf{C}}=\mathbf{y}+\mathbf{e}$$ 随同式校验(Syndrome Testing)设 $\mathbf{y}=\left[y_{n-1} y_{n-2} \cdots y_{0}\right]$ 是一个接管矢量,由传输的$\mathbf{C}=\left[c_{n-1} c_{n-2} \cdots c_{0}\right]$产生。能够将 $\mathbf{y}$ 写成$\mathbf{y}=\mathbf{C}+\mathbf{e}$ 其中 $\mathrm{e}=\left[e_{n-1}, e_{n-2}, \ldots, e_{i}, \ldots, e_{0}\right]$ 是由信道引入的谬误矢量（图样）。 在 $2^{n}$ 个 $\mathrm{n}$ 元组空间中存在 $2^{n}-1$ 个非零的潜在谬误图样。（为什么?） $\mathbf{y}$ 的随同式 (或称校对子) 定义为 $\mathbf{S}=\mathbf{y H}^{\mathbf{T}}$ 若 $\mathbf{S}=\mathbf{0}, \mathbf{y}$ 是无效码字.若 $ \mathbf{y}$ 蕴含可检测到的谬误，随同式 $\mathbf{S} \neq \mathbf{0}$ ;若 $ \mathbf{y}$ 蕴含能够纠正的谬误, $\mathbf{S}$ 将由非凡的非零值来批示特定的谬误图样。 ...

本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。根本线性分组码与性能参数线性分组码(n,k)定义线性分组码是由 (n, k) 模式示意。编码器将一个 k 比特信息分组（信息矢量）转变成一个更长的由给定符号集组成的 n 比特编码分组（编码矢量）。当这个符号集蕴含 2 个元素 (0 and 1) 时 , 称为二进制编码。 k-bit 信息造成 $2^k$ 不同的信息序列 , 称为 k 元组。 n-bit 能够造成 $2^n$ 个不同序列，称为 n 元组。 (n，k）分组码输入的长度为n的序列称为码字。所有这些码字的汇合称为该线性分组码的码组。 因为n>k，故编码时需按某种规定退出r=n-k个监督（校验）码元。 对于分组码(n,k),定义 编码效率: k/n编码冗余度:(n-k)/n线性分组码的几个重要概念 码距（汉明间隔）：两个码组中对应地位上具备不同二进制码元的位数码重（汉明分量）：线性分组码中，将码字（组）中所含 1 的数目定义为码字(组)的分量 码字0011010和1101011之间的码距为4，码字0011010的码重是3编码信道：钻研信道编码和译码的信道模型 二元码、硬裁决时，建模为 BSC （二元对称）信道软裁决时，建模为 AWGN 信道软裁决与硬裁决译码（简略了解：译码器输出比特的选取）信道编码性能参数次要的性能参数有 过错概率、编码增益、检纠错能力、编码效率k/n。 编码增益 ：给定过错概率下，通过编码所能实现的比特信噪比$ _/_$的缩小量。 检错能力 l: $d_{\text {min }} \geq l+1$纠错能力 t: $d_{\min } \geq 2 t+1$检错 l 纠错 t: $d_{\text {min }} \geq l+t+1$ ...

本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。信息论与编码：信道的定义和分类信道是任何一种通信零碎中必不可少的组成部分。任何一个通信零碎都能够视为由发送，信道与接管三局部组成。信道通常指以传输媒介为根底的信号通道。 信号在信道中传输，可能遇到的影响次要有信道加性噪声 、 信号幅度衰减和相位失真 、 信道个性的非线性 、带宽限度和多径失真等。 理论通信零碎中，通过调整通信零碎参数能够减小信道对信号失真的影响，但因为传输媒介的物理个性和理论通信零碎中所采纳的电子元器件的限度，使零碎参数的调整范畴受到限制，导致了在任何一通信零碎中牢靠的信息传输速率的大小是受限的。信道能够分为：广义信道和狭义信道 广义信道仅指传输媒介，可分为 有线信道 和 无线信道 两类。 有线信道：包含架空明线、对称电缆、同轴电缆和光导纤维无线信道：包含地波流传、短波电离层反射、超短波或微波无线电视距传输、卫星中继以及各种散射信道等。按传输媒质的变动个性，广义信道又可分为： 恒参信道 ：传输媒质性质稳固从而使得信道个性稳固。如，通常有线信道、卫星中继等。随参信道 ：传输媒质性质的随机变动从而使得信道个性也随机变动。如，短波电离层反射、超短波、微波信道。通信波段与罕用传输媒质 狭义信道除了传输媒质外还包含相干的转换设施，如发送设施、接管设施、天线、调制解调器等等。这种范畴扩充了的信道称为狭义信道。 可分为： 调制信道 和 编码信道 调制信道 ：从钻研调制与解调的角度定义。其范畴从调制器的输入端到解调器的输出端。 编码信道 ：从钻研编码和解码的角度定义。其范畴从编码器的输入端到解码器的输出端。 狭义信道个别分为：间断信道和离散信道 参考文献： Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.周炯槃. 通信原理（第3版）[M]. 北京：北京邮电大学出版社, 2008.樊昌信, 曹丽娜. 通信原理（第7版） [M]. 北京：国防工业出版社, 2012.

本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。离散信源 R(D)计算给定信源概率 $p_{\mathrm{i}}$ 和失真函数 $d_{\mathrm{i} j}$ 就能够求得该信源的 R(D) 函数。 它是在保真度准则下求极小值的问题。 但要失去它的显式表达式,个别比拟艰难。通常用参量表达式。即使如此,除简略的状况外理论计算还是艰难的, 只能用迭代逐级迫近的办法。 二元对称信源的 R(D) 函数设二元对称信源 $X=\{0,1\}$ , 其概率分布 $p(x)=[p, 1-p]$ ,接管变量 $\mathbf{Y}=\{\mathbf{0}, \mathbf{1}\}$ ,汉明失真矩阵 $$d=\left[\begin{array}{ll}0 & 1 \\1 & 0\end{array}\right]$$ 因此最小容许失真度 $D_{\min }=0$ 。并能找到满足该最小失真的试验信道, 且是一个无噪无损信道, 其信道矩阵为 $$p=\left[\begin{array}{ll}1 & 0 \\0 & 1\end{array}\right]$$ 计算得: $\mathrm{R}(0)=\mathrm{I}(\mathrm{X} ; \mathrm{Y})=\mathrm{H}(p)$ 最大容许失真度为 $$\begin{aligned}D_{\text {max }} & =\min _{j=0,1} \sum_{i=0}^{1} p_{i} d_{i j} \\& =\min \{p(0) d(0,0)+p(1) d(1,0), p(0) d(0,1)+p(1) d(1,1)\} \\& =\min _{j}\{(1-p), p\}=p \\\end{aligned}$$ ...

信息率失真函数的性质R(D) 是非负的实数, $\mathrm{R}(\mathrm{D}) \geq 0$ 。 其定义域为 $0-\mathbf{D}_{\text {max }}$ , 其值为 $0 \sim \mathbf{H}(\mathrm{X})$ 。当 $D>D_{\text {max }}$ 时, $R(D) \equiv 0$ R(D) 是对于 $\mathrm{D}$ 的下凸函数 R(D) 在定义域内是失真度 $\mathrm{D}$ 的 $\mathrm{U}$ 型下凸函数 R(D) 的枯燥递减性及连续性 答应的失真度越大, 所要求的信息率越小。反之亦然。 率失真函数的枯燥递加和连续性R(D) 的非增性也容易了解。容许的失真越大 $\rightarrow$ 信息率越小。 依据率失真函数的定义，它是在均匀失真度小于或等于容许的均匀失真度 D 的所有信道汇合 $B_{D}$ 中，取均匀互信 息的最小值。当容许失真度扩充， $B_{D}$ 汇合也扩充，这时在扩充的 $\boldsymbol{B}_{D}$ 汇合中找最小值，显然这最小值或者不变，或者变小，所以R(D) 是非增的。根据上述性质, 能够画出率失真函数的个别模式, 如下图示。 图中 $R(0)=H(X)$, $R\left(D_{\max }\right)=0$ , 决定了曲线边缘上的两个点。而 在 0 和 $D_{\text {max }}$ 之间, R(D) 是枯燥递加的下凸函数。 ...

间断信源的熵因为间断信源信号幅度取值无限性, 要准确示意这样的信号, 实践上须要无穷个bit才行。即间断信源的绝对熵为 $\infty$ 。 仿照离散信源熵的定义, 有间断信源的熵（绝对熵）定义为 $$H(X)=-\int_{-\infty}^{\infty} f(x) \log (f(x)) d x$$ 其中 $f(x)$ 为间断信源信号 $\mathbf{X}$ 的概率密度函数。间断信源的 (绝对) 熵可正可负。 R(D) 的定义域率失真的定义域问题就是在信源和失真函数已知的状况下，探讨容许均匀失真度 $\bar{D}$ 的最小和最大取值问题。 因为均匀失真度 $\bar{D}$ 是非负实数 $d\left(x_{i}, y_{j}\right)$ 的数学冀望, 因而 $\bar{D}$ 也是非负的实数，即 $\bar{D} \geq 0$ , 故 $\bar{D}$ 的下界是 0 。容许均匀失真度是否达到其下限值0, 与单个符号的失真函数无关。 $D_{\min }$ 和 $R\left(D_{\min }\right)$ 信源的最小均匀失真度: $$D_{\min }=\sum_{i=1}^{n} p\left(x_{i}\right) \min _{j} d\left(x_{i}, y_{j}\right)$$ 只有当失真矩阵的每一行至多有一个 $\mathbf{0}$ 元素时,信源的均匀失真度能力达到下限值 $\mathbf{0}$ 。 当 $\boldsymbol{D}_{\text {min }}=\mathbf{0}$ , 即信源不容许任何失真时,信息率至多应等于信源输入的均匀信息量一信息熵。 $$R(0)=H(X)$$ 对于间断信源 $$R\left(D_{\min }\right)=\lim _{D \rightarrow 0} R(D) \rightarrow \infty$$ ...

本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。信息率失真函数Theorem [Rate-Distortion]. 以小于或等于失真 D 去重构无记忆信源所需的最小信源输入 bit/sym 称为率失真函数 (rate-distortion function)，用 R(D) 示意, 记为 $$R(D)=\min _{p\left(x^{\prime} \mid x\right) \mathrm{P}_{\mathrm{D}}\left(X, X^{\prime}\right) \leq D} I\left(X ; X^{\prime}\right)$$ 若均匀失真度 $\bar{D}$ 不大于咱们所容许的失真,即 $\bar{D} \leq D$，则称此为保真度准则。 当信源 $p\left(x_{i}\right)$ 给定, 单个符号失真度 $d\left(x_{i},y_{j}\right)$ 给定时, 抉择不同的试验信道 $p\left(y_{j} \mid x_{i}\right)$ , 相当于不同的编码方法, 其所得的均匀失真度不同。 试验信道 $$\left\{\begin{array}{l}\bar{D} \leq D \text { 满足保真度准则 }\\\bar{D}>D\end{array}\right.$$ 满足 $\bar{D} \leq D$ 条件的所有转移概率分布 $p_{i j}$ 形成了一个信道汇合 $$P_{D}=\{p(b_{j} \mid a_{i}): \bar{D} \leq D\}$$ D失真容许的试验信道: 满足保真度准则的试验信道。$\mathbf{P}_{\mathrm{D}}$ : 所有D失真容许的试验信道组成的一个汇合。$\mathbf{R}(\mathbf{D}) $ : 在限定失真为 $\mathbf{D}$ 的条件下信源输入的最小信息速率。 ...

本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。失真函数如果某一信源 $\mathbf{X}$ , 输入样值 $x_{i}$, $x_{i} \in\{a_{1}, a_{2}, \ldots a_{n}\}$ , 经试验信道传输后变成 $y_{j}$, $y_{j} \in\{b_{1}, b_{2}, \ldots b_{m}\}$ ,如果: $ x_{i}=y_{j}$ 没有失真$x_{i} \neq y_{j}$ 产生失真失真的大小, 用一个量来示意,即失真函数 $d(x_{i}, y_{j})$ , 以掂量用 $y_{j}$ 代替 $x_{i}$ 所引起的失真水平。 失真函数定义为: $$d\left(x_{i}, y_{j}\right)=\left\{\begin{array}{ll}0 & x_{i}=y_{j} \\\alpha & (\alpha>0) x_{i} \neq y_{j}\end{array}\right.$$ 失真矩阵将所有的 $d(x_{i}, y_{j})$ 排列起来, 用矩阵示意为: $$\mathrm{d}=\left[\begin{array}{ccc}d\left(a_{1}, b_{1}\right) & \cdots & d\left(a_{1}, b_{m}\right) \\\vdots & & \vdots \\d\left(a_{n}, b_{1}\right) & \cdots & d\left(a_{n}, b_{m}\right)\end{array}\right] \boldsymbol{n} \times \boldsymbol{m}$$ ...

本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。失真的概念和定义信息率失真函数为什么要钻研信息率失真函数? 用于限失真信源编码 失真在传输中是不可避免的 ;接收者都存在肯定的灵敏度和分辨力，超过灵敏度和分辨率所传送的信息是无意义的 即便信宿能分辨和分别，但对通信品质的影响不大，也可称为容许范畴内的失真钻研在给定品质要求下的最大容许失真 D，并求出相应的信源给出的最小信息速率 R(D)限失真信源编码的必要性对于限失真信源, 应该传送的最小信息率是R(D), 而不是无失真状况下的信息熵H(X) , 显然 $H(X) \geq R(D)$ , 当且 仅当 D=0 时等号成立。 为定量度量D, 必须建设信源的主观失真度量, 并与D建设定量关系。 R(D) 函数是限失真信源信息处理的实践根底。 R(D) 是传送每个信源符号所须要的最小的均匀二进制位数。 信源有损压缩的实际意义依据信道编码定理，信道不可能实现对音讯的齐全无失真传输。理论生存中，人们并不要求取得齐全无失真的音讯，通常只要求近似地再现原音讯，也就是容许肯定的失真存在。在限定失真度条件下压缩信源代码长度(包含削减一部分主要信息）的编码，叫做限失真信源编码。 两种限失真传输 离散信源限失真传输，这里次要是编码的问题。间断信源限失真传输，次要是数字化的问题。限(有)失真信源编码的指标对于有失真信源编码，咱们心愿在不大于肯定编码速率（即传输每信源符号所需的均匀的位数) 的条件下，使均匀失真限度到最小; 或者在均匀失真不大于某个值的条件下，使编码速率限度到最小。 失真度的定义既然容许肯定的失真存在，对信息率的要求便可升高。能够引入一个失真函数，计算在失真度肯定的状况下传信率的极小值。 误差或失真越大，接收者收到音讯后判断信源存在的不确定性越大，取得信息量越小，信道传输音讯所需的信息率也越小。所以信息率与失真无关。为定量形容信息率和失真的关系，必须先规定失真的测度。 零碎模型 对信源收回的音讯$X$进行有失真信源编码，经理想无噪声信道传输，达到信源译码器，输入为$Y$。因为编码有失真，所以$Y$不是$X$的准确复现。如果把从信源编码器到信源译码器的传输通道看成一个有噪声信道，这个信道称做试验信道，那么$X$和$Y$就别离为试验信道的输出和输入。 因而能够通过钻研试验信道的输入输出之间的互信息来钻研限失真信源编码。 参考文献： Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.周炯槃. 通信原理（第3版）[M]. 北京：北京邮电大学出版社, 2008.樊昌信, 曹丽娜. 通信原理（第7版） [M]. 北京：国防工业出版社, 2012.

本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。均匀互信息均匀互信息定义 $$I(X ; Y)=E[I(x, y)]=H(X)-H(X \mid Y)$$ Y 末知, $\mathrm{X}$ 的不确定度为 $\mathrm{H}(\mathrm{X})$Y 已知, $\mathrm{X}$ 的不确定度变为 $\mathbf{H}(\mathbf{X} \mid \mathbf{Y})$互信息 = 先验不确定性 - 后验不确定性 = 不确定性缩小的量 通信零碎中若发端的符号为 X 收端的符号为 Y。如果是 一一对应信道, 接管到 Y 后对 X 的不确定性将齐全打消： H(X|Y) = 0，个别状况 H(X|Y) < H(X), 即理解 Y 后对 X 的不确定度将缩小。 通过信道传输打消了一些不确定性, 取得了肯定的信息， 故$0 \leq I(X ; Y) \leq H(X)$ $I(X ; Y)=\sum_{i} \sum_{j} p(x_{i} y_{j}) \log \frac{p(x_{i} \mid y_{j})}{p(x_{i})}$ $=\sum_{i} \sum_{j} p(x_{i} y_{j}) \log \frac{p(x_{i} y_{j})}{p(x_{i}) p(y_{j})}=\sum_{i} \sum_{j} p(x_{i} y_{j}) \log \frac{p(y_{j} \mid x_{i})}{p(y_{j})}$ ...

本专栏蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。有失真信源编码的数学模型如下图所示，将编码过程看成信息通过有扰信道传输的过程。信道输入 Y 即为编码输入。 对离散信道，用信道转移概率（条件概率）p(y|x)示意信道。 如BSC信道： 互信息设有两个随机事件X和Y , X取值于信源收回的离散音讯汇合Y取值于信宿收到的离散符号汇合$$\left[\begin{array}{l}X \\P\end{array}\right]=\left[\begin{array}{cccc}x_{1} & x_{2} & \cdots & x_{n} \\p\left(x_{1}\right) & p\left(x_{2}\right) & \cdots & p\left(x_{n}\right)\end{array}\right] \quad\left[\begin{array}{l}Y \\P\end{array}\right]=\left[\begin{array}{cccc}y_{1} & y_{2} & \cdots & y_{n} \\p\left(y_{1}\right) & p\left(y_{2}\right) & \cdots & p\left(y_{n}\right)\end{array}\right]$$ 如果信道是无噪的,当信源收回音讯 $x_{i}$ 后,信宿必能准确无误地收到该音讯, 彻底消除对 $x_{i}$ 的不确定性, 所取得的信息量就是 $x_{i}$ 的自信息 $I(x_{i})$ ，即 $x_{i}$ 自身含有的全副信息。 一般而言，信道中总是存在着噪声和烦扰，信源收回音讯 $x_{i}$ ，通过信道后, 信宿只可能收到因为烦扰作用引起的某种变形 $y_{j}$ 。(例如BSC信道，可能收回0收到1) 信宿收到 $y_{j}$ 后揣测信源收回 $x_{i}$ 的概率 $p(x_{i} \mid y_{j})$ 称为后验概率。信源收回音讯 $x_{i}$ 的概率 $p(x_{i})$ 称为先验概率。互信息定义定义为 $x_{i}$ 的后验概率与先验概率比值的对数 ...

本专栏针蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：information-theory】，须要的敌人们自取。或者关注公众号【AIShareLab】，回复 信息论 也可获取。一、信息的基本概念什么是信息（information)信息:一个既简单又形象的概念。狭义: 音讯、情报、常识技术术语: 计算机解决(通信传输)的对象——数据、文字、记录迷信名词: 统计数学、通信技术 用严格的数学公式定义的迷信名词，它与内容无关，而且不随信息具体表现形式的变动而变动,因此也独立于模式。它反映了信息表达形式中统计方面的性质，是一个统计学上的抽象概念信息是指各个事物静止的状态及状态变动的形式： 人们从来自对四周世界的察看失去的数据中取得信息。信息是形象的意识或常识，它是看不见、模不到的。人脑的思维流动产生的一种想法，当它仍贮存在脑子中的时候它就是一种信息。 信息、音讯和信号信息信息是通信零碎中传输（或存储、解决)的对象，它蕴含在音讯中。是事物静止状态或存在形式的不确定性的形容。（香农信息的定义）音讯是指蕴含有信息的语言、文字和图像等;音讯中载荷有信息，然而同一个信息能够由不同的音讯载荷。信号是音讯的物理体现。能够用不同类型的信号，如声、光、电等传递同一个音讯。在通信零碎中，理论传输的是信号，但实质内容的是信息。信息蕴含在信号之中，信号是信息的载体。通信的后果是打消或局部打消不确定性，从而取得信息。 信息的特色信息的基本概念在于它的不确定性,任何已确定的事物都不含信息。 接收者在收到信息之前，对它的内容是不晓得的，所以，信息是新常识、新内容;信息是能使意识主体对某一事物的未知性或不确定性缩小的有用常识;信息能够产生，也能够隐没，同时信息能够被携带、储存及解决;信息是能够量度的，信息量有多少的差异。Question：除了上述的信息的特色，信息还有一些其余的特色，请抉择上面哪些是信息的特色? (ACD) A. 信息非负B. 信息能够是任意值C. 信息具备可加性D. 确定音讯（事件)的所含信息量为零 解析：信息不能够是任意值。因为信息和任意值没有关联。 信息论信息论是一门利用概率论、随机过程、数理统计和近代代数的办法，来钻研信息传输、提取和解决零碎中个别法则的学科，被称为“通信的数学实践”。 信息论是在信息能够量度的根底上, 钻研无效地和牢靠地传递信息的迷信,它波及信息量度、信息个性、信息传输速率、信道容量、烦扰对信息传输的影响等方面的常识。 二、信息论钻研的内容广义信息论次要钻研信息的测度、信道容量以及信源和信道编码实践等问题。 个别信息论次要也是钻研信息传输和解决问题，除香农信息论，还包含噪声实践、信号滤波和预测、统计检测和预计、调制实践、信息处理实践以及窃密实践等。 狭义信息论不仅包含上述两方面内容，而且包含所有与信息无关的天然和社会畛域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包含社会学中无关信息的问题 信息论钻研的内容1、通信的统计实践钻研次要钻研利用统计数学工具剖析信息和信息传输的统计法则。其具体内容有: 信息的测度;信息速率与嫡;信道传输能力——信道容量。2、信源的统计个性文字(如汉字)、字母(如英文)的统计个性;语音的参数剖析和统计特件;图片及流动图像(电视)的统计个性;其余信源的统计个性。3、编码实践与技术的钻研有效性编码: 进步信息传输的有效率，次要针对信源的统计个性进行编码，也称信源编码。 抗干扰编码: 进步信息传输的可靠性，次要针对信道统的计个性进行编码; 也称信道编码。 4、进步信息传输效率的钻研功率的节约;频带的压缩;传输工夫的缩短，即疾速传输问题。5、抗干扰实践与技术的钻研各种调制制式的抗干扰性;现实接收机的实现6、噪声中信号检测实践与技术的钻研信号检测的最佳准则;信号最佳检测的实现。三、信息论倒退历程&香农“通信的根本问题就是在一点从新精确地或近似地再现另一点所抉择的音讯”。这是数学家香农(Claude E.Shanon)在他的惊世之著《通信的数学实践》中的一句铭言。 香农利用数理统计的办法来钻研通信零碎，从而创建了影响深远的信息论。香农因而成为信息论的奠基人。 香农，1816年生于美国密执安州的加洛德。在大学中他就体现出了对数理问题的高度敏感。他的硕士论文就是对于布尔代数在逻辑开关实践中的利用。起初,他就任于贝尔电话研究所,在这个世界上最大的通信公司(美国电话电报公司)的钻研基地里,他受着前辈的工作的启发,其中最具代表性的是《贝尔零碎技术杂志》上所披露的奈奎斯特的《影响电报速率的一些因素》和哈特莱的《信息的传输》。正是他们最早钻研了通信零碎的信息传输能力，第一次提出了信息量的概念,并试图用教学公式予以形容。香农则创造性地继承了他们的事业,在信息论的畛域中钻研了8年之久,终于在1948年也在《贝尔零碎技术杂志》上发表了244页的长篇论著《通信的数学实践》。次年,他又在同一杂志上发表了另一篇名著《噪声下的通信》。 在这两篇文章中, 香农解决了过来许多悬而未决的问题: 经典地说明了通信的根本问题，提出了通信零碎的模型，给出了信息量的数学表达式，解决了信道容量、信源统计个性、信源编码、信道编码等无关准确地传送通信符号的根本技术问题。两篇文章成了当初信息论的奠基著述。 参考文献： Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.周炯槃. 通信原理（第3版）[M]. 北京：北京邮电大学出版社, 2008.樊昌信, 曹丽娜. 通信原理（第7版） [M]. 北京：国防工业出版社, 2012.欢送关注公众号【AIShareLab】，一起交换更多相干常识，前沿算法，Paper解读，我的项目源码，面经总结。 ...

钱罐子钱能追回吗？钱罐子最新回款音讯（清退审慎被骗） 网贷平台投资人留神!警觉“内策回款”新骗局! 钱罐子最新回款音讯，回款无望?这些都是骗人的，切勿置信哪些所谓的回款qq群 网贷平台投资人留神!警觉“内策回款”新骗局! 第一步：伪造“红头”文件。不法分子谎称是某某某 最新回款公司人员，伪造文件。招集平台投资人退出官网清退群。 第二步：伪造“回款”计划。加群后，不法分子利用平台投资人在平台资金兑付呈现问题后，维权心切，“病急乱投医”的状况，以公司清退名义群发音讯，目标是与平台投资人取得联系，提供虚伪“回款”计划。 第三步：伪造“流程”欺骗。不法分子诱导平台投资人，依照他们所谓的流程，一步步进行虚伪“回款”操作，从中套取平台投资人的资金账号、银行卡账号等个人信息，进而施行欺骗。 百度百科材料 钱罐子简介 钱罐子，首家专一于泛家居行业的P2P网贷平台。公司全称为湖北投点金融信息服务有限公司，秉承“业余铸就品牌，信用创始将来”的经营哲学，联合多年扎根泛家居行业的教训，开拓出一条当先全国的“专一于特定行业的o2o”商业倒退模式。聚焦行业，以敏锐的眼光把控市场;携手加盟，积土成丘，聚沙成塔，以全新的o2o模式创始网贷平台的春天!公司以“平安高效”为立身之本，以“做全国最值得信赖的网贷平台”为企业愿景，采纳第三方领取平台保障资金的相对平安。公司领导人洞察行业十几年，率领资深金融团队，依据行业特色量身定制专属产品，并针对性地装备灵便高效的风控措施。专一行业，前瞻危险;线下加盟，实地风控，并履行贷前贷中贷后全程监督，让危险无处遁形!钱罐子，以业余、专一、专一的精力，致力于建设一个平安、高效、诚信、通明的互联网金融借贷平台，为投资人打造一个安心释怀的投资空间，更为泛家居行业倒退提供全方位的金融护航，让天下的融资不再难，以普惠金融的力量，实现行业梦，家园梦，中国梦!

摘要：在信息结构化提取畛域，前人个别须要基于人工标注的模板来实现信息结构化提取。论文提出一种zero-shot的基于图卷积网络的解决方案，能够解决训练集和测试集来自不同垂直畛域的问题。本文分享自华为云社区《论文解读系列十六：Zero-Shot场景下的信息结构化提取》，作者：一笑倾城。 摘要在信息结构化提取畛域，前人个别须要基于人工标注的模板来实现信息结构化提取。论文提出一种zero-shot的基于图卷积网络的解决方案，能够解决训练集和测试集来自不同垂直畛域的问题。 Figure 1. 训练和推理数据起源的垂直畛域不一样。 问题定义 Figure 2. OpenIE和ClosedIE的直观了解。 Relatin ExtractionClose Relation Extraction (ClasedIE)RR示意类别汇合，蕴含无类别，模型间接为每个实体调配类别即可。Open Relation Extraction(OpenIE)RR示意类别汇合，模型作两类分类，判断一个实体是否是另一个实体的key。Zero-Shot ExtractionZero-Shot按难度分能够辨别如下： Unseen-Website Zero-shot Extraction即同一垂直畛域的不同版式，比方，都是来自电影的网页。只是推理测试的时候应用的网页排版与训练不一样。Unseen-Websiste Zero-shot Extraction即不同垂直畛域的不同版式，比方，训练是来自电影的网页，而推理测试的时候应用的可能是招聘类网站的网页。论文提出的解决方案其实是发掘出图网络中全副的key-value对，因为挖掘key-value这个工作自身是版式不依赖的，从而起到了跨畛域的版式构造解析。 概念relation: 指keyobject：指valuerelationship: 指key -> value编码器（特色构建）节点信息的构建由图GG来实现，包含一系列的节点NN（实体），和节点之间的边E（Edges）。 基于设计的规定来构建实体之间的关系以下状况下，会构建节点之间的边(key-value对常常是高低关系或左右关系)： 程度状况：程度街坊，而且两头没有其它节点；垂直状况：垂直街坊，而且两头没有其它节点；同级状况：同级节点；应用图网络来实体之间的关系进进建模基于Graph Attention Network (GAT)来对节点关系进行建模，节点初始（输出）特色： 视觉特色：网页中对节点的视觉类形容；文本特色：OpenIE是对预训练Bert进行特色均匀，CloseIE则是统计该节点字符串呈现的频率（仿佛对跨畛域更敌对）；预训练机制论文设计了辅助的损失函数L_{pre}Lpre进行三类分类的监督：{key, value, other}。同时为了避免训练过程过拟合，预训练实现后，OpenIE工作中的图网络权重不会更新。 关系预测网络OpenIE判断一对节点是否满足第一个节点字符串内容是第二个节点字符串内容的key： 应用the candidate pair identification algorithm来获取潜在的字符串对；两个节点的原始输出特色+GNN输入特色+两个节点的关系特色作为分类器输出；全连贯网络进行分类；ClosedIE穿插熵多类分类 试验的确是跨畛域工作更加艰难。CloseIE：的确是网址越多，成果越好。确认各个因素对网络模型成果的影响。点击关注，第一工夫理解华为云陈腐技术~

简介： 在业务碎片化的情景下，怎么通过平台做整合，建设你的专业化运维池？ 从 2020 年倒退网络货运以来，在互联网和大数据的合作下，传统的物流企业逐步转向信息化模式，在政策的一直推动下，网络货运平台也在逐步走向智慧化，改善了物流业的零散、层级较多的现状，助力物流企业实现规模化、集约化的倒退。 智慧物流，是将来货运物流物流的发展趋势，作为我国国民经济重要组成部分，货运物流行业也将走向数字化时代。 在刚刚闭幕的货运物流数字化降级交流会里，来自上海大学古代物流钻研核心主任的储雪俭传授示意： “明天探讨智慧物流，相对不是欲速不达的，销售渠道下沉造成物流日益碎片化。面对以后业务碎片化，咱们须要思考的是在业务碎片化的情景下，怎么通过平台做整合，建设你的专业化运维池？” 而在整个货运物流行业的经营模型里，挪动端目前对用户来说是不可或缺的力量。如何针对货运物流行业，打造一个性能晦涩、用户沉闷、终端平安的挪动利用呢？ 来自蚂蚁团体 mPaaS 的解决方案架构师蒋平，给出了源自支付宝在挪动开发畛域的十年教训积淀。 货运物流行业挪动端现状倒退“双端”是网络货运平台增长的源能源 蒋平认为，在从互联网的思维模式来看，在整个货运物流平台里次要偏差两个端：货主端与车主端，他们造成了一个双轮驱动模型，会独特驱动物流平台的倒退。 双轮驱动的过程中，所以有更多的车主，就象征能够笼罩更多的地区、维度，提供更多车的型号和服务，有更多的货主，就会对货运物流平台产生更多的诉求。 在整个经营模型里，挪动端目前对用户来说是不可或缺的力量。 站在货主和车主的角度来看，他们对APP的诉求十分强烈——对车主来说，须要不停抢单做生意，在物流 App 上取得营收。对货主来说，须要想方法取得更多的存单，而且因为监管的要求，须要做很多相似人脸识别、指纹识别的人机合作要求。 这些要求对 App 的运算能力和网络要求很高，如果没有好的架构体系，很难承载 App 对于当初用户的冀望，并达到他们的业务诉求。 用户对性能的要求：在支付宝、淘宝等各类超级 App 的心智影响下，当初所有用户对手机上的 App 性能都有极高的应用要求，性能不佳的 App，在用户手里很难活到第二次应用。 业务对更新的要求：从阿里的经营体系来看，咱们的 App 市场曾经倒退到了 4.0 甚至更高阶的维度，除了须要从根本维度满足用户的直观体验和信赖要求，让用户顺畅地应用我的 App 之外，互联网时代下的业务场景疾速更迭，也在要求技术研发团队须要随时更新咱们的业务诉求。 平台对经营的要求：对平台型的企业或 App，经营是一个重要需要。App 公布进来当前，好的经营伎俩，会晋升 App 的活跃度，并达到很高的应用效率。 mPaaS 的价值体现为货运物流行业打造高性能、高粘性的“双端”触点 基于各大超级 App 对用户应用体感的造就，每个用户的应用习惯以及对 App 的期望值当初曾经具备肯定的高度了。性能问题也成为了每一个利用须要面临解决的首要难题。在 mPaaS 的既往案例中，无数次地帮忙客户实现一秒启动 App。 其二，为了满足应业务场景疾速更迭而产生的业务实时更新的需要，mPaaS 将支付宝客户端的次要技术方向齐全对外输入：通过动静公布能力，齐全能够实现一个 App 的动静公布/灰度/回滚。 除了 App 的开发与搭建，放弃其生命力的重要因素，便是其经营能力，这也是 mPaaS 具备的外围价值之一：经营流动触达。比方春节期间，App 须要做相干内容投放，投放给谁？在什么工夫投放？投放什么内容？这一系列的问题在 mPaaS 平台里有残缺的技术架构体系进行反对，能够大大不便平台型 App 车主端或货主端业务往来的过程，减少粘稠度。 ...