关于信息:信息论绪论

本专栏针蕴含信息论与编码的外围常识，按知识点组织，可作为教学或学习的参考。markdown 版本已归档至【Github 仓库：information-theory】，须要的敌人们自取。或者关注公众号【AIShareLab】，回复 信息论 也可获取。

一、信息的基本概念

什么是信息（information)

• 信息: 一个既简单又形象的概念。
• 狭义: 音讯、情报、常识
• 技术术语: 计算机解决 (通信传输) 的对象——数据、文字、记录

• 迷信名词: 统计数学、通信技术

  • 用严格的数学公式定义的迷信名词，它与内容无关，而且不随信息具体表现形式的变动而变动, 因此也独立于模式。
  • 它反映了信息表达形式中统计方面的性质，是一个统计学上的抽象概念

• 信息是指各个事物静止的状态及状态变动的形式：

  人们从来自对四周世界的察看失去的数据中取得信息。信息是形象的意识或常识，它是看不见、模不到的。人脑的思维流动产生的一种想法，当它仍贮存在脑子中的时候它就是一种信息。

信息、音讯和信号

信息

• 信息是通信零碎中传输（或存储、解决)的对象，它蕴含在音讯中。
• 是事物静止状态或存在形式的不确定性的形容。（香农信息的定义）

音讯

• 是指蕴含有信息的语言、文字和图像等;
• 音讯中载荷有信息，然而同一个信息能够由不同的音讯载荷。

信号

• 是音讯的物理体现。能够用不同类型的信号，如声、光、电等传递同一个音讯。

在通信零碎中，理论传输的是信号，但实质内容的是信息。信息蕴含在信号之中，信号是信息的载体。通信的后果是打消或局部打消不确定性，从而取得信息。

信息的特色

信息的基本概念在于它的不确定性,任何已确定的事物都不含信息。

• 接收者在收到信息之前，对它的内容是不晓得的，所以，信息是新常识、新内容;
• 信息是能使意识主体对某一事物的未知性或不确定性缩小的有用常识;
• 信息能够产生，也能够隐没，同时信息能够被携带、储存及解决;
• 信息是能够量度的，信息量有多少的差异。

Question：除了上述的信息的特色，信息还有一些其余的特色，请抉择上面哪些是信息的特色? (ACD)

A. 信息非负
B. 信息能够是任意值
C. 信息具备可加性
D. 确定音讯（事件) 的所含信息量为零

解析：信息不能够是任意值。因为信息和任意值没有关联。

信息论

信息论是一门利用概率论、随机过程、数理统计和近代代数的办法，来钻研信息传输、提取和解决零碎中个别法则的学科，被称为“通信的数学实践”。

信息论是在 信息能够量度 的根底上, 钻研 无效地和牢靠地传递信息 的迷信, 它波及信息量度、信息个性、信息传输速率、信道容量、烦扰对信息传输的影响等方面的常识。

二、信息论钻研的内容

广义信息论

次要钻研信息的测度、信道容量以及信源和信道编码实践等问题。

个别信息论

次要也是钻研信息传输和解决问题，除香农信息论，还包含噪声实践、信号滤波和预测、统计检测和预计、调制实践、信息处理实践以及窃密实践等。

狭义信息论

不仅包含上述两方面内容，而且包含所有与信息无关的天然和社会畛域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包含社会学中无关信息的问题

信息论钻研的内容

1、通信的统计实践钻研

次要钻研利用统计数学工具剖析信息和信息传输的统计法则。其具体内容有:

• 信息的测度;
• 信息速率与嫡;
• 信道传输能力——信道容量。

2、信源的统计个性

• 文字 (如汉字)、字母(如英文) 的统计个性;
• 语音的参数剖析和统计特件;
• 图片及流动图像 (电视) 的统计个性;
• 其余信源的统计个性。

3、编码实践与技术的钻研

• 有效性编码:

  进步信息传输的有效率 ，次要针对信源的统计个性进行编码，也称 信源编码。

• 抗干扰编码:

  进步信息传输的可靠性 ，次要针对信道统的计个性进行编码; 也称 信道编码。

4、进步信息传输效率的钻研

• 功率的节约;
• 频带的压缩;
• 传输工夫的缩短，即疾速传输问题。

5、抗干扰实践与技术的钻研

• 各种调制制式的抗干扰性;
• 现实接收机的实现

6、噪声中信号检测实践与技术的钻研

• 信号检测的最佳准则;
• 信号最佳检测的实现。

三、信息论倒退历程 & 香农

“通信的根本问题就是在一点从新精确地或近似地再现另一点所抉择的音讯”。这是数学家香农 (Claude E.Shanon) 在他的惊世之著《通信的数学实践》中的一句铭言。

香农利用数理统计的办法来钻研通信零碎，从而创建了影响深远的信息论。香农因而成为信息论的奠基人。

香农，1816 年生于美国密执安州的加洛德。在大学中他就体现出了对数理问题的高度敏感。他的硕士论文就是对于布尔代数在逻辑开关实践中的利用。起初, 他就任于贝尔电话研究所, 在这个世界上最大的通信公司 (美国电话电报公司) 的钻研基地里, 他受着前辈的工作的启发, 其中最具代表性的是《贝尔零碎技术杂志》上所披露的奈奎斯特的《影响电报速率的一些因素》和哈特莱的《信息的传输》。正是他们最早钻研了通信零碎的信息传输能力，第一次提出了信息量的概念, 并试图用教学公式予以形容。香农则创造性地继承了他们的事业, 在信息论的畛域中钻研了 8 年之久, 终于在 1948 年也在《贝尔零碎技术杂志》上发表了 244 页的长篇论著《通信的数学实践》。次年, 他又在同一杂志上发表了另一篇名著《噪声下的通信》。

在这两篇文章中, 香农解决了过来许多悬而未决的问题: 经典地说明了通信的根本问题，提出了通信零碎的模型，给出了信息量的数学表达式，解决了信道容量、信源统计个性、信源编码、信道编码等无关准确地传送通信符号的根本技术问题。两篇文章成了当初信息论的奠基著述。

参考文献：

1. Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
2. Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
3. 周炯槃. 通信原理（第 3 版）[M]. 北京：北京邮电大学出版社, 2008.
4. 樊昌信, 曹丽娜. 通信原理（第 7 版）[M]. 北京：国防工业出版社, 2012.

欢送关注公众号【AIShareLab】，一起交换更多相干常识，前沿算法，Paper 解读，我的项目源码，面经总结。