信息理论与编码.docx
- 文档编号:29162142
- 上传时间:2023-07-20
- 格式:DOCX
- 页数:13
- 大小:20.92KB
信息理论与编码.docx
《信息理论与编码.docx》由会员分享,可在线阅读,更多相关《信息理论与编码.docx(13页珍藏版)》请在冰豆网上搜索。
信息理论与编码
信息理论与编码
第一讲
1、信息论与编码的关系(重要)
信息论研究的是编码极限,首先要通讯就要编码,编码有各种方法,选取好的,压缩数据,从编码有效性来说,数据最短的最好,信息论告诉我们什么样的情况数据最短。
2、编码与通讯的关系
通讯就是把信息从A点传到B点的过程,信息要进行传递必须把信息加载到一定载体上而把信息指代给载体的过程就是编码,如果要通讯就一定要进行编码。
3、什么是摩尔斯码?
摩尔斯码是人类第一个使用的编码,摩尔斯码是由点和划来表示常用的英文字母、标点符号以及10个阿拉伯数字的编码,通过这个编码就可以把通常的电报内容用电码形式传递出来。
4、SOS的含义
这三个救急信号是摩尔斯码里的“———”,不是英文缩写。
5、信息论的发展简史
1917年频分复用(载波);
1924年采样定理;模拟—数字信号
1932年摩尔斯电报系统;
1948年Shannon发表论文“通讯的数学理论”,从而“信息论”诞生了。
6、什么是加密编码?
举例说明。
7、编码需要解决通讯中的哪三个问题?
1)压缩数据;
2)检错和纠错;
3)通讯过程中的加密。
8.加密编码在信息通讯中的作用。
举例说明(重要)
1)网上银行数字证书
2)二次世界大战美国人没有破译日本人的密码就会有更多人牺牲
IT时代信息的保密十分重要
1、什么是信息科学、信息论
信息科学是研究所有信息现象的一门学科,信息论研究通讯中的信息传递、加密、压缩、纠错。
2、信息论和信息科学的关系、区别(重要)
信息论只要讲通讯里的信息处理问题(如信息传递、加密、收缩、纠错),范围窄;信息科学讲的是所有领域的信息处理问题,例如知识论等,范围广。
信息论是信息科学中的一部分。
3、信息科学研究的范围和具体内容
信息科学研究通信中的信息和信息的获取、传递、认知、再生、施效、组织等所有信息现象。
第三讲
1、信息的定义(重要)
维纳的信息定义——信息就是信息,不是物质也不是能量。
仙农的定义——用来减少随机不定性的东西。
我们自己的定义——信息是内容和载体的统一体,指代了内容的载体就是信息。
2、信息的三要素以及它们之间的关系(重要)
信息三要素:
载体、内容、指代;
内容:
传输的信息,指代的原像;
载体:
物质、场;
指代:
编码
区别:
同一载体可指代不同内容,同一内容也可指代不同载体。
载体是物质的,内容是精神的,内容通过指代到载体。
举例说明:
红色可以指代颜色和危险不同的内容苹果在中文英文西班牙文中都是不同的
3、成为载体的三个必要条件(重要)
必须是物质的、有两种以上可分辨状态、在时空位可排列和展开。
举例说明:
文字、语言、手势、结绳、烽火、01码、盲文第四讲
1、什么是符号集、时空位?
符号集中的符号与时空位的区别?
举例说明。
(重要)符号集就是由符号组成的集合,例:
英文26个字母、汉字、0到9阿拉伯数字;时空位就是通讯过程中的一个时空的点,其有不同的可分辨状态。
这个时空点可填充不同符号,例:
一排红绿灯中的某个灯、7位ASCII码中的一位。
时空位是指信息中一个时空的位置,即存放编码符号集的位子。
2、什么是信息序列、信息流?
信息序列:
指代了内容的时空位序列;
信息流:
信息序列随时间变换,由时空位构成的指代了内容信息载体。
3、什么是信源、信宿以及信道?
举例说明(重要)
信源——信息的产生和发送者,例:
嘴;
信宿——信息接受者,例:
耳朵;
信道——信源与信宿之间的信息传输媒介,例:
空气。
信宿分为无能和万能(可以理解接受所有信宿)人不是无能因为他可以接受声音等,她也不是万能,因为他不能接受红外线。
4、信息如何分类?
①语法信息、语义信息、语用信息;②自然信息、编码信息;③离散信息、连续信息。
5、通讯中有哪三种编码?
信源编码、信道编码、加密编码。
6、信源编码与信道编码之间的关系、区别(重要)
信源编码就是在信源端对数据进行的压缩编码,目的是信源端压缩数据使数据变短;信道编码就是使得信息可以在信道上传输以及正确传输,目的是在信道上正确传递数据,加了检验位和纠错位使得数据变长。
7、什么是调制与解调?
为什么要调制与解调?
(重要)
调制就是将需要传输的信号加载到载波上去的过程;解调就是把信号从载波中取出的过程。
原因:
1)因为天线发射无线电波必须满足无线电波的半波长和天线的尺寸近似相等,才能有效地
发射,必须把低频信号加载到高频信号上去;
2)可实现N个人和N个人之间的通讯。
1、什么是载体和内容信息量?
载体信息量:
载体最大能承载的信息量;
内容信息量:
内容包含的信息的多少。
2、物理量的一般定量方法的三个步骤(重要)
1)寻找一个单位,单位保证不变,容易获取以及测量,不能消失;
2)将待测量与单位比较,得到倍数关系;
3)用测量倍数和单位得到测量值。
举例速度单位30万公里/秒
3、信息的单位及换算关系
信息单位:
1)状态数(个);
2)bit(以二为底的对数);
3)det(以十为底);
4)nat(e)。
换算关系:
用N的单位为种,I的单位为位bit,换算公式为I=log2N(bit)
4、什么是Hartley公式?
其单位是?
1928年Hartley载体信息公式:
I=log2N(bit),N为可分辨状态数。
5、如何来计算一张光盘的信息量?
光盘中有n个时空位,每个时空位有b种表示,则光盘的信息量为:
N=b(种),I=nlognb(bit)
6、如何提高一张光盘存储信息量?
光盘储存信息量的决定因素为:
1)时空位的密度——增加时空位的密度;
2)一个时空位上的可分辨物理状态数——提高一个时空位上的可分辨物理状态数。
可据以上两个因素提高光盘储存信息量。
第六讲
1、十个天干和十二个地支分别是什么?
今年、明年是什么年?
天干:
甲、乙、丙、丁、戊、己、庚、辛、壬、癸;
地支:
子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥。
天干地支组合成如下六十个计时序号,作为纪年、月、日、时的名称,叫干支纪年法;用六十甲子依次纪年,六十年一个轮回。
今年是庚寅年,计算方法:
天干——年数减3,除以10所得余数;地支——年数减3,除以12所得余数。
明年是辛卯年。
2、易经中表示阴、阳的符号分别是什么?
64卦和二进制的关系式?
阴:
--;阳:
-;
64卦对应的是:
六位二进制编码;信息量=6(bit)
3、什么是内容信息量?
其公式是?
(重要)例题
n
内容信息量:
指代原像的多少,内容对应的状态数对数的个数;
计算公式为:
I=log2N(bit),N为内容的可分辨状态数。
第七讲
1、什么是满指代、冗余?
满指代:
每一个载体状态上都指代了内容。
冗余:
载体里有一部分没有指代内容。
2、为什么符号集中的符号等概率使用时,符号集中的符号利用率最高?
根据Shannon熵公式极值性有
H(p1,,pN)≤H(11,,)=logNNN
由此可见,符号集中的符号等概率使用时,符号集中的符号利用率最高。
3、什么是符号集的概率模型?
模型:
符号集状态可能性的模型。
条件概率:
有事件A、B,其中P(A)>0,在A事件发生的条件下,B事件发生的概率记为P(B/A)。
4、什么是信息熵?
其公式、含义、单位(重要)例题
信息熵:
有一定概率分布的符号集,在一个时空位上的平均载体信息量。
1(bit)公式:
H(P)Pilog2Pii1
含义:
符号集在一个时空位上平均载体信息量。
Pi是符号某i出现的概率,n1是以Pi为等概Pi
率的符号集中符号的个数,log2
1是以Pi为等概率的符号集的载体信息量。
Pi
第八讲
1、符号集的概率空间如何获得?
举例说明。
概率空间由统计获得。
某P(某)1
P1某2P2n...某n,其中0≤Pi≤1,Pi=1。
...Pni1
2、什么是Shannon第一定理?
(重要)
给出了离散无记忆信源,无失真条件下,信息的压缩编码极限。
设C为载体信息量,Cc为需要传递的内容信息量,则通过信息编码得到的信源无失真的充要条件是:
C≥Cc。
3、哈夫曼编码及其步骤?
举例说明。
(重要)大题
哈夫曼编码是一种编码方式,一种可变长编码。
步骤:
1)将信源符号集的N个符号概率从大到小排列;
2)用0和1代表两个概率最小的信源符号,0指代给二个符号中的大概率还是小概率可任
意选择,但编码过程中必须保持一致。
将两个概率最小的符号合并成一个符号,合并后符号的概率为两个符号概率之和。
将合并后的符号与原有符号组成新的符号集(N-1),这个新符号集称为缩减符号集;
3)将缩减信源符号集中的符号再按概率从大到小排列,并且用0、1表示两个概率最小的
符号。
然后将这两个最小概率符号再合并成一个符号,和其余符号构成N-2的缩减符号集;
4)以此类推,最后缩减为只有两个符号的缩减符号,将0,1,赋于这两个字符;
5)从最后一个缩减符号回溯得到的二进制码序列即为哈夫曼编码。
4、哈夫曼编码的特点是什么?
为什么哈夫曼编码能压缩数据?
特点:
1)可以保证概率大的信源符号对应短码,概率小的对应长码;
2)哈夫曼编码并非唯一;
3)哈夫曼编码对不同的信源的编码效率不同;
4)对信源进行哈夫曼编码后,形成一个哈夫曼编码表。
解码时,必须参照这一哈夫编码才能正确译码。
因为当载体信息量无限接近于内容信息量然后达到压缩极限就能压缩数据,数据压缩实质上是减少信息冗余量,冗余量的减少可以减少数据量而不减少信源的信息量。
第九、十讲
1、什么是物理信道?
举例说明?
(重要)
由物理实体构成的信道,如:
双绞线、同轴电缆、光纤、空气、真空等。
2、什么是信息传输速率?
单位时间内在信道中传输的载体信息量,用Rt表示,单位:
bit/
3、什么是无噪声物理信道容量?
物理信道内可达到的最大信息传输速率,用Cw表示,单位:
bit/,Cw=ma某(Rt)
4、什么是噪声平均误码速率、有噪物理信道容量?
单位时间内,由于噪声干扰而产生的错误载体信息量,用RN表示,单位:
bit/单位时间内可正确接收的最大载体信息量,Cw=ma某(Rt-RN)bit/
5、决定有噪物理信道容量的因素是什么?
(重要)
1)信道载体的时空位密度(与技术有关);
2)噪声水平(与环境有关)。
6、什么是数学信道?
举例说明(重要)
数学信道:
由数学模型决定的信道。
举例对称信道
7、什么是信息传输码率?
在信道中一个时空位可传输的载体信息量,用R表示,单位为:
bit/时空位
8、什么是噪声平均错误码率?
在信道中,由噪声引起的一个时空位中的错误信息量,用RN表示,单位bit/时空位。
9、什么是数学信道容量?
在数学信道中一个时空位最大可正确接收的载体信息量,用C表示,单位为bit/时空位
10、什么是Shannon第二定理?
(重要)
在有噪声数学信道中,无失真信道纠错编码存在的充要条件是R≤C,其中R为信息传输码率,C为信道容量,R=C为编码极限。
11、什么是奇偶检验码?
举例说明,奇偶校验码能检几位错误码?
能纠错吗?
(重要)大题一种通过增加冗余位使得码字中“1”的个数恒为奇数或偶数的编码方法,它是一种检错码,是信道编码的一种。
例:
需传赵-000、钱-100、孙-010、李-110、周-001、吴-101、郑-011、王-111,它们的奇偶检验码分别为赵-0000、钱-1001、孙-0101、李-1100、周-0011、吴-1010、郑-0110、王-1111
奇偶校验码可以检查出一位错误,不能纠错。
12、什么是重复码?
举例说明。
n次重复码(n为奇数)时可检出几位错误码?
可纠正几位?
(重要)大题
重复码:
各码字的码元是重复的,是信道编码的一种。
例:
需传赵-000、钱-100、孙-010、李-110、周-001、吴-101、郑-011、王-111,它们的重复码分别为赵-000000000、钱-100100100、孙-010010010、李-110110110、周-001001001、吴-101101101、郑-011011011、王-111111111
n次重复码可以检出(n-1)位错,可纠正(n-1)/2位错
第十一讲
1、什么是失真?
什么是失真误码码率?
什么是限失真误码码率?
(重要)
1)什么是失真?
什么是失真误码码率?
什么是限失真误码码率?
失真:
信息序列中允许一定的错误时空位出现。
2)什么是失真误码码率?
一个时空位上的平均误码信息量。
用C表示,bit/时空位
3)什么是限失真误码码率?
一个时空位上允许的最大平均误码码率。
用CD表示,bit/时空位
2、什么是Shannon第三定理?
举例说明限失真的压缩编码。
(重要)
第三定律:
允许失真的信率压缩编码的极限。
C表示一个是时空位中的载体信息量,Cc表示一个时空位中的内容信息量。
信源限失真编码存在的必要条件是:
C≥CC-CD,其中C=CC-CD为编码极限。
令R(D)=Cc-Cd,R(D)称为信息率失真函数,其中D为失真度,则C≥R(D)例:
1张图有1024某768个点,现在允许100个点失真,问:
如何进行压缩编码?
方法1:
1)从整个图中找出均匀的100个点,将这100个点去掉;
2)收到信号后用去掉点的前后点的平均值代替去掉的点。
从而恢复图像。
方法2:
在边缘取100个点,去掉后再恢复。
3、知识的定义(重要)
1)高级的信息,是加工后的信息;
2)规律的总结;
3)经验的总结;
4)概念之间的关联。
4、知识的分类?
(重要)
1)自然科学:
理科(物理、化学、数学)和工科(通讯、建筑、桥梁、化工);
2)社会科学:
历史、地理、哲学、政治学、经济学、心理学。
5、知识可以用什么来表示?
举例说明。
知识可以用:
1)数学符号;
2)文字和语言表示。
举例:
苹果可以用英文、希腊文或者中文等表示;空间关系可以用几何来表示。
6、什么是知识的结构?
如何使一个人的知识结构适应社会?
公理化的知识结构:
命题、实践
一个人所拥有的所有知识集合。
7、获得知识的方法(重要)
1)归纳法:
不完全归纳法和完全归纳法,例:
数学归纳法。
2)演绎法:
从普遍性结论或一般性事理推导出个别性结论的论证方法。
3)类比法。
第十二讲
1、传感器的三个基本参量
1)感知域;
2)灵敏度;
3)保真度。
2、列举几种常用的传感器及其在生活中的应用
光敏传感器、声敏传感器、化学传感器、压力传感器等。
3、什么是模式识别?
举例说明。
根据模式库中的模式与识别对象的比较,判断识别对象属于哪种模式的过程。
第十三讲
1、什么是控制论及其研究对象?
控制论:
研究各种控制系统的共同规律和方法的一门学科。
研究对象:
各种控制系统。
2、控制论的创始人是谁?
维纳
3、举例说明生活中常用的控制系统,并简单说明其工作原理。
P161水位控制系统、姿态控制器等等。
抽水马桶原理:
使用抽水的时候,开关就会沉下去,抽水结束,水箱放水,开关就会浮上来。
4、什么是控制?
控制系统的方框图及其整个工作原理是什么?
控制就是信息施效的过程。
方框图见笔记(有反馈的方框图)
第十四讲
1、什么是科学方法论?
(重要)
研究人如何获得知识和能力的方法的一门学科。
2、方法论的分类(重要)
哲学分为:
1)自然科学方法论:
数学、物理、化学方法论
2)社会科学方法论:
历史学、地理学、经济学方法论
3、研究方法论的意义
事半功倍
对自然科学和社会科学的研究与发展都具有重要的指导意义。
4、历史上有哪几位重要的方法论科学家?
(重要)
笛卡尔、牛顿、休谟、培根
笛卡尔的方法论:
笛卡尔的方法论就是从推理中消除产生错误的因素
5、信息在方法研究里起的作用,并谈体会。
信息是研究方法论的前提
信息物质能量是信息三位一体的准则.
体会:
在研究方法论的时,不能仅仅局限于物质和能量的观点来分析,更重要的是从信息的观点出发来进行分析,抓住事物运动的状态和状态变化的方式.把事物运动过程看作是一个信息过程,弄清信息过程中的各个关系,从而建立一个能够反映该事物工作机制的信息模型.
用哈弗曼编码求:
红黄蓝绿紫红黄蓝绿0.50.30.10.10.40.250.20.10.05
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息 理论 编码