信息论 复11习.docx
- 文档编号:5381025
- 上传时间:2022-12-15
- 格式:DOCX
- 页数:8
- 大小:26.22KB
信息论 复11习.docx
《信息论 复11习.docx》由会员分享,可在线阅读,更多相关《信息论 复11习.docx(8页珍藏版)》请在冰豆网上搜索。
信息论复11习
复习
第1章的练习题
1.请问提高通信系统传输的有效性属于信息论与编码技术的哪部分内容?
信源编码
2.请问提高通信系统传输的可靠性属于信息论与编码技术的哪部分内容?
信道编码
3.请问消息、信号、符号和信息的区别是什么?
信息是任何随机事件发生所包含的内容。
消息包含信息,是信息的载体。
符号和信号是携带信息是消息的运载工具。
4.什么叫样本空间?
概率空间?
所有可能选择的消息的集合称为样本空间。
一个样本空间和它的概率测度一起构成一个概率空间。
5.事件的概率取对数再取负值,这时它代表什么?
自信息
6.对于概率为1的确定事件来说,它含不含信息?
对于概率为0的确定事件来说,它含不含信息?
不含信息。
含有信息。
7.通信系统的模型由哪三部分组成?
编码器和解码器属于哪部分的?
信源、信道、信宿。
编码器分为信道编码器和信源编码器,译码器分为信道译码器和信源译码器。
8.信息论研究的主要内容是什么?
信息的测度、信道容量以及信源和信道编码理论等问题。
9.编码技术研究的主要内容是什么?
信源编码和信道编码。
第2章的练习题
1.在通信系统中,消息发出的源头叫什么?
信源
2.若信源的样本空间为X=[a,b,c],其对应的概率为p(x)=[0.1,0.3,0.6],请写出该信源的数学模型。
3.研究信息的基础理论是:
函数、统计学、算术、曲线?
4.这个概率空间p(x)=[0.1,0.4,0.3,0.1]和q(x)=[0.1,0.4,0.3,0.21]正确吗?
为什么?
不正确。
概率和不为1
5.自信息的数学期望代表什么?
信息熵
6.在信源输出前,信息熵H(X)表示什么?
信源的平均不确定性
7.在信源输出后,信息熵H(X)表示什么?
每个消息提供的平均信息量
8.考虑一个信源概率为{0.3,0.25,0.2,0.15,0.1}的DMS,求信源的的H(X)。
(DMS:
离散无记忆信源)H(x)=0.3log(0.3)+0.25log(0.25)+0.2log(0.2)+0.15log(0.15)+0.1log(0.1)=…
9.离散无记忆信源所发出的各个符号之间是a。
(a)独立的,(b)有关的,(c)有统计关联性,(d)符号序列之间没有关系。
10.平稳信源的特点是,它输出的序列的统计特性其条件概率与时间起点无关,只与关联长度N有关。
11.平均符号熵与信息熵的区别是平均符号熵的各个符号之间是有关联的,信息熵的符号之间是独立的。
在数量上,信息熵大于有记忆信源的符号熵。
12.在连续信源输出信号的幅度是被限制在[a,b]范围内的情况下,具有最大熵的信源的概率密度分布是按均匀分布的。
13.在连续信源输出信号的平均功率被限制为P的情况下,具有最大熵的信源的概率密度分布是按高斯分布的。
14.对于一个具体的信源,它所具有的信息量是确定的还是不确定的?
确定的
15.香农第一定理也叫无失真变长信源编码定理,它告诉我们:
表示无失真表示信源符号的最少比特数等于该信源的熵。
16.已知某离散信源由a、b、c、d组成,其发送概率为1/4、1/8、1/2、1/8。
若每个符号的出现都是统计独立的,求babccdbdcbbaab所包含的信息量。
I=-3log(1/4)-8log(1/8)-3log(1/3)
17.在一次篮球决赛中,比赛采用三局两胜制,假设红队和蓝队获胜(b)的可能性相同,请计算:
(1)红队获胜(a)的结果X的信源熵H(X);
红队获胜:
aa(1/4);aba(1/8);baa(1/8)
H(X)=-1/4log(1/4)-2×1/8log(1/8)=5/4(bit/symbol)
(2)红队在第一场失利的条件下,取得冠军的概率有多大?
该事件发生后提供多大的信息量;1/4;
I=-1/4log(1/4)=1/2(bit/symbol)
(3)两队打满3场所提供的信息量。
3bit
第3章的练习题
1.在通信系统中,传输或存储信息的载体叫什么?
信道
2.一般信道可用哪三组变量来表示?
信道输入概率空间,信道输出概率空间,信道的传递概率(转移概率)
3.信道的疑义度H(X|Y)表示,在接收端收到符号Y后,对发送端发送的符号X是什么仍存在不确定性。
4.信道的平均互信息I(X;Y)也叫信息传输率,它表示在接收端收到符号Y后,对发送端发送的符号X的不确定性的消除。
5.平均互信息的最大值为信源的信息量H(X),最小值为0。
6.平均互信息I(X;Y)的凹凸性有两个方面:
一个是信道固定时,I(X;Y)是p(x)的上凸函数;另一个是信源固定时,I(X;Y)是p(x)的下凹函数。
7.香农第二定理也叫信道编码定理,它告诉我们:
信道无失真传输信息时的最大信息传输量等于信道容量。
8.如果一个由字母a、b、c、d组成的字,将每个字母用两位二进制脉冲编码,其中00、01、10、11分别代表a、b、c、d,每位宽度为5ms。
(1)当不同的字母等概率出现时,计算传输的平均信息速率;
H=4×1/4×log4=2(bit/symbol)
H×v=2bit/symbol×1/(2×5×10-3)symbol/s=200bit/s
(2)若每个字母出现的概率分别为1/5、1/4、1/4、3/10,计算传输的信息速率。
(计算同上)
9.已知彩色电视图像由500000个像素组成,设每个像素有64种彩色度,每种彩色度有16个亮度等级。
如果所有彩色度和亮度等级的组合均等,并统计独立。
请计算:
(1)每秒传送100个画面所需要的信道容量;
P(x)=1/(16×64)500000;
C=-p(x)×log(p(x))=500000×log(16×64)=5×106(bit/画面)
每秒传送100个画面所需要的信道容量为:
Ct=100×C=5×108(bit/画面)
(2)若接收机的信噪比为30dB,则所需的传输带宽为多少?
公式Ct=Wlog(1+Ps/N0W)
其中Ps/N0W是信噪比,则有5×108=W×log(1+30)
解得传输带宽W
10.某信息源包含w、x、y、z四个符号,它们出现的概率相等,传输时采用二进制进行,已知信息传输速率为1Mbps,求
(1)码元传速率。
V=2×1Mbps=2Mbps
(2)该信息源工作一小时后发出的信息量。
3600×V=7200Mb
11.设一个二进制的信道中,信源X=[0,1]的概率分布p(x)=[0.5,0.5],信宿Y=[0,1],信道的传输错误概率p(y=1|x=0)=1/4和p(y=0|x=1)=1/8。
求:
(1)信道的转移矩阵p(y|x)=?
[3/41/4
1/87/8]
(2)信道的联合概率p(xy)=?
公式p(xy)=p(y/x)p(x)
[3/81/8
1/167/16]
(3)信宿的概率分布p(y)=?
公式由p(xy)=p(y/x)p(x)=p(x/y)p(y)
∑p(y/x)p(x)=∑p(x/y)p(y)对x求加和得
p(y/x0)p(x0)+p(y/x1)p(x1)=p(y)
则p(y0)=p(y0/x0)p(x0)+p(y0/x1)p(x1)=7/16
P(y1)=p(y1/x0)p(x0)+p(y1/x1)p(x1)=9/16
综上,概率分布[7/169/16]
(4)信道的后验概率p(x|y)=?
公式p(x/y)=p(xy)/p(y)
[6/72/9
1/77/9]
(5)接收端收到符号y=0后,获得的关于发送端x的平均信息量I(X;y=0)的基本计算方法有:
(a)一种,(b)两种,(c)三种,(d)四种;
Ⅰ:
I(xi;y0)=I(x)-I(x/y0)=log[p(x/y0)/p(x)]
Ⅱ:
I(xi;y0)=H(x)-H(x/y0)=∑p(x/y0)I(xy0),对x求和
(6)I(X;y=0)的正确结果是:
(a)0.236,(b)0.408(bit),(c)0.408(bit/symbol),(d)0.236(bit/symbol)。
(7)接收端收到符号y=1后,获得的关于发送端x的平均信息量I(X;y=1)=:
(a)0.236,(b)0.408(bit),(c)0.408(bit/symbol),(d)0.236(bit/symbol)。
计算同上
(8)计算该通信系统的信息传输率的基本方法有:
(a)一种,(b)两种,(c)三种,(d)四种;
(9)系统的信息传输率I(X;Y)的正确结果是:
(a)0.644(bit/symbol),(b)0.311(bit/symbol),(c)0.408(bit/symbol),(d)0.236(bit/symbol)。
(10)若该系统信源X=[0,1]的概率分布p(x)=[0.69,0.31]时,其对应的信息传输率I(X;Y)与第(9)小题的结果相比,谁的较大?
为什么?
(9)的结果较大,根据最大熵定理,(9)中是等概率分布,信息传输率最大。
第4章的练习题
1.在通信系统中,无失真编码是否是必需的?
不是。
1)新宿的灵敏度和分辨力是一定的。
2)无失真编码并非总是可能的。
3)由于信道噪声的影响,信息在传输过程也会产生差错
2.保真度准则是指:
实际应用的失真度小于等于允许的失真度。
3.有失真编码的问题可以转换为信息率失真函数R(D),该函数R(D)表示,寻找一种编码方法,使得其信息传输率在满足失真度准则的情况下达到最小,这也意味着这种编码方法所使用的比特。
4.香农第三定理也叫保真度准则下的信源编码定理,它告诉我们:
在允许失真D0的条件下,信源编码的或信源输出的信息速率最低可压缩至极限值R(D)。
第5章的练习题
1.信源通过信道传输到达信宿的过程叫做通信。
2.通信中要解决的两个基本问题是:
如何用尽可能少的符号来传送信源信息,如何尽可能提高信息传输的可靠性传送信息。
3.信源编码的主要途径有两个:
一个是使编码后的符号之间尽可能地互相独立(即解除相关性),另一个是编码后的符号之间的概率尽可能地相等(即均匀分布化)。
第6章的练习题
1.从原理上看,提高信息传输准确性的基本思路是,在待发送的信息序列中人为地加入一定的多余码元(称为监督码)。
2.信源编码和信道编码的主要区别是。
3.线性码和分组码的区别是。
4.卷积码和线性分组码的区别是。
5.线性分组码的编码公式是。
6.对偶码和缩短码的区别是。
7.循环码是指这种码的任何一个码字的每一次循环移位后都是一个码字的码。
8.循环码线性分组码,循环码卷积码。
9.卷积码的描述方法有六种:
离散卷积法,生成矩阵法,
码多项式法,状态图法,树图法,格图法
1.香农第一定理:
无失真变长信源编码定理P45
2.香农第二定理:
信道编码定理
3.香农第三定理:
编码与类型
信源编码:
将信源符号序列按一定的数学规律映射成由码符号组成的码序列的过程。
信源译码:
根据码序列恢复信源序列的过程。
无失真信源编码:
即信源符号可以通过编码序列无差错地恢复。
(适用于离散信源的编码)
限失真信源编码:
信源符号不能通过编码序列无差错地恢复。
(可以把差错限制在某一个限度内)
信源编码的目的:
提高传输有效性,即用尽可能短的码符号序列来代表信源符号。
编码类型:
概率匹配编码:
信源符号的概率已知。
⏹分组码:
先分组再编码。
在分组码中,每一个码字仅与当前输入的信源符号组有关,与其他信源符号无关。
包括:
定长码、变长码(Huffman编码、费诺编码)
⏹非分组码:
码序列中的符号与信源序列中的符号无确定的对应关系。
例如算术编码。
通用编码:
信源符号的概率未知。
填空题(部分)
2、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
3、信息的可度量性是建立信息论的基础。
4、统计度量是信息度量最常用的方法。
5、熵是香农信息论最基本最重要的概念。
6、事物的不确定度是用_时间统计发生概率的对数来描述的。
7、单符号离散信源一般用随机变量描述,而多符号离散信源一般用随机矢量描述。
8、一个随机事件发生某一结果后所带来的信息量称为自信息量,定义为其发生概率对数的负值。
9、自信息量的单位一般有比特、奈特和哈特。
10、必然事件的自信息是0。
11、不可能事件的自信息量是∞。
12、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
14、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
16、对于n元m阶马尔可夫信源,其状态空间共有nm个不同的状态。
17、一维连续随即变量X在[a,b]区间内均匀分布时,其信源熵为log2(b-a)。
18、根据输入输出信号的特点,可将信道分成离散信道、连续信道、半离散或半连续信道。
19、信道的输出仅与信道当前输入有关,而与过去输入无关的信道称为无记忆信道。
20、具有一一对应关系的无噪信道的信道容量C=log2n。
21、对称信道的信道容量C=log2m-Hmi。
22、对于离散无记忆信道和信源的N次扩展,其信道容量CN=NC。
24、信道编码定理是一个理想编码的存在性定理,即:
信道无失真传递信息的条件是信息率小于信道容量。
25、信息率失真理论是量化、数模转换、频带压缩和数据压缩的理论基础。
26、求解率失真函数的问题,即:
在给定失真度的情况下,求信息率的极小值。
27、单符号的失真度或失真函数d(xi,yj)表示信源发出一个符号xi,信宿再现yj所引起的误差或失真。
29、如果规定平均失真度
不能超过某一限定的值D,即:
。
我们把
称为保真度准则。
31、信息率失真函数,简称为率失真函数,即:
试验信道中的平均互信息量的最小值。
32、平均失真度的上限Dmax取{Dj:
j=1,2,···,m}中的最小值。
33、率失真函数对允许的平均失真度是单调递减和连续的。
34、当失真度大于平均失真度的上限时Dmax时,率失真函数R(D)=0。
35、信源编码的目的是:
提高通信的有效性。
36、设无记忆二元序列中,“0”和“1”的概率分别是p0和p1,则“0”游程长度L(0)的概率为
。
37、信道编码的最终目的是提高信号传输的可靠性。
38、BSC信道即:
无记忆二进制对称信道。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 复11习 11