信息论基础》试卷(期末A卷Word文档下载推荐.doc
- 文档编号:14176564
- 上传时间:2022-10-19
- 格式:DOC
- 页数:6
- 大小:176.50KB
信息论基础》试卷(期末A卷Word文档下载推荐.doc
《信息论基础》试卷(期末A卷Word文档下载推荐.doc》由会员分享,可在线阅读,更多相关《信息论基础》试卷(期末A卷Word文档下载推荐.doc(6页珍藏版)》请在冰豆网上搜索。
9、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。
10、在下面空格中选择填入数学符号“”或“”
(1)当X和Y相互独立时,H(XY)=H(X)+H(X/Y)。
(2)假设信道输入用X表示,信道输出用Y表示。
在无噪有损信道中,H(X/Y)>
0,H(Y/X)=0,I(X;
Y)<
H(X)。
二、掷两粒骰子,各面出现的概率都是1/6,计算信息量:
1.当点数和为3时,该消息包含的信息量是多少?
2.当点数和为7是,该消息包含的信息量是多少?
3.两个点数中没有一个是1的自信息是多少?
解:
1.P(“点数和为3”)=P(1,2)+P(1,2)=1/36+1/36=1/18
则该消息包含的信息量是:
I=-logP(“点数和为3”)=log18=4.17bit
2.P(“点数和为7”)=P(1,6)+P(6,1)+P(5,2)+P(2,5)+P(3,4)+P(4,3)=1/366=1/6
I=-logP(“点数和为7”)=log6=2.585bit
3.P(“两个点数没有一个是1”)=1-P(“两个点数中至少有一个是1”)
=1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36
则该消息包含的信息量是:
I=-logP(“两个点数中没有一个是1”)=log25/36=0.53bit
三、设X、Y是两个相互统计独立的二元随机变量,其取-1或1的概率相等。
定义另一个二元随机变量Z,取Z=YX(一般乘积)。
试计算:
1.H(Y)、H(Z);
2.H(XY)、H(YZ);
3.I(X;
Y)、I(Y;
Z);
1.=1bit/符号
Z=YX而且X和Y相互独立
=
=
故H(Z)==1bit/符号
2.从上式可以看出:
Y与X的联合概率分布为:
P(Y,Z)
Y=1
Y=-1
Z=1
0.25
Z=-1
H(YZ)=H(X)+H(Y)=1+1=2bit/符号
3.X与Y相互独立,故H(X|Y)=H(X)=1bit/符号
I(X;
Y)=H(X)-H(X|Y)=1-1=0bit/符号;
I(Y;
Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=0bit/符号
四、如图所示为一个三状态马尔科夫信源的转移概率矩阵
P=1.绘制状态转移图;
2.求该马尔科夫信源的稳态分布;
3.求极限熵;
1.状态转移图如右图
2.由公式,可得其三个状态的稳态概率为:
3.其极限熵:
五、在干扰离散对称信道上传输符号1和0,已知P(0)=1/4,P
(1)=3/4,试求:
1
0.9
0.1
1.该信道的转移概率矩阵P;
2.信道疑义度H(X|Y);
3.该信道的信道容量以及其输入概率分布
1.该转移概率矩阵为
P=
2.根据P(XY)=P(Y|X)P(X),可得联合概率
P(XY)
Y
X=0
9/40
1/40
X=1
3/40
27/40
P(Y=i)
12/40
28/40
由P(X|Y)=P(X|Y)/P(Y)可得
P(X|Y)
Y=0
3/4
1/28
1/4
27/28
H(X|Y)=-
3.该信道是对称信道,其容量为:
C=logs-H=log2-H(0.9,0.1)=1-0.469=0.531bit/符号
这时,输入符号服从等概率分布,即
六、某信道的转移矩阵
试求:
该信道的信道容量及其最佳输入概率分布。
解:
该信道是准对称信道,分解为两个互不相交的子信道矩阵
这里
C=logr-H(P的行矢量)
-=0.174bit/符号
这时,输入端符号服从等概率分布,即=
七、信源符号X有六种字母,概率为0.32,0.22,0.18,0.16,0.08,0.04。
用赫夫曼编码法编成二进制变长码,写出编码过程并计算其平均码长、编码后的信息传输率和编码效率
码字
00
10
11
010
0110
0111
0.32
0.22
0.18
0.16
0.08
0.04
“1”
0.12
0.281
10.4
00.6
该信源在编码之前的信源熵为:
=0.526+0.481+0.445+0.423+0.292+0.186
=2.353bit/符号
编码后的平均码长:
=2.4码元/信源符号
编码后的信息传输率为:
bit/码元
编码效率为:
八、设在平均功率受限的高斯可加波形信道中,信道带宽为3KHz,又设信噪比为10
1.试计算该信道传达的最大信息率(单位时间);
2.若功率信噪比降为5dB,要达到相同的最大信息传输率,信道带宽是多少?
1.
故:
该信道传送的最大信息速率为:
2.若SNR=5dB,则SNR==3.162,在相同情况下
1.04=Wlog(1+SNR)=Wlog4.162
W=5.04Hz
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 基础 试卷 期末