信息论与编码理论习题答案.docx
- 文档编号:30575344
- 上传时间:2023-08-16
- 格式:DOCX
- 页数:17
- 大小:19.47KB
信息论与编码理论习题答案.docx
《信息论与编码理论习题答案.docx》由会员分享,可在线阅读,更多相关《信息论与编码理论习题答案.docx(17页珍藏版)》请在冰豆网上搜索。
信息论与编码理论习题答案
信息论与编码理论习题答案
第二章信息量和熵
2.2八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的
信息速率。
解:
同步信息均相同,不含信息,因此
每个码字的信息量为2?
log8=2?
3=6bit
因此,信息速率为6?
1000=6000bit/s
2.3掷一对无偏骰子,告诉你得到的总的点数为:
(a)7;(b)12。
问各得到多少信
息量。
解:
(1)可能的组合为{1,6},{2,5},{3,4},{4,3},{5,2},{6,1}
61p(a)==366
得到的信息量=log1=log6=2.585bitp(a)
(2)可能的唯一,为{6,6}
1p(b)=36
得到的信息量=log1=log36=5.17bitp(b)
2.4经过充分洗牌后的一副扑克(52张),问:
(a)任何一种特定的排列所给出的信息量是多少?
(b)若从中抽取13张牌,所给出的点数都不相同时得到多少信息量?
1解:
(a)p(a)=52!
信息量=log1=log52!
=225.58bitp(a)
?
13!
?
?
13种点数任意排列(b)?
13?
4?
?
花色任选
13!
?
413413
p(b)==1313C52A52
13信息量=logC52?
log413=13.208bit
2.9随机掷3颗骰子,X表示第一颗骰子的结果,Y表示第一和第二颗骰子的
点数之和,Z表示3颗骰子的点数之和,试求H(Z|Y)、H(X|Y)、H(Z|X,Y)、H(X,Z|Y)、H(Z|X)。
解:
令第一第二第三颗骰子的结果分别为x1,x2,x3,x1,x2,x3相互独立,
则X?
x1,Y?
x1?
x2,Z?
x1?
x2?
x3
H(Z|Y)=H(x3)=log6=2.585bit
H(Z|X)=H(x2?
x3)=H(Y)
12345366log36+log18+log12+log9+loglog6)+3636363636536
=3.2744bit
=2?
(
H(X|Y)=H(X)-I(X;Y)=H(X)-[H(Y)-H(Y|X)]
而H(Y|X)=H(X),所以H(X|Y)=2H(X)-H(Y)=1.8955bit
或H(X|Y)=H(XY)-H(Y)=H(X)+H(Y|X)-H(Y)
而H(Y|X)=H(X),所以H(X|Y)=2H(X)-H(Y)=1.8955bit
H(Z|X,Y)=H(Z|Y)=H(X)=2.585bit
H(X,Z|Y)=H(X|Y)+H(Z|XY)=1.8955+2.585=4.4805bit
2.10设一个系统传送10个数字,0,1,…,9。
奇数在传送过程中以0.5的概
率错成另外一个奇数,其余正确接收,求收到一个数字平均得到的信息量。
解:
i?
0,2,4,6,8√
I(X;Y)=H(Y)-H(Y|X)
因为输入等概,由信道条件可知,
1?
p(y?
ii为奇数)?
?
?
10?
?
p(y?
ii为偶数)?
1(1?
1?
1?
1?
1)?
1
?
102888810?
即输出等概,则H(Y)=log10
H(Y|X)=?
?
i?
p(xyijj)logp(yj|xi)
=?
?
?
p(xiyj)logp(yj|xi)-?
?
p(xiyj)logp(yj|xi)
ji偶ji奇
=0-?
?
p(xiyj)logp(yj|xi)
ji奇
=-
=i?
1,3,5,7,9?
p(x)p(yii|xi)logp(yi|xi)-?
i?
ji=1,3,5,7,9?
p(x)p(yij|xi)logp(yj|xi)11111?
log2?
5+?
?
log8?
4?
51021024
13=?
=1bit44
I(X;Y)=H(Y)-H(Y|X)=log10-1=log5=2.3219bit
2.11令{u1,u2,?
,u8}为一等概消息集,各消息相应被编成下述二元码字u1=0000,u2=0011,u3=0101,u4=0110,
u5=1001,u6=1010,u7=1100,u8=1111
通过转移概率为p的BSC传送。
求:
(a)接收到的第一个数字0与u1之间的互信息量。
(b)接收到的前二个数字00与u1之间的互信息量。
(c)接收到的前三个数字000与u1之间的互信息量。
(d)接收到的前四个数字0000与u1之间的互信息量。
解:
即I(u1;0),I(u1;00),I(u1;000),I(u1;0000)
111p(0)=(1?
p)?
4+p?
4=882
I(u1;0)=logp(0|u1)1?
p=log=1+log(1?
p)bit1p(0)
2
11p(00)=[2(1?
p)2?
4(1?
p)p?
2p2]=84
p(00|u1)(1?
p)2
I(u1;00)=log=log=2[1?
log(1?
p)]bit1/4p(00)
11p(000)=[(1?
p)3?
3(1?
p)2p?
3(1?
p)p2?
p3]=88
I(u1;000)=3[1+log(1?
p)]bit
1p(000)0=[(1?
p)4?
6(1?
p)2p2?
p4]8
8(1?
p)4
I(u1;0000bit)=log(1?
p)4?
6(1?
p)2p2?
p4
2.12计算习题2.9中I(Y;Z)、I(X;Z)、I(X,Y;Z)、I(Y;Z|X)、I(X;Z|Y)。
解:
根据题2.9分析
13216621610216log216+logloglogH(Z)=2(+++216216321662161015216212162521627216loglogloglog+++)21615216212162521627
=3.5993bit
I(Y;Z)=H(Z)-H(Z|Y)=H(Z)-H(X)=1.0143bitI(X;Z)=H(Z)-H(Z|X)=H(Z)-H(Y)=0.3249bitI(X,Y;Z)=H(Z)-H(Z|XY)=H(Z)-H(X)=1.0143bit
I(Y;Z|X)=H(Z|X)-H(Z|XY)=H(Y)-H(X)=0.6894bitI(X;Z|Y)=H(Z|Y)-H(Z|XY)=H(X)-H(X)=0bit
2.14对于任意概率事件集X,Y,Z,证明下述关系式成立(a)H(Y,Z|X)?
H(Y|X)+H(Z|X),给出等号成立的条件(b)H(Y,Z|X)=H(Y|X)+H(Z|X,Y)
(c)H(Z|X,Y)?
H(Z|X)
证明:
(b)H(Y,Z|X)=-?
?
?
p(xyz)logp(yz|x)
xyz
=-?
?
?
p(xyz)log[p(y|x)p(z|xy)]
xyz
=-?
?
?
p(xyz)logp(y|x)-?
?
?
p(xyz)logp(z|xy)xyzxyz
=H(Y|X)+H(Z|XY)(c)H(Z|X,Y)=-?
?
?
p(xyz)logp(z|xy)
xyz
=?
?
p(xy)[-?
p(z|xy)logp(z|xy)]
xyz
?
?
?
p(xy)[-?
p(z|x)logp(z|x)]
xyz
=-?
?
?
p(xyz)logp(z|x)
xyz
=H(Z|X)
当p(z|xy)=p(z|x),即X给定条件下,Y与Z相互独立时等号成立(a)上式(c)左右两边加上H(Y|X),可得
H(Y|X)+H(Z|X,Y)?
H(Y|X)+H(Z|X)
于是H(Y,Z|X)?
H(Y|X)+H(Z|X)
?
1,?
1?
2.28令概率空间X?
?
11?
,令Y是连续随机变量。
已知条件概率密度为?
?
?
22?
第1章绪论
1.1信源、编码器、信道、干扰、译码器、信宿1.2香农
1.3通信系统模型
1.4信号是消息的表现形式,是物理的,比如电信号、光信号等。
消息是信息的载荷者,是
信号的具体内容,不是物理的,但是又比较具体,例如语言、文字、符号、图片等。
信息包含在消息中,是通信系统中被传送的对象,消息被人的大脑所理解就形成了信息。
1.5略
第2章信息的统计度量
2.1少
2.2y的出现有助于肯定x的出现、y的出现有助于否定x的出现、x和y相互独立2.3FTTTF
2.42.12比特
2.5依题意,题中的过程可分为两步,一是取出一枚硬币恰好是重量不同的那一枚,设其发
生的概率为p1,由于每枚硬币被取出的概率是相同的,所以
p1?
181
所需要的信息量
I?
A?
?
?
logp1?
6.34?
bit?
二是确定它比其他硬币是重还是轻,设其发生的概率为p2,则
p2?
12
12
1162
总的概率
p?
p1p2?
181?
?
所需要的信息量
I?
?
logp?
log162?
7.34?
bit?
2.6设A表示“大学生”这一事件,B表示“身高1.60m以上”这一事件,则
p?
A?
?
0.25
p?
B?
?
0.5
p?
B|A?
?
0.75
故
p?
A|B?
?
p?
AB?
p?
B?
?
p?
A?
p?
B|A?
p?
B?
?
0.75?
0.25
0.5
?
0.375
1p?
A|B?
10.375
I?
A|B?
?
log
?
log
?
1.42?
bit?
2.7四进制波形所含的信息量为log4?
2?
bit?
,八进制波形所含信息量为log8?
3?
bit?
,故
四进制波形所含信息量为二进制的2倍,八进制波形所含信息量为二进制的3倍。
2.8
I?
2?
?
?
log2p?
bit?
I?
3?
?
?
log3p?
bit?
I?
3?
I?
2?
?
log23?
1.585
故以3为底的信息单位是比特的1.585倍。
2.9
(1)J、Z
(2)E(3)X
2.10
(1)两粒骰子向上面的小圆点数之和为3时有(1,2)和(2,1)两种可能性,总的组合数为
C6?
C6?
36,则圆点数之和为3出现的概率为
1
1
p3?
236
?
118
?
4.17?
bit?
故包含的信息量为
(2)小圆点数之和为7的情况有(1,6),(6,1),(2,5),(5,2),(3,4),(4,3),则圆点数之和为7出现的概率为
p7?
636
?
16
I?
3?
?
?
logp3?
?
log
118
?
2.585?
bit?
故包含的信息量为
I?
7?
?
?
logp7?
?
log
16
2.11对于男性,是红绿色盲的概率记作p?
a1?
?
7%,不是红绿色盲的概率记作p?
a2?
?
93%,
这两种情况各含的信息量为
I?
a1?
?
log?
?
1p?
a1?
?
?
?
logI?
a2?
?
log?
?
p?
a2?
?
?
?
log
100710093
?
3.83?
bit?
?
0.105?
0.366?
bit?
?
0.105?
bit?
平均每个回答中含有的信息量为
H?
A?
?
p?
a1?
log?
?
1p?
a1?
?
?
?
p?
a2?
log?
?
1p?
a2?
?
?
?
7100
?
3.83?
93100
对于女性,是红绿色盲的概率记作p?
b1?
?
0.5%,不是红绿色盲的概率记作p?
b2?
?
99.5%,则平均每个回答中含有的信息量为
H?
B?
?
p?
b1?
log?
?
1p?
b1?
?
?
?
p?
b2?
log?
?
1p?
b2?
?
?
?
51000
?
log
10005
?
9951000
?
log
1000995
?
0.045?
bit?
所以
H?
A?
?
H?
B?
?
1?
12
1?
?
?
log242?
2.12天平有3种状态,即平衡,左重,左轻,所以每称一次消除的不确定性为log3,12个
球中的不等重球(可较轻,也可较重)的不确定性为:
?
log?
所以3次测量可以找出该球。
3log3?
log24
2.13
(1)当最后3场比赛麦克胜的次数比大卫多时,麦克最终才能胜,因此
P?
胜?
?
P?
麦克胜3场?
?
P?
大卫胜少于3场?
+P?
麦克胜2场?
?
P?
大卫胜少于2场?
?
P?
麦克胜1场?
?
P?
大卫胜0场?
?
18?
78?
38?
48?
38?
18?
2264
?
,因为
2264
2264
2264
2064
同理
P?
负?
?
,P?
平?
?
1?
?
?
麦克最终比赛结果的熵为
222222222020?
222220?
H?
,?
?
log?
log?
log?
646464646464?
646464?
?
log64?
2?
?
6?
4464
2264
log22?
2064
2064log20
?
4.4594?
?
4.3219
?
6?
3.0659?
1.3506
因为胜、负、平这3种结果接近等概,所以该随机变量的熵接近最大熵。
(2)假定大卫最后3场比赛全部获胜,那么麦克也必须全部获胜最后3场比赛最终才能得平,否则就是负。
麦克3场比赛全部获胜的可能性是2?
3?
1/8,因此在假定大卫最后3场比赛全部获胜的情况下麦克的最终比赛结果的条件熵是
2.14
(1)假定一个家庭里有k个女孩,1个男孩,相应的概率是0.5k?
0.5,因此女孩的平
?
?
1.5835比特果
7?
1?
H?
?
?
3?
log7?
0.5436比特果
8?
8?
均数是0.5?
k0.5k?
1,女孩的平均数和男孩的平均数相等。
k?
1
(2)H?
X?
?
?
?
0.5ilog?
0.5i?
?
2
i?
1
?
2.15
(1)根据题意,可以得到:
p?
E?
?
p?
F?
?
p?
U?
?
1
①
②
1.0p?
E?
?
0.5p?
F?
?
0.0p?
U?
?
0.95
由式②可以得到:
p?
F?
?
1.9?
2p?
E?
③
将式③代入式②得到:
p?
E?
?
0.9?
p?
U
?
④
由于p?
E?
p?
F?
p?
U?
的取值必须在0到1之间,由式③和式④可以得到p?
E?
的取值范围在0.9到0.95之间。
(2)就业情况的熵为
?
1?
?
1
H?
p?
E?
log?
?
pFlog?
?
?
?
pE?
?
?
?
?
?
?
?
p?
F?
1?
?
p?
E?
log?
?
?
?
?
1.9?
2p?
E?
?
?
log
pE?
?
?
?
?
?
?
?
1
?
pUlog?
?
?
?
?
?
?
?
?
p?
U
?
?
?
?
?
?
?
1
?
?
pE?
0.9?
?
?
?
?
?
?
?
1
?
?
?
?
?
p?
E?
?
0.9?
?
log1.9?
2pE?
?
?
?
?
?
它在p?
E?
的取值范围内的曲线如图所示。
0.50.450.40.350.30.25
0.0
0.01
0.02
0.03
0.04
0.05
(3)当p?
E?
?
0.9081时,H?
0.4823达到最大值,这时p?
F?
?
0.0838,p?
U?
?
0.0081。
2.16假设X表示当地的实际天气情况,Y表示气象台预报的天气情况,Z表示总是预报不
下雨的天气情况。
H?
X
?
?
0.696比特
p?
xy?
符号
I?
X;Y?
?
?
x,y
p?
xy?
log
p?
x?
p?
y?
3
1
1316
?
116log
16316?
1116
?
1016log
11161016?
1316
16516?
1
?
18log
8316?
516
?
316log
?
0.0906比特符号
I?
X;Y?
?
?
H?
X?
,可见气象台预报的确实不好。
但是如果总是预报不下雨的话则会更糟,因为X和Z是相互独立的两个随机变量,即
I?
X;Z?
?
0,所以
I?
X;Y?
?
I?
X;Z?
H?
X|Z?
?
H?
X|Y
?
因此气象台的预报准确率虽然比总是预报不下雨低,但还是传递了一些信息,消除了一些不确定性。
2.17由互信息量的定义
I?
xi;yj?
?
log
p?
xi|yj?
p?
xi?
因为p?
xi|yj?
?
1,则有
I?
xi;yj?
?
log
p?
xi|yj?
p?
xi?
1p?
xi?
?
I?
xi?
?
log
同理,因为p?
yj|xi?
?
1,则有
I?
yj;xi?
?
log
p?
yj|xi?
p?
yj?
1p?
yj?
?
I?
yj?
?
log
2.18
(1)根据熵的极值性,当随机变量等概分布时,随机变量的熵最大。
有7个可能取值
的随机变量的最大熵为log7,随机变量X不是等概分布,所以H?
X?
?
log7。
(2)根据熵的递增性,H?
X?
?
H?
(3)
H
?
2
2?
22?
1?
?
1?
H?
?
?
H?
?
?
log5?
?
?
1010101010?
10?
2?
10?
2?
2
2
2
。
?
X?
?
?
?
x
p?
x?
logp?
x?
?
?
3?
log2?
3.322?
0.6
210
log
210
?
4?
110
log
110
?
log10?
610
?
2.722比特符号
HY?
?
?
?
p?
y?
logp?
y?
?
?
3?
y
210log
210
?
410log
410
?
log10?
610
log2?
410
log4
?
3.322?
0.6?
0.8?
1.922比特符号
(4)因为随机变量Y是X的函数,所以
H?
X?
?
0比特号
H?
X?
?
H?
XY?
?
H?
Y?
?
H?
X
号
?
?
H?
YX?
?
H?
Y?
?
0.8比特
12
12
2.19假定p1为最大的概率。
根据熵函数的性质,如果p1?
只有一种可能:
?
,,,?
。
如果
?
28888?
?
1
1
1
1
1?
,则熵小于2;如果p1?
,则
14
?
p1?
12
,则有无数个解,其中之一为
内容仅供参考
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 理论 习题 答案