信息论第三版课后答案.docx
- 文档编号:25248372
- 上传时间:2023-06-06
- 格式:DOCX
- 页数:23
- 大小:20.83KB
信息论第三版课后答案.docx
《信息论第三版课后答案.docx》由会员分享,可在线阅读,更多相关《信息论第三版课后答案.docx(23页珍藏版)》请在冰豆网上搜索。
信息论第三版课后答案
信息论第三版课后答案
【篇一:
西电邓家先版信息论与编码第3章课后习题解答】
6
x1
1/6
y1
3/4
1/4
x2
图3.1二元信道
y2
?
x?
?
x1x2?
?
?
=?
0.60.4?
通过一干扰信道,接收符号y=?
y1y2?
信道传递概率如p(x)?
?
?
?
图3.33所示。
求:
(1)信源x中事件x1,和x2分别含有的自信息。
(2)收到消息yj(j=1,2)后,获得的关于xi(i=1,2)的信息量。
(3)信源x和信源y的信息熵。
(4)信道疑义度h(x|y)和噪声熵h(y|x)。
(5)接收到消息y后获得的平均互信息。
解:
(1)由定义得:
i(x1)=-log0.6=0.74bit
i(x2)=-log0.4=1.32bit
i(xi;xj)=i(xi)-i(xi|yj)=log[p(xi|yj)/p(xi)]
=log[p(yj|xi)/p(yj)]
则i(x1;y1)=log[p(y1|x1)/p(y1)]=log5/6/0.8=0.059biti(x1;y2)=log[p(y2|x2)/p(y2)]=log1/6/0.2=-0.263biti(x2;y1)=log[p(y1|x2)/p(y1)]=log3/4/0.8=-0.093biti(x2;y2)=log[p(y2|x2)/p(y2)]=log1/4/0.2=0.322bit
(3)由定义显然h(x)=0.97095bit/符号
h(y)=0.72193bit/符号
(4)h(y|x)=
?
2
2
p(xy)log[1/p(y|x)]
=
?
?
i?
1j?
1
p(xi)p(yj|xi)log[1/p(yj|xi)]
h(x|y)=h(x)+h(y|x)-h(y)=0.9635bit/符号
(5)i(x;y)=h(x)-h(x|y)=0.00745bit/符号
3.2设8个等概率分布的消息通过传递概率为p的bsc进行传送。
八个消息相应编成下述码字:
m1=0000,m2=0101,m3=0110,m4=0011,m5=1001,m6=1010,m7=1100,m8=1111,试问
(1)接受到第一个数字0与m之间的互信息。
(2)接受到第二个数字也是0时,得到多少关与m的附加互信息。
(3)接受到第三个数字仍是0时,又增加多少关与m的互信息。
(4)接受到第四个数字还是0时,再增加了多少关与m的互信息。
解:
(1)i(0;m1)=log[p(0|m1)/p(0)]=1bit
(2)i(00;m1)=log[1/p(00)]=2bit2-1=1bit(3)i(000;m1)=3bit3-2=1bit(4)i(0000;m1)=4bit4-3=1bit
3.3设二元对称信道的传递矩阵为
?
2?
3?
?
1?
?
3
1?
3?
?
2?
?
3?
(1)若p(0)?
3/4,p
(1)?
1/4,求h(x),h(x|y),h(y|x)和i(x;y);
(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
解:
(1)已知二元对称信道的传递矩阵,又已知输入的概率分布p(0)?
3/4,p
(1)?
1/4,
可以求得输出y的概率分别和后验概率。
p(y?
0)?
?
p(x)p(y?
0|x)
x
?
p(x?
0)p(y?
0|x?
0)?
p(x?
1)p(y?
0|x?
1)
32117?
?
?
?
?
434312p(y?
1)?
?
p(x)p(y?
1|x)
x
?
p(x?
0)p(y?
1|x?
0)?
p(x?
1)p(y?
1|x?
1)31125?
?
?
?
?
434312
所以p(x?
0|y?
0)?
p(x?
0)p(y?
0|x?
0)6
?
p(x)p(y?
0|x)7x
p(x?
1|y?
0)?
p(x?
1)p(y?
0|x?
1)1
?
p(x)p(y?
0|x)7x
p(x?
0|y?
1)?
p(x?
0)p(y?
1|x?
0)3
?
p(x)p(y?
1|x)5
x
p(x?
1|y?
1)?
于是,h(x)?
?
p(x?
1)p(y?
1|x?
1)2
?
p(x)p(y?
1|x)5x
?
p(x)logp(x)?
0.811比特/符号
xx
y
h(x|y)?
?
?
?
p(x)p(y|x)logp(x|y)
326111313122
?
[?
?
log?
?
log?
?
log?
?
log]
437437435435?
0.111?
0.234?
0.184?
0.220?
0.749比特/符号
h(y|x)?
?
?
?
p(x)p(y|x)logp(y|x)
x
y
322111311122?
[?
?
log?
?
log?
?
log?
?
log]
433433433433?
0.918比特/符号
i(x;y)?
h(x)?
h(x|y)?
0.062比特/符号
(2)此信道为二元对称信道,所以信道容量
2
c?
1?
h(p)?
1?
h()?
0.082比特/符号
3
根据二元对称信道的性质可知,输入符号为等概率分布(即p(0)?
p
(1)?
道的信息传输率才能达到这个信道容量值。
1
)时信2
解:
x2?
?
x?
?
x1?
y?
?
y1y2?
?
p(x)?
?
?
0.640.36?
?
p(y)?
?
?
0.70.3?
?
?
?
?
?
?
?
?
且p(x1∣y1)=0.8p(x2∣y1)=0.2由p(x1)=p(y1)p(x1∣y1)+p(y2)p(x1∣y2)p(x2)=p(y1)p(x2∣y1)+p(y2)p(x2∣y2)
得p(x2∣y2)=2.2/3p(x1∣y2)=0.8/3
所以h(x∣y)=p(y1)〔-p(x1∣y1)logp(x1∣y1)-p(x2∣y1)logp(x2∣y1)〕
+p(y2)〔-p(x1∣y2)logp(x1∣y2)-p(x2∣y2)logp(x2∣y2)〕
=0.7〔-0.8log0.8-0.2log0.2〕
+0.3〔-0.8/3log(0.8/3)-2.2/3log(2.2/3)〕
=0.7[0.258+0.464]+0.3[0.509+0.328]=0.505+0.251=0.756
h(x)=-0.64log0.64-0.36log0.36=0.412+0.531=0.944i(x;y)=h(x)-h(x∣y)=0.944-0.756=0.188
3.5若x,y,z是三个随机变量,试证明:
(1)i(x;yz)=i(x;y)+i(x;z|y)=i(x;z)+i(x;y|z);
(2)i(x;y|z)=i(y;x|z)=h(x|z)-h(x|yz);(3)i(x;y|z)?
0;
证明:
(1)i(x)+i(x;z/y)
=
?
?
p(xy)log
x
y
p(y/x)
+?
p(y)x
?
?
p(xyz)logp(x/y)
y
z
p(x/yz)
=
?
?
x
y
?
p(xyz)log
z
p(x/yz)p(y/x)
p(y)p(x/y)p(x/yz)p(y/x)
p(xy)p(x/yz)p(y/x)
p(x)p(y/x)p(x/yz)p(y/x)
p(x)
=
?
?
x
y
x
y
?
p(xyz)log
zz
=
?
?
?
p(xyz)log?
?
x
y
=
?
p(xyz)log
z
=i(x;yz)i(x;z)+i(x;y/z)=
?
xx
?
p(xz)log
z
p(z/x)
+?
p(z)x
?
y
?
p(xyz)log
z
p(x/yz)
p(x/z)
=
?
?
y
x
y
?
p(xyz)log
zz
p(x/yz)p(z/x)
p(z)p(x/z)p(x/yz)p(z/x)
p(x)p(z/x)
=
?
?
?
p(xyz)log
=
?
?
x
y
?
p(xyz)log
z
p(x/yz)
p(x)
=i(x;yz)
(2)i(x;y/z)=
?
?
x
y
x
y
?
p(xyz)log
z
p(x/yz)
p(x/z)
=
?
?
?
?
x
y
?
p(xyz)log
z
p(xyz)p(z)
p(xz)p(yz)p(y/xz)p(xz)p(z)
p(y/z)p(z)p(xz)p(y/xz)
p(y/z)
=
?
p(xyz)log
z
=
?
?
x
y
?
p(xyz)log
z
=i(y;x/z)
h(x/z)-h(x/yz)=
?
p(xz)log
xzxyz
1
?
p(x/z)p(x/yz)
p(x/z)
?
p(xyz)log
xyz
1
p(x/yz)
=
?
p(xyz)log
=i(x;y/z)
i(x;y/z)=i(y;x/z)=h(x/z)-h(x/yz)(3)i(x;y/z)≥0
i(x;y/z)=
?
p(xyz)logp(yz)p(x/z)
xyz
p(xyz)
-i(x;y/z)=
?
p(xyz)log
xyz
p(yz)p(x/z)
≤log?
?
?
p(yz)p(x/z)=0
p(xyz)xyz
得i(x;y/z)≥0
3.6若三个离散随机变量,有如下关系:
x+y=z,其中x和y相互统计独立。
试证明:
(1)h(x)=h(z);
(2)h(y)=h(z);
(3)h(z)=h(xy)=h(x)+h(y);(4)i(x;z)=h(z)-h(y);(5)i(xy;z)=h(z);(6)i(x;yz)=h(x);(7)i(y;z/x)=h(y);
(8)i(x;y/z)=i(x/z)=i(y/z);
【篇二:
信息论答案第三章】
3.1设信源?
?
?
?
通过一干扰信道,接收符号为y={y1,y2},信道转移矩?
?
p(x)?
?
0.60.4?
?
51?
?
?
阵为?
66?
,求:
13?
?
?
44?
(1)信源x中事件x1和事件x2分别包含的自信息量;
(2)收到消息yj(j=1,2)后,获得的关于xi(i=1,2)的信息量;(3)信源x和信宿y的信息熵;
(4)信道疑义度h(x/y)和噪声熵h(y/x);(5)接收到信息y后获得的平均互信息量。
解:
1)
i(x1)?
?
log2p(x1)?
?
log20.6?
0.737biti(x2)?
?
log2p(x2)?
?
log20.4?
1.322bit
2)
51
p(y1)?
p(x1)p(y1/x1)?
p(x2)p(y1/x2)?
0.6?
?
0.4?
?
0.6
6413
p(y2)?
p(x1)p(y2/x1)?
p(x2)p(y2/x2)?
0.6?
?
0.4?
?
0.4
64
p(y1/x1)5/6
i(x1;y1)?
log2?
log2?
0.474bit
p(y1)0.6p(y2/x1)1/6
i(x1;y2)?
log2?
log2?
?
1.263bit
p(y2)0.4i(x2;y1)?
log2i(x2;y2)?
log2
3)
p(y1/x2)1/4
?
log2?
?
1.263bit
p(y1)0.6p(y2/x2)3/4
?
log2?
0.907bit
p(y2)0.4
h(x)?
?
?
p(xi)logp(xi)?
?
(0.6log0.6?
0.4log0.4)log210?
0.971bit/symbol
i
h(y)?
?
?
p(yj)logp(yj)?
?
(0.6log0.6?
0.4log0.4)log210?
0.971bit/symbol
j
4)
h(y/x)?
?
?
?
p(xi)p(yj/xi)logp(yj/xi)
i
j
55111133
?
?
(0.6?
log?
0.6?
log?
0.4?
log?
0.4?
log)?
log210
66664444
?
0.715bit/symbol
?
h(x)?
h(y/x)?
h(y)?
h(x/y)?
h(x/y)?
h(x)?
h(y/x)?
h(y)?
0.971?
0.715?
0.971?
0.715bit/symbol
5)
i(x;y)?
h(x)?
h(x/y)?
0.971?
0.715?
0.256bit/symbol
?
21?
?
?
3.2设二元对称信道的传递矩阵为?
33?
12?
?
?
33?
(1)若p(0)=3/4,p
(1)=1/4,求h(x),h(x/y),h(y/x)和i(x;y);
(2)求该信道的信道容量及其达到信道容量时的输入概率分布;
解:
1)
3311
h(x)?
?
?
p(xi)?
?
(?
log2?
?
log2)?
0.811bit/symbol
4444ih(y/x)?
?
?
?
p(xi)p(yj/xi)logp(yj/xi)
i
j
322311111122
?
?
(?
lg?
?
lg?
?
lg?
?
lg)?
log210
433433433433
?
0.918bit/symbol
3211
p(y1)?
p(x1y1)?
p(x2y1)?
p(x1)p(y1/x1)?
p(x2)p(y1/x2)?
?
?
?
?
0.5833
43433112
p(y2)?
p(x1y2)?
p(x2y2)?
p(x1)p(y2/x1)?
p(x2)p(y2/x2)?
?
?
?
?
0.4167
4343
h(y)?
?
?
p(yj)?
?
(0.5833?
log20.5833?
0.4167?
log20.4167)?
0.980bit/symbol
j
i(x;y)?
h(x)?
h(x/y)?
h(y)?
h(y/x)
h(x/y)?
h(x)?
h(y)?
h(y/x)?
0.811?
0.980?
0.918?
0.749bit/symboli(x;y)?
h(x)?
h(x/y)?
?
0.811?
0.749?
0.062bit/symbol
2)
1122
c?
maxi(x;y)?
log2m?
hmi?
log22?
(lg?
lg)?
log210?
0.082bit/symbol
3333
1
p(xi)?
2
解:
对本题建立数学模型如下:
?
x阻值?
?
x1?
2?
?
x2?
5?
?
?
?
y瓦数?
?
y1?
1/8
?
?
?
?
?
?
?
0.7?
?
0.3?
?
p(x)?
?
?
p(y)?
?
0.64
p(y1/x1)?
0.8,p(y2/x1)?
0.2求:
i(x;y)
以下是求解过程:
y2?
1/4?
?
0.36?
p(x1y1)?
p(x1)p(y1/x1)?
0.7?
0.8?
0.56p(x1y2)?
p(x1)p(y2/x1)?
0.7?
0.2?
0.14?
p(y1)?
p(x1y1)?
p(x2y1)
?
p(x2y1)?
p(y1)?
p(x1y1)?
0.64?
0.56?
0.08?
p(y2)?
p(x1y2)?
p(x2y2)
?
p(x2y2)?
p(y2)?
p(x1y2)?
0.36?
0.14?
0.22
h(x)?
?
?
p(xi)?
?
?
0.7?
log20.7?
0.3?
log20.3?
?
0.881bit/symbol
i
h(y)?
?
?
p(yj)?
?
?
0.64?
log20.64?
0.36?
log20.36?
?
0.943bit/symbol
j
h(xy)?
?
?
?
p(xiyj)logp(xiyj)
i
j
?
?
?
0.56?
log20.56?
0.14?
log20.14?
0.08?
log20.08?
0.22?
log20.22?
?
1.638bit/symbol
i(x;y)?
h(x)?
h(y)?
h(xy)?
0.881?
0.943?
1.638?
0.186bit/symbol
(1)i(x;yz)=i(x;y)+i(x;z/y)=i(x;z)+i(x;y/z);
证明:
i(x;yz)?
?
?
?
p(xiyjzp(xi/yjzk)k)log
i
j
k
p(xi)?
?
?
?
p(xp(xi/yjzk)p(xi/yj)iyjzk)log
i
j
k
p(xi)p(xi/yj)
?
?
?
?
p(xp(xi/yj)p(xi/yjzk)iyjzk)log
p(x?
p(xiyjzk)log
i
j
k
i)
?
?
?
i
j
k
p(xi/yj)
?
i(x;y)?
i(x;z/y)
i(x;yz)?
?
?
?
p(xp(xi/yjzk)iyjzk)log
i
j
k
p(xi)?
?
?
?
p(xiyjzk)log
p(xi/yjzk)p(xi/zk)
i
j
k
p(xi)p(xi/zk)
?
?
?
?
p(xp(xi/zk)
iyjzk)log
?
i
j
k
p(x?
?
?
p(xlog
p(xi/yjzk)iyjzk)i)ijk
p(xi/zk)?
i(x;z)?
i(x;y/z)
(2)i(x;y/z)=i(y;x/z)=h(x/z)–h(x/yz);
证明:
i(x;y/z)?
?
?
?
p(xxi/yjzk)iyjzk)log
p(i
j
k
p(xi/zk)
?
?
?
?
p(xi/yjzk)p(yjzk)
iyjzk)log
p(xi
j
k
p(xi/zk)p(yjzk)
?
?
?
?
p(xiyjzk)log
i
j
k
p(xiyjzk)p(xi/zk)p(zk)p(yj/zk)p(xiyjzk)p(xizk)p(yj/zk)p(xiyjzk)p(xizk)p(yj/zk)p(yj/xizk)p(yj/zk)
?
?
?
?
p(xiyjzk)log
i
j
k
?
?
?
?
p(xiyjzk)log
i
j
k
?
?
?
?
p(xiyjzk)log
i
j
k
?
i(y;x/z)
p(xi/yjzk)p(xi/zk)
i
j
k
i(x;y/z)?
?
?
?
p(xiyjzk)log
i
j
k
i
j
k
?
?
?
?
?
p(xiyjzk)logp(xi/zk)?
?
?
?
p(xiyjzk)logp(xi/yjzk)?
?
?
?
?
?
?
?
p(xiyjzk)?
logp(xi/zk)?
h(x/yz)
ik?
j?
?
?
?
?
p(xizk)logp(xi/zk)?
h(x/yz)
i
k
?
h(x/z)?
h(x/yz)
(3)i(x;y/z)≥0,当且仅当(x,y,z)是马氏链时等式成立。
证明:
?
i(x;y/z)?
?
?
?
p(xiyjzk)log
i
j
k
p(xi/yjzk)p(xi/zk)p(xi/zk)
p(xi/yjzk)
?
?
i(x;y/z)?
?
?
?
p(xiyjzk)log
i
j
k
?
p(xi/zk)?
?
?
?
?
?
p(xiyjzk)?
1?
log2e?
?
ijk?
p(xi/yjzk)?
?
?
p(xi/zk)?
?
?
?
?
p(xiyjzk)?
?
?
?
p(xiyjzk)?
log2e
?
ijk?
p(xi/yjzk)ijk?
?
?
?
?
?
?
?
?
?
?
?
p(yjzk)?
p(xi/zk)?
1?
log2e?
i?
?
?
?
jk?
?
?
?
?
?
p(xi/zk)?
1?
log2e
?
i?
?
0?
i(x;y/z)?
0
当
p(xi/zk)
?
1?
0时等式成立
p(xi/yjzk)
?
p(xi/zk)?
p(xi/yjzk)
?
p(yjzk)p(xi/zk)?
p(xi/yjzk)p(yjzk)?
p(zk)p(yj/zk)p(xi/zk)?
p(xiyjzk)?
p(yj/zk)p(xi/zk)?
p(xiyjzk)/p(zk)?
p(yj/zk)p(xi/zk)?
p(xiyj/zk)
所以等式成立的条件是x,y,z是马氏链
3.5若三个随机变量,有如下关系:
z=x+y,其中x和y相互独立,试证明:
(1)i(x;z)=h(z)-h(y);
(2)i(xy;z)=h(z);(3)i(x;yz)=h(x);(4)i(y;z/x)=h(y);
(5)i(x;y/z)=h(x/z)=h(y/z)。
解:
1)
?
z?
x?
y
?
p(z/x)?
?
?
p(yj)(zk?
xi)?
y
ki)?
p(zk?
xi?
0
(zk?
xi)?
yh(z/x)?
?
?
?
p(xizk)log2p(zk/xi)
i
k
?
?
?
p(x?
/x?
i)?
?
p(zk/xi)log2p(zki)i?
k?
?
?
?
?
p(x?
p(y?
i)?
?
j)log2p(yj)?
i?
j?
?
h(y)?
i(x;z)?
h(z)?
h(z/x)?
h(z)?
h(y)
2)
?
z?
x?
y
?
p(z)?
?
?
?
1(xi?
yj)?
zkk/xiyj?
?
0(xi?
yj)?
zk
h(z/xy)?
?
?
?
?
p(xiyjzk)log2p(zk/xiyj)
i
j
k
?
?
?
?
p(x?
x?
iyj)?
?
p(zk/xiyj)log2p(zk/iyj)ij?
k?
?
?
0
?
i(xy;z)?
h(z)?
h(z/xy)?
h(z)?
0?
h(z)
3)
【篇三:
《信息论与编码》课后习题解答】
txt>2.2假设一副充分洗乱了的扑克牌(含52张牌),试问
(1)任一特定排列所给出的信息量是多少?
(2)若从中抽取13张牌,所给出的点数都不相同能得到多少信息量?
解:
(1)52张牌共有52!
种排列方式,任一特定的排序方式是等概率出现的,则所给出的信息量是:
p(xi)?
152!
i(xi)?
?
logp(xi)?
log52!
?
225.581bit
(2)52张牌共有4种花色、13种点数,从中抽取13张点数不同的牌的概率如下:
413
p(xi)?
13c52
i(xi)?
?
logp(xi)?
?
log4?
13.208bit13c5213
2.3居住某地区的女孩子有25%是大学生,在女大学生中有75%是身高160厘米以上的,而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量?
解:
设随机变量x代表女孩子学历,则是大学生的概率为p(x)1=0.25,不是大学生的概率为p(x)2=0.75。
设随机变量y代表女孩子身高,则身高大于160cm和小于160cm的概率分别为p(y1)=0.5、p(y2)=0.5又有已知:
在女大学生中有75%是身高160厘米以上的,
即:
p(y1/x1)?
0.75bit
所以身高160厘米以上的某女孩是大学生的信息量即:
i(x1/y1)?
?
logp(x1/y1)?
?
logp(x1)p(y1/x1)0.25?
0.75?
?
log?
1.415bitp(y1)0.5
2.4
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 第三 课后 答案