信息论与编码第二版习题答案陈运主编最新范文.docx
- 文档编号:23019593
- 上传时间:2023-04-30
- 格式:DOCX
- 页数:9
- 大小:16.72KB
信息论与编码第二版习题答案陈运主编最新范文.docx
《信息论与编码第二版习题答案陈运主编最新范文.docx》由会员分享,可在线阅读,更多相关《信息论与编码第二版习题答案陈运主编最新范文.docx(9页珍藏版)》请在冰豆网上搜索。
信息论与编码第二版习题答案陈运主编最新范文
信息论与编码(第二版)习题答案,陈运,主编
篇一:
信息论与编码复习资料重点陈运第二版
2.3居住某地区的女孩子有25%是大学生,在女大学生中有75%是身高160厘米以上的,而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量?
解:
设随机变量X代表女孩子学历
XP(X)
x1(是大学生)
0.25
x2(不是大学生)
0.75
设随机变量Y代表女孩子身高
YP(Y)
y1(身高>160cm)
0.5
y2(身高160cm)
P(Y)0.5y2(身高log6不满足信源熵的极值性。
解:
·2·
H(X)=?
∑p(x)logp(x)ii
i6
=?
(0.2log0.2+0.19log0.19+0.18log0.18+0.17log0.17+0.16log0.16+0.17log0.17)
=2.657bit/symbol
H(X)>log26=2.585
不满足极值性的原因是∑6p(xi)=1.07>1。
i
2.7证明:
H(X3/X1X2)≤H(X3/X1),并说明当X1,X2,X3是马氏链时等式成立。
证明:
H(X3/X1X2)?
H(X3/X1)
=?
∑∑∑p(xi1xi2xi3)logp(xi3/xi1xi2)+∑∑p(xi1xi3)logp(xi3/xi1)
i1i2i3i1i3
=?
∑∑∑p(xi1xi2xi3)logp(xi3/xi1xi2)+∑∑∑p(xi1xi2xi3)logp(xi3/xi1)
i1i2i3i1i2i3
=p(xxx)p(xi3/xi1)
∑∑i1i2i3
∑i1i2i3p(xi3/xi1xi2)
≤∑∑p(x?
p(x
i1xi3/xi1)?
i2xi3)?
?
1?
log2e
∑
i1i2i3?
?
p(xi3/xi1xi2)?
?
?
?
∑∑∑1i2i3p(x?
=?
i1xi2)p(xi3/xi1)?
∑∑∑p(xi1xi2xi3)?
log2e
ii1i2i3?
=?
?
?
∑∑p(x?
?
?
i1xi2)
i1i2?
∑p(xi3/xi1)?
?
?
?
1?
log2e
i3?
=0
∴H(X
3/X1X2)≤H(X3/X1)
当p(xi3/xi1)
p(x?
1=0时等式等等
i3/xi1xi2)
?
p(xi3/xi1)=p(xi3/xi1xi2)
?
p(xi1xi2)p(xi3/xi1)=p(xi3/xi1xi2)p(xi1xi2)
?
p(xi1)p(xi2/xi1)p(xi3/xi1)=p(xi1xi2xi3)
?
p(xi2/xi1)p(xi3/xi1)=p(xi2xi3/xi1)
∴等式等等的等等是X1,X2,X3是马_氏链
2.8证明:
H(X1X2。
。
。
Xn)≤H(X1)+H(X2)+…+H(Xn)。
证明:
H(X1X2...Xn)=H(X1)+H(X2/X1)+H(X3/X1X2)+...+H(Xn/X1X2...Xn?
1)
I(X2;X1)≥0I(X3;X1X2)≥0
...
·3·
?
H(X2)≥H(X2/
X1)
?
H(X3)≥H(X3/
X1X2)
·4·
I(XN;X1X2...Xn?
1)≥0?
H(XN)≥H(XN/X1X2...Xn?
1)
∴H(X1X2...Xn)≤H(X1)+H(X2)+H(X3)+...+H(Xn)
2.9设有一个信源,它产生0,1序列的信息。
它在任意时间而且不论以前发生过什么符号,均按P(0)=0.4,P
(1)=0.6的概率发出符号。
(1)试问这个信源是否是平稳的?
(2)试计算H(X2)),并写出H(X3/X12XX)及∞
(3)试计算H(XH;44信源中可能有的所有符号。
解:
(1)
这个信源是平稳无记忆信源。
因为有这些词语:
“它在任.意.时.间.而且不.论.以.前.发.生.过.什.么.符.号.……”
(2)
H(X2)=2H(X)=?
2×(0.4log0.4+0.6log0.6)=1.942bit/symbol
H(X3/X1X2)=H(X3)=?
∑p(xi)logp(xi)=?
(0.4log0.4+0.6log0.6)=0.971bit/symbol
i
H∞=Nlim?
>∞H(XN/X1X2...XN?
1)=H(XN)=0.971bit/symbol
(3)
H(X4)=4H(X)=?
4×(0.4log0.4+0.6log0.6)=3.884bit/symbol
X4的所有符号:
0000000100100011
0100010101100111
1000100110101011
11001101111011112.10一阶马尔可夫信源的状态图如下图所示。
信源X的符号集为{0,1,2}。
(1)求平稳后信源的概率分布;
(2)求信源的熵H∞。
解:
(1)
5··
篇三:
信息论与编码课后习题答案
1.有一个马尔可夫信源,已知p(x1|x1)=2/3,p(x2|x1)=1/3,p(x1|x2)=1,p(x2|x2)=0,试画出该信源的香农线图,并求出信源熵。
解:
该信源的香农线图为:
○
2/3(x1)1(x2)
在计算信源熵之前,先用转移概率求稳定状态下二个状态x1和x2的概率p(x1)和p(x2)立方程:
p(x1)?
p(x1x1)p(x1)+p(x1x2)p(x2)
=2p(x1)?
p(x2)
p(x2)?
p(x2x1)p(x1)+p(x2x2)p(x2)=3p(x1)?
0p(x2)p(x1)?
p(x2)=1得p(x1)?
马尔可夫信源熵H=?
3
4
p(x2)?
14
?
p(x)?
p(x
i
I
J
j
xi)logp(xjxi)得H=0.689bit/符号
3
2.设有一个无记忆信源发出符号A和B,已知p(A)?
1。
求:
4.p(B)?
4
①计算该信源熵;
②设该信源改为发出二重符号序列消息的信源,采用费诺编码方法,求其平均信息传输速率;③又设该信源改为发三重序列消息的信源,采用霍夫曼编码方法,求其平均信息传输速率。
解:
①H(X)?
?
?
p(x)logp(x)=0.812bit/符号
i
i
X
②发出二重符号序列消息的信源,发出四种消息的概率分别为
33p(AB)?
p(AA)?
4?
4?
164?
4?
16
339p(BB)?
3p(BA)?
34?
4?
164?
4?
16
用费诺编码方法代码组bi
BB01BA102AB1103AA1113
2
无记忆信源H(X)?
2H(X)?
1.624bit/双符号平均代码组长度2=1.687bit/双符号
H(X2)R2?
=0.963bit/码元时间
③三重符号序列消息有8个,它们的概率分别为
1
p(AAB)?
64p(BAA)?
64p(ABA)?
p(AAA)?
64p(BAB)?
64p(ABB)?
64p(BBB)?
p(BBA)?
646464
用霍夫曼编码方法代码组biBBBBBABABABBAABBAAABA
AAA
2799964643364
001(1911103)
1(64)1101364)
001003
61()1111115
01111105
41()0111015
0111005
H(X3)?
3H(X)=2.436bit/三重符号序列
3=2.469码元/三重符号序列
H(X3)
=0.987bit/码元时间R3=
3.已知符号集合{x1,x2,x3?
}为无限离散消息集合,它们的出现概率分别为p(x1)?
2
p(x2)?
1p(xi)?
···p(x3)?
11
···求:
i2
①用香农编码方法写出各个符号消息的码字(代码组);②计算码字的平均信息传输速率;③计算信源编码效率。
解:
①
2
②H(X)?
?
?
p(x)logp(x)=2bit/符号
i
i
I
?
?
Pibi?
?
=2码元/符号
I
R?
H(x)
?
1bit/码元时间R
=100%C
③二进制信道C=1bit/码元时间信源编码的编码效率?
=
①对这八个符号作二进制码元的霍夫曼编码,写出各个码字,并求出编码效率。
解:
①H(X)?
?
?
p(x)logp(x)=2552bit/符号,时间熵H
X
t
?
2.552bit/s
Rt=Ht?
2.552bit/s②霍夫曼编码
符号pi代码组biC0.4001B0.1801103A0.10(1,0)100301
F0.1011(0.6)11114G0.071101141
E0.060(0.13)110104D0.051(0.19)1110150
H0.040(0.09)111005
平均码长=2.61码元/符号
H(x)
?
0.9779bit/码元时间R
信源编码的编码效率?
==97.79%
C
R?
3
《》
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 第二 习题 答案 主编 最新 范文