信息论与编码理论知识题目解析.docx
- 文档编号:8041637
- 上传时间:2023-01-28
- 格式:DOCX
- 页数:39
- 大小:247.79KB
信息论与编码理论知识题目解析.docx
《信息论与编码理论知识题目解析.docx》由会员分享,可在线阅读,更多相关《信息论与编码理论知识题目解析.docx(39页珍藏版)》请在冰豆网上搜索。
信息论与编码理论知识题目解析
解:
(1)可能的组合为
⑵可能的唯一,为{6,6}
第二章信息量和熵
2.2八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它
的信息速率。
解:
同步信息均相同,不含信息,因此
每个码字的信息量为2log8=23=6bit
因此,信息速率为61000=6000bit/s
2.3掷一对无偏骰子,告诉你得到的总的点数为:
(a)7;(b)12。
问各得到多少
信息量。
{1,6},{2,5},{3,4},{4,3},{5,2},{6,1}
1
得到的信息量=log=log36=5.17bit
P(b)
2.4经过充分洗牌后的一副扑克(52张),问:
(a)任何一种特定的排列所给出的信息量是多少?
(b)若从中抽取13张牌,所给出的点数都不相同时得到多少信息量?
(c)
解:
(a)p(a)=
1
52!
信息量
1
=log=log52!
=225.58bit
P(a)
13!
(b)i3
4
13种点数任意排列
花色任选
2.9随机掷3颗骰子,X表示第一颗骰子的结果,Y表示第一和第二颗骰子的点数之和,Z表示3颗骰子的点数之和,试求H(Z|Y)、H(X|Y)、
H(Z|X,Y)、H(X,Z|Y)、H(Z|X)。
解:
令第一第二第三颗骰子的结果分别为X1,X2,X3,X1,X2,X3相互独立,
则XX1,YX1X2,ZX1X2X3
H(Z|Y)=H(x3)=log6=2.585bit
H(Z|X)=H(X2X3)=H(Y)
=2(—log36+—log18+—log12+—log9+—log36)+—log6
3636363636536
=3.2744bit
H(X|Y)=H(X)-I(X;Y)=H(X)-[H(Y)-H(Y|X)]
而H(Y|X)=H(X),所以H(X|Y)=2H(X)-H(Y)=1.8955bit
或H(X|Y)=H(XY)-H(Y)=H(X)+H(Y|X)-H(Y)
而H(Y|X)=H(X),所以H(X|Y)=2H(X)-H(Y)=1.8955bit
H(Z|X,Y)=H(Z|Y)=H(X)=2.585bit
H(X,Z|Y)=H(X|Y)+H(Z|XY)=1.8955+2.585=4.4805bit
2.10设一个系统传送10个数字,0,1,…,9。
奇数在传送过程中以0.5的
概率错成另外一个奇数,其余正确接收,求收到一个数字平均得到的信息
量。
解:
X
—-一信道
i135,7,9
i0,2,4,6,8
I(X;Y)=H(Y)-H(Y|X)
因为输入等概,由信道条件可知,
p(yii为奇数)丄
10
p(yii为偶数)丄(1111丄)丄
102888810
P(Kyj)logp(yj収)-p(Xiyj)logp(yj丨人)
ji偶ji奇
=0-
P(xyj)logp(yj|x」
ji奇
i
丄
10
p(X)P(yi|Xi)logp(yi|Xi)-P(x」p(yj|x)ogP(y)|x」
1,3,5,7,9iji=1,3,5,7,9
3=1bit
2.11
I(X;Y)=H(Y)-H(Y|X)=log10-1=log5=2.3219bit
令{U1,U2,,U8}为一等概消息集,各消息相应被编成下述二元码字
山=0000,U2=0011,匕=0101,U4=0110,
u5=1001,u6=1010,u7=1100,u8=1111
通过转移概率为p的BSC传送。
求:
解:
即1(山;0),l(U1;00),l(U1;000),l(U1;0000)
111
p(0)=(1p)4+p4=-
882
p(0|U1)1p
l(U1;0)=log-=log-^=1+log(1p)bit
2
1221
p(00)=[2(1p)4(1p)p2p]=
84
I(5;00)=log
P(00|uJ
P(00)
log
(1P)2
1/4
=2[1log(1p)]bit
132231
p(000)=1[(1P)3(1p)2p3(1p)pp3]=£
88
I(u1;000)=3[1+log(1p)]bit
1
p(0000)=^[(1p)46(1p)2p2p4]
8
bit
I(U1;0000)=log—
4
8(1p)
2.12计算习题2.9中l(Y;Z)、
l(X;Z)、l(X,Y;Z)、l(Y;Z|X)、l(X;Z|Y)。
解:
根据题2.9分析
32166,21610216
log+log+log+2163216621610
212162521627216、
log+log+log)
1
H(Z)=2(log216+
216
15216
log+log+log+log
21615216212162521627
=3.5993bit
I(Y;Z)=H(Z)-H(Z|Y)=H(Z)-H(X)=1.0143bit
I(X;Z)=H(Z)-H(Z|X)=H(Z)-H(Y)=0.3249bit
I(X,Y;Z)=H(Z)-H(Z|XY)=H(Z)-H(X)=1.0143bit
I(Y;Z|X)=H(Z|X)-H(Z|XY)=H(Y)-H(X)=0.6894bit
I(X;Z|Y)=H(Z|Y)-H(Z|XY)=H(X)-H(X)=0bit
2.14对于任意概率事件集X,Y,Z,证明下述关系式成立
(a)H(Y,Z|X)H(Y|X)+H(Z|X),给出等号成立的条件
(b)H(Y,Z|X)=H(Y|X)+H(Z|X,Y)
(c)H(Z|X,Y)H(Z|X)
p(xyz)log[p(y|x)p(z|xy)]
xyz
=-p(xyz)logp(y|x)
xyz
p(xyz)logp(z|xy)
xyz
=H(Y|X)+H(Z|XY)
(d)H(Z|X,Y)=-p(xyz)logp(z|xy)
xyz
=p(xy)[-p(z|xy)logp(z|xy)]
xyz
p(xy)[-p(z|x)logp(z|x)]
xyz
=-p(xyz)logp(z|x)
xyz
=H(Z|X)
当p(z|xy)=p(z|x),即X给定条件下,丫与Z相互独立时等号成立
(a)上式(c)左右两边加上H(Y|X),可得
H(Y|X)+H(Z|X,Y)H(Y|X)+H(Z|X)
于是H(Y,Z|X)H(Y|X)+H(Z|X)
(a)Y的概率密度(y)
(c)若对丫做如下硬判决
1,y1
VO,1y1
1,y1
求I(X;V),并对结果进行解释
解:
(a)由已知,可得
1
p(y|x
else
1)=40
p(y|x
1)=
else
(y)=p(x
1)
p(yIx
1)+p(x1)p(y|x1)
1
8
1
4
1
8
else
0
(b)Hc(Y)=
1
3log8
Hc(Y|X)=
P(x
1
4
1
1)3p(y|x
1
1log4=2.5bit
1)logp(y|x1)dy
3
1)1p(y|x
11,11
log_dy-2344'2
311
log—dy=2bit
144
1/4
1/2
1/4
V
-1
0
1
p(V|x=-1)
1/2
1/2
0
p(V|x=1)
0
1/2
1/2
11
H(V)log22log41.5bit
111
H(V|X)—[Tog2-log2]2=1bit
222
l(X;V)=H(V)H(V|X)=0.5bit
2.29令Q1(x)和Q2(x)是同一事件集U上的两个概率分布,相应的熵分别为
H(U)1和H(U)2。
(a)对于01,证明Q(x)=QMx)+
(1)Q2(x)是概率分布
(b)H(U)是相应于分布Q(x)的熵,试证明
H(U)H(U)1+
(1)H(U)2
证明:
(a)由于Q'x)和Q2(x)是同一事件集U上的两个概率分布,于是
qjx)0,q2(x)0
q(x)dx=1,q2(x)dx=1
xx
又01,贝U
q(x)=qdx)+
(1)q2(x)0
因此,Q(x)是概率分布。
(b)H(U)=[qi(x)
(1)q2(x)]log[q(x)
(1)q2(x)]dx
x
=qi(x)log[qi(x)
(1)q2(x)]dx
x
(1)q2(x)log[qi(x)
(1)q2(x)]dx
x
q1(x)logq(x)dx
(1)q2(x)Iogq2(x)dx(引理2)
xx
=H(Uh+
(1)H(U)2
第二章信源编码离散信源无失真编码
3.1试证明长为N的D元等长码至多有D(D”1)d1个码字。
证:
①在D元码树上,第一点节点有D个,第二级有错误!
未找到引用源。
,每个节点对应一个码字,若最长码有N,则函数有
NNN
Di=D(1DJ=D£D1),此时,所有码字对应码树中的所有节
ii1DD1
点。
②码长为1的D个;码长为2的D2个,…,码长为N的Dn个
...总共NDi=^l^个
i1D1
3.2设有一离散无记忆信源U。
若对其输出的长为100的事件
0.004,0.996
序列中含有两个或者少于两个a1的序列提供不同的码字。
(a)在等长编码下,求二兀码的最短码长。
(b)求错误概率(误组率)。
解:
(a)不含a1的序列1个
长为100的序列中含有1个a1的序列错误!
未找到引用源。
=100个
长为100的序列中含有2个a1的序列6爲=4950个
.所需提供码的总数M=1+100+4950=5051
于是采用二元等长编码NlOgM=12.3,故取N=13
logd
(b)当长度为100的序列中含有两个或更多错误!
未找到引用源。
的a1时
出现错误,
因此错误概率为
Pe=1C10o(O.996)1oo-C11oo(0.004)(0.996)99C200(O.OO4)2(O.996)98
=7.7751O3
ai,a2
3.3设有一离散无记忆信源,U=13,其熵为H(U)。
考察其长为L的输出
4,4
序列,当LLo时满足下式
P|罟H(U)
(a)在=O.O5,=O.1下求Lo
(b)在=1O3,=1O8下求Lo
(c)令T是序列Ul的集合,其中
皿H(U)
L
试求L=Lo时情况(a)(b)下,T中元素个数的上下限
134
解:
H(U)=pklogpk=log4log—=0.81bit
443
错误!
未找到引用源。
E[l(ak)]=H(U)
i2=E{[I(ak)H(U)]2}=E[l(aQ2]-H2(U)
22=Pk(logPk)H(U)
k
=0.471
则根据契比雪夫大数定理
3.4对于有4字母的离散无记忆信源有两个码A和码B,参看题表。
字母
概率
码A
码B
a1
0.4
1
1
a2
0.3
01
10
a3
0.2
001
100
a4
0.1
0001
1000
(a)各码是否满足异字头条件?
是否为唯一可译码?
(b)当收到1时得到多少关于字母&,的信息?
(c)当收到1时得到多少关于信源的平均信息?
解:
①码A是异头字码,而B为逗点码,都是唯一可译码
卩⑻11)1
②码A1佝;1)log21log21.32bit
p(aj0.4
③码AU={a1,a2,a3,a4}
4
l(u;1)p(ak|1)l(ak;1)=p(a1|1)g;1)0=1.32bit
k1
4
码BI(u;1)p(ak|1)l(ak;1)=0bit
k1
(收到1后,只知道它是码字开头,不能得到关于U的信息。
)
3.5令离散无记忆信源
Uaia2a3a4a5a6a7a8a9a10
0.160.140.130.120.100.900.080.07006005
(a)求最佳二元码,计算平均码长和编码效率。
(b)求最佳三元码,计算平均码长和编码效率。
解:
(a)
000
a1
0.16
010
a2
0.14
011
a3
0.13
100
a4
0.12
110
as
0.10
111
ae
0.09
0010
a7
0.08
0011
as
0.07
1010
ag
0.06
1011
a10
0.05
H(U)PklogPk=3.234bit
平均码长npknk=3.26=RnlogD
k
(b)
0.430
0.33
0.24.
…0
0.11
2
00
81
01
82
02
83
10
84
12
a5
20
86
21
87
22
88
110
89
111
810
0.16
0.14
0.13
0.12
0.10
0.09
0.08
0.07
0.06
0.05
平均码长npknk=2.11
k
RnlogD=3.344
效率罟96.60%
3.6令离散无记忆信源U
&1&3....
0.5...0.30.2
(a)求对U的最佳二兀码、平均码长和编码效率。
2
(b)求对U的最佳二兀码、平均码长和编码效率
3
(c)求对U的最佳二兀码、平均码长和编码效率<
解:
(a)
1
J
片■
1
―0
1a10.5
00a20.3
050
01830.2
n=0.5X1+0.3X2+2xo.2=1.5
H(U)pJogPk1.485bit
也99%
R
(b)
•••离散无记忆/-H(U,U2)=2H(U)=2.97bit
P(a
1a1)=0.25,p(a1a2)=0.15,p(a1a3)=0.1,
p(a2a!
)=0.15,
P(a
2a2)=0.09p(a2a3)=0.06,p(a3a1)=0.1,
p(a3a2)=0.06,
P(a
3a3)=0.°4
0.25
0.3
0.550
0.45,1
4
10
0.25-
001
aia2
U.I5
010
a2ai
U.15
110
a1a3
n4
U.l
111
9381
U.1
0000
a?
a?
0.09
0001
比觅
0.06
ncu
0110
a3a2
0.06
0111
a3a
0.04
n
PE
3
0
1
n
匹1.5
2
015..
0
0
bJ
1
01
0
Hl皿=也=0.99n2logD
(b)有关u3最佳二元类似略
3.7令离散无记忆信源
aia2ak
p(ai)p(a2)p(aj
i1
且0
wp(ak)<1。
定义Qi=p(aj,i>1,而Qi=0,
k1
今按下述方法进行二元编码。
消息ak的码字为实数Qk的二元数字表示序
列的截短(例如1/2的二元数字表示序列为1/2—10000…,1/4—0100…),保留的截短序列长度nk是大于或等于l(ak)的最小整数。
a1...a2.......a3......a4......a5.......a6.......a7......a$.....
(a)对信源U11111111构造码。
4,4,8,8,16,16,16,.16
(b)证明上述编码法得到的码满足异字头条件,且平均码长n满足
H(U) 解: (a) 符号 Qi L C a8 0 4 0000 a7 1 16 4 0001 a6 1 8 4 0010 a5 3 16 4 0011 a4 1 4 4 0100 a3 3 8 3 011 a2 4 8 2 10 a1 3 4 2 11 (b)反证法证明异字头条件 令k QkQk2 nk 又由l(ajnkI(ak)1可知, 2nk Pk 2nk1 从而得QkQk2"KPk nk 这与假设ak是ak的字头(即Qk Qk Pk) 相矛盾,故满足异字头条件。 由已知可得 对不等号两边取概率平均可得 (a)求对U的最佳二兀码、平均码长和编码效率。 2 (b)求对U的最佳二兀码、平均码长和编码效率 3 (c)求对U的最佳二兀码、平均码长和编码效率。 4 (d)求对U的最佳二兀码、平均码长和编码效率 解: (a)C10,C2=1,n=1 H(U)0.97bit H(U) (b)DMC信道 0.60 0.4 (c) 00 a〔a1 0.36 01 a1a? 0.24 10 a? a1 0.24 11 a2a2 0.16 斤2 2,n 1, H^U)97% 0.496 0.504 ——0 0.288 01 a1a〔a1 0.216- 111 an? 0144■ 0.144 000 a〔a2a1 n4aA■ U.I44 rxAAA 001 a2a〔a1 0.144 100 a〔a2a2 0.096 101 a2a〔a2 0.096 1100 828281 CCCQ U.096 1101 a? a2*2 0.064- 0 1 0.192… 0 1 n3=2.944n=0.981 (d)略 016. .0 3.9 设离散无记忆信源U ai,a2,.…a3,a4,.…a5,…a6 0.3,..0.2,..0.15,..0.15,..0.1,..0.1 试求其二元和三元 Huffman编码。 解: 0.3 0.4 ■q" 1 01 a1 0.3 11 a2 0.2 000 a3 0.15 001 a4 0.15 100 a5 0.1 101 a6 0.1- 1 a1 00 a2 01 a3 02 a4 20 a5 21 a6 0 1 0.3 0.2 0.15 0.15 0.1 0.1 0.2 1 1 0.2 2 0 1 2 0 1 0 设信源有K个等概的字母,其中K=2j,12。 今用Huffman 进行二元编码。 (a)是否存在有长度不为j或j+1的码字,为什么? (b)利用和j表示长为j+1的码字数目。 (c)码的平均长度是多少? 解: Huffman思想: 将概率小的用长码,大的用短码,保证n当等概时, 趋于等长码。 a)对1时,K=2j,则用长度为j码表示;当2时,用K=2j+1,用长 度为j+1码表示。 平均码长最短,则当12时,则介于两者之间, 即只存在j,j+1长的码字。 b)设长为j的码字个数为Nj,长度为j+1的码字数目为Nj+1,根据二元 Huffman编码思想(必定占满整个码树),即 NjNj1K2j Nj2jNj12(j°1 从而Nj (2 )2j,Nj1 (1)2j1 、-1 c)L—Nj j 12 -Nj1(j1)=j2- K K 13 3.12设二元信源的字母概率为p(0)-,p (1)-。 若信源输出序列为 44 1011011110110111 (a)对其进行算术编码并进行计算编码效率 (b)对其进行LZ编码并计算编码效率。 解: 124 3- 4 4 其中,F (1)=0,F (1)=34,p(0)=\,P (1)=34 Ui P(Ui) f(G 1 0 1 3 4 1 ~4 0 313 4416 1 1 339 16匸可 1 9327 644256 0 33 45 1 34 46 1 3^ 47 1 36 48 1 37承 0 37'4° 1 38 411 1 39T2 0 39 413 1 310 414 1 311盯 1 312 416 1508125135 416 0.0101100111100100 从而C010********* 134 log4log— 4m4a3 13 16 (b)首先对信源序列进行分段: 1011011110110111 然后对其进行编码,编码字典如下所示 段号 短语
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 理论知识 题目 解析