最新信息论与编码第二章答案文档格式.docx
- 文档编号:19155795
- 上传时间:2023-01-04
- 格式:DOCX
- 页数:21
- 大小:310.96KB
最新信息论与编码第二章答案文档格式.docx
《最新信息论与编码第二章答案文档格式.docx》由会员分享,可在线阅读,更多相关《最新信息论与编码第二章答案文档格式.docx(21页珍藏版)》请在冰豆网上搜索。
(3)红、黄、蓝、白色球各25个。
分别求出从布袋中随意取出一个球时,猜测其颜色所需要的信息量。
(1)设取出的红色球为X1,白色球为X2;
有P(X1),P(X2)=
1111
则有:
H(X)=—(―lblb—)=1bit/事件
2222
(2)p(xj=0.99,pg)=0.01;
H(X)-_(0.99lb0.990.01lb0.01)=0.081(bit/事件)
(3)设取出红、黄、蓝、白球各为X1、X2、X3、X4,有PX)书X)2PX)3PX)4=一
411
H(X)lb—)=2bit/事件
44
2-5、居住某地区的女孩中有25%是大学生,在女大学生中有75%身高为1.6M以上,而女
孩中身高1.6M以上的占总数一半。
假如得知“身高1.6M以上的某女孩是大学生”的消息,问获得多少信息量?
设女孩是大学生为事件A,女孩中身高1.6m以上为事件B,则p(A)=1/4,p(B)=1/2,
p(B|A)=3/4,则
迴二p(A)P(B|A)=竺35=3
p(B)P(B)0.58
I(A|B)=log(1/p(A/B))=1.42bit
2-6.掷两颗,当其向上的面的小圆点数之和是3时,该消息所包含的信息量是多少?
当小
圆点数之和是7时,该消息所包含的信息量又是多少?
(1)小圆点数之和为3时有(1,2)和(2,1),而总的组合数为36,即概率为p(x=3)=
18
则
l(x=3)=—lbp(x=3)=-lb4.17bit
(2)小园点数之和为7的情况有(1,6),(6,1)(2,5)(5,2)(3,4)(4,3),则概率为
=-lb2.585bit
6
XX1—0X2—1X3—3X4=3
]p」—!
38141/41/8」
110321010021032011223210^
p(x=7),则有I(x=7)
2-7、设有一离散无记忆信源,其概率空间为
(1)、求每个符号的自信息量;
(2)、信源发出一消息符号序列为
'
202120130213001203210
,求该消息序列的自信息量及平均每个符号携带的信息量。
3
(1)x,的自信息量为:
l(xj=-lb1.415bit
8
一1X2的自信息量为:
l(x2)=-lb2bit
4
亠1.
X3的自信息量为:
I(x3)=-lb2bit
一1x4的自信息量为:
l(x4)=-lb3bit
(2)在该消息符号序列中,x1出现14次,x2出现13次,x3出现12,x4出现6次,所
以,该消息序列的自信息量为:
I(Xi)=14I(X1)+13I(X2)+12I(X3)+6I(X4)
=19.81bit26bit24bit18bit
=87.81bit
平均每个符号携带的信息量为:
12=87.81/451.95比特/符号
H(X)=p(为)logp(xjp(X2)logp(X2)p(X3)logp(X3)p(X4)logp(X4)
3111
1.415—2-23
8448
=1.9Cb6t
2-8•试问四进制、八进制脉冲所含的信息量是二进制脉冲的多少倍?
解;
设二进制、四进制、八进制脉冲的信息量为
111
l2(X)=—lb1bitl4(X)=lb2bitl8(X)=lb3bit
248
所以,四进制、八进制脉冲信息量分别是二进制脉冲信息量的2倍、3倍。
2-10在一个袋中放5个黑球、10个白球,以摸一个球为实验,摸出的球不再放进去。
求:
(1)一次实验中包含的不确定度;
(2)第一次实验X摸出是黑球,第二次实验Y给出的不确定度;
(3)第一次实验X摸出是白球,第二次实验Y给出的不确定度;
(4)
第二次实验包含的不确定度。
(1)一次实验的结果可能摸到的是黑球
2
P(冷)二—。
所以一次实验的不确定度为
0.5280.39?
0t0.918
H(X)二H1t)-1(hoV2-log)
333333^
25
概率分别是p(%%)=7、p(y2%)=7。
所以该事件的不确定度为
H(YXipy|Xi)l(pgyX^-)|(爭og—7〔og)
=0.5160.347=0.863bit/符号
二0.5300.410二0.940bit/符号
H(Y|X)=—送p(Xi)H(Y|Xi)=p(xJH(Yxj+p(X2)H(Yx?
)=0.91bit/符号
i=0
二次实验B出现结果的概率分布是
25
p(x,y)=p(黑,黑)=2,p(x,y)=p(黑,白)=2,
5宀宀9
p(x,y)=p(白,黑)=21,p(x,y)=p(白,白)=2
所以二次实验的不确定度为
2-11有一个可旋转的圆盘,盘面上被均匀地分成38份,用1,2,、、、,38数字标示,其中有
2份涂绿色,18份涂红色,18份涂黑色,圆盘停转后,盘面上指针指向某一数字和颜色。
(1)若仅对颜色感兴趣,则计算平均不确定度;
(2)若对颜色和数字都感兴趣,则计算平均不确定度;
(3)如果颜色已知时,则计算条件熵。
令X表示指针指向某一数字,则X={1,2,.,38}
Y表示指针指向某一种颜色,则Y={绿色,红色,黑色}
Y是X的函数,由题意可知p(Xiyj)二p(Xi)
(1)仅对颜色感兴趣,则
22“18乂18
H(c)=—log—2log=0.2236+1.0213=1.245bit
32323232
(2)对颜色和数字都感兴趣,则
H(n,c)=H(n)=38(-)log—
3838
(3)如果颜色已知时,则
飞1
r12
「131
■7/24
1/24
0〕
r21
r22
r23
=1/24
1/4
1/24
丁31
r32
r33-
1.0
7/24_
H(n|c)=H(n,c)-H(h)=5.249-1.245=4.004bit
2-12、两个实验
X={X1,X2X},
丫二{%,y2,『3},联合概率r(冷y」)二心为
X和Y,
(1)如果有人告诉你X和Y的结果,你得到的平均信息量是多少?
(2)如果有人告诉你Y的结果,你得到的平均信息量是多少?
(3)在已知Y的实验结果的情况下,告诉你X的实验结果,你得到的平均信息量是多少?
33
解:
(1)、H(X,Y)=-瓦瓦p(Xi,yj)logp(Xi,yj)
771111
24244^4
一2刃log2T4^4log24_;
logV2.3bit/符号
(2)、;
"
py>
pybpy)3=§
11111
P(yJ二H=-3-log1.58bit/符号
33333
(3)、HXY)HXY)HY》3!
5d—=符号
H(X丫)=-迟p(Xi,yj)logp(Xiy」)
ij
=0.1120.50.104=0.716bit
2-13有两个二元随机变量X和Y,它们的联合概率如右图所示。
并定义另一随机变量Z=XY(一般乘积)
试计算:
精品文档
(1)H(X),H(Y),H(Z),H(X,Z),H(Y,Z),H(X,Y,Z)
(2)H(X|Y),H(Y|X),H(XZ),H(Z|X),H(YZ),H(ZY),
H(XY,Z),H(YX,Z),H(ZX,Y)
(3)I(X;
Y),I(X;
Z),I(Y;
Z),I(X;
YZ),I(Y;
ZX),I(X;
ZY)
131
(1)p(xj=p(xy)+p(x,)=8©
2
311
P(X2)=P(X2yJ+P(X2丫2)=
882
H(X)--7pX)lOPgXi(二bitSymbol
i
31
p(yj=p(xy)+p(x2yJ=
311
p(y2)=p(x$2)+p(x2y2)=
H(Y)=p(yj)logp(yj)=1bit/symbol
j
Z=XY的概率分布如下*
P(Z)
H(Z)…p(Zk)
k
■°
8lOg
711
81log8)
=0.544bit/symbol
P(X1)=P(X1Z1)P(X1Z2)p(zj=P(X1ZjP(X2Z1)
P(Z2)=P(X1Z2)P(X2Z2)
「/1c31、二H(—,0,—,)288
同理:
113311
=-(logloglog&
=1.406bit/symbol
H(YZ)-八'
jk
p(XZ)二P(X)0.5p(X1Z2)=0
73p(X2Z1)=p(z)—p(x乙)尸:
一0.5=:
88
P(X2Z2)=P(Z2)二
H(XZ)-4,p(XiZk)logp(XiZk)
ik
迎HngB七qz寸OH寸.0—卜80H(z->
X)H—(zx)hh〔(zX)H—(X)H」—(z->
X)H—(X)H"
(zx)-—(z->
x)一丄Z>
x)_亘(z>
x)一+NX)一H(z->
x)_MH七CELOM卜80丄M(z乙H—(>
H"
(z>
)一gso.0TX^TAN-X--七qeLouso—LH(>
X)H—(X)HH(>
X)一(e)z-xd*zdHXNd*xduzxd±
qousL—sLH(>
x)H—(z->
x)HH(>
xZ)H七q寸ohlpl—slh(z>
<
)h—(z->
x)hu(z>
>
h#o丄寸l—sl丄z-a}h—(z->
x)hh(z>
x)h七3寸ohl—l寸lh(a}h—(z>
)hh(>
z)h七qzOQOH寸go—L寸lm(Z)H—(zbHH(z>
H
七3寸bML—L寸Ln(X)H—(z-x)hh(xz)Hsfe.oH寸go—L寸LM(Z)H—(Z-X)HH(Z一X)H
七qsoHlsLH(X>
七qsoHL—SLU(>
X)H童(X)H—(>
X)HH(X乙H二A)H—(Ax)HH(>
X)H$隹(>
X)H+(A}HH(X>
H+(X)HH(>
-x)HMH七qsLH916001+「60-Trcxl—H(>
x)HQ)
oqEAS二_qLL°
ol丄IOO607OO+G60700十心60700+心60g)—N
lleeeell
210)工naz「A>
)dcso(N「A>
)d
NNN—h(zax)工
0"
LoNAxd"
oL)ZAXd"
LOO)ZAXd"
oLLNAxd
同理有:
l(Y;
ZX)=H(YX)—H(YX,Z)=
=0.81—0.4=0.41bit
l(X;
ZY)=H(XYHXY嗥0^81£
.40.b41
2.16黑白传真机的消息元只有黑色和白色两种,即X={黑,白},一般气象图上,黑色的出
现概率p(黑)=0.3,白色出现的概率p(白)=0.7。
(1)假设黑白消息视为前后无关,求信源熵H(X),并画出该信源的香农线图
(2)实际上各个元素之间是有关联的,其转移概率为:
P(白|白)=0.9143,P(黑|白)=0.0857,P(白|黑)=0.2,P(黑|黑)=0.8,求这个一阶马尔可夫信源的信源熵,并画出该信源的香农线
图。
(3)比较两种信源熵的大小,并说明原因。
210=0.8813bit/符号
7
10
(1)H(X)=0.3log20.7log
P(黑|白)=P(黑)
0.7
H:
(X)二H(X2|X1)p(x,yj)log2
upd)
11
=0.91430.7log20.08570.7log20.20.3log2——
0.91430.08570.2
.1
0.80.3log2——
0.8
=0.512bit/符号
2.20给定语音信号样值X的概率密度为p(x)=1■e」x,X:
:
•:
,求Hc(X),并证明它
小于同样方差的正态变量的连续熵。
Hc(X)
■be-be.
1斗詞--px(x)logpx(x)dx__px(x)logedx
-oO
-CO
-bo
--px(x)log
-od
一九dx_\px(x)(_^x)logedx=_log—+“2
:
loge龙x@x)dx
101:
=Tog一九+logeJ—?
€‘x"
x)dx+logJ:
Xe»
x(人x)dx
2.:
:
1:
11
=-log一丸+2logeJ—丸2xe^^dx=-log--loge(1+扎x)e
2022
E(X)=0,D(X)二2
-0
二-logloge二log
2e
1214ne2jii"
S2Jee
H(X,)log2二e^log2loglogH(X)
扎2扎扎扎
2-23连续随机变量X和Y的联合概率密度为
求Hc(X),Hc(Y),Hc(YX),l(X;
Y)
{SN”,S
-jtJO.2(—N)2…~SNe
分布。
其中数学期望为0,方差为(S+N)。
1丄X2112
--Ex(log^=ePs)Iog2二Slog4Ex(x)
S22S
1s1
log2二Slogelog2eS
Hc(X,Y)—P(x,y)logP(X,Y)dxdy
-OO
{:
[x2(1N)_2xyy2]}
e2NSdxdy
E(log-「日“却少心、xy(g2—SNe)
=log2二.SNlog/^ExyOx2。
£
)—2xyy2)
=log2^-:
SNlog
二log2「e,SN
Hc(YX)=Hc(X,Y)—Hc(X)=log2^eVSN—1log2^eS=1log2^eN
Y)=HJY)_Hc(YX)
111S
log2e(SN)log2「:
eNlog
(1)
2-25某一无记忆信源的符号集为{0,1},已知
(1)求符号的平均熵。
(2)由100个构成的序列,求某一特定序列(例如有m个0和100-m个1)的自由信息量的表达式。
(3)计算
(2)中的序列的熵。
1133
(1)H(X)loglog0.50.31=0.81bit
4444
13
(2)l(X)=「log
(2)m(:
)100_4m=2OO-(1OO-m)log3-1.59m41
(3)H(X100)=100H(X)=81bit
I(X)
H(X)2—(1—m/100)log3
2-26—个信源发出二重符号序列消息(
中的任一个,第二个符号
Xi,X),其中第一个符号Xi可以是A,B,C
X2可以是D,E,F,G中的任一个。
已知各个p(Xi)为
H(Xi,X2).
HgX?
)=H(XJH(X2XJ
111111
0.528=0.4i3t1
1.459
H(X)=—fI令二电中§
Tgg]©
5
H(X2XJ
「[411|og1211|og121?
log?
3丄1|og11〕log丄]
24435531010666622
二10.30940.34720.21530.0833二1.955bit
H(X1,X2)=1.4591.955=3.414bit/序列
2.29有一个一阶平稳马尔可夫链X1,X2」||,Xr,||l,各Xr取值于集合A-£
1£
2£
3?
已知起
始概率P(Xr)为P1=1/2,p2=p3=1/4,转移概率如下图所示
1/2
2/3
1/3
(1)求(X1,X2,X3)的联合熵和平均符号熵
(2)求这个链的极限平均符号熵
⑶求H0,H1,H2和它们说对应的冗余度
(1)
H(X1,X2,X3^H(X1)H(X2|X1)H(X3|X2,X1)
=H(X1)H(X2|X1)H(X3|X2)
111111
H(X1)logloglog1.5bit/符号
224444
P(X1X2j)
1/8
1/6
1/12
P(X2j)八P(XiiX2j)
14/24
5/24
Xi,X2的联合概率分布为
那么
X2的
概率分
布为
111131131
H(X21Xi)log4log4log4logIog3logIog3
48862126212
=1.209bit/符号
X2X3的联合概率分布为
P(X2iX3j)
7/24
7/48
5/36
5/12
771535535
H(X3|X2)log2log4log4loglog3loglog3
244883627236272
=1.26bit/符号
H(X1,X2,X3)=1.51.2091.26=3.969bit/符号
3969
所以平均符号熵H3(X1,X2,X3)=—=1.323bit/符号
244
21
(2)设玄耳念稳定后的概率分布分别为W1,W2,W3,转移概率距阵为P=-01
33
21°
WP
『二Wi=1
得到
1W^-2W2+-W=1
233
」一W1+—W3=W2计算得到
|43
W1W2W=1
I
W1
彳W2=——
14
W3=3
23丿
又满足不可约性和非周期性
34111321
H:
(X)八WiH(X|Wi)H(—,,)2H(—,,0)=1.25bit/符号
y72441433
°
9,35l5iz符号
15120
2.32
(1)
(2)
(3)
一阶马尔可夫信源的状态图如图求信源平稳后的概率分布P(0),P
(1),P
(2)
求此信源的熵
近似认为此信源为无记忆时,符号的概率分布为平稳分布。
的符号集为(0,
求近似信源的熵
1,2)。
H(X)并与
进行比较
根据香农线图,列出转移概率距阵P二
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 最新 信息论 编码 第二 答案
![提示](https://static.bdocx.com/images/bang_tan.gif)