信息论与编码第二章答案Word下载.docx
- 文档编号:17798004
- 上传时间:2022-12-10
- 格式:DOCX
- 页数:19
- 大小:322.68KB
信息论与编码第二章答案Word下载.docx
《信息论与编码第二章答案Word下载.docx》由会员分享,可在线阅读,更多相关《信息论与编码第二章答案Word下载.docx(19页珍藏版)》请在冰豆网上搜索。
(1)、“3和5同时出现”事件的自信息量;
(2)、“两个1同时出现”事件的自信息量;
(3)、两个点數的各种组合的炳或平均信息量;
(4)、两个点數之和的炳;
(5)、两个点数中至少有一个是1的自信息量。
6618
⑴3和5同时出现的概率为:
p(x1)=lxlx2=—
(2)两个1同时出现的概率为:
p(x2)=-x-=
/.I(x)=-lb—=5.17Z?
/7
(3)两个点数的各种组合(无序对)为:
(1,1),(1,2),(1,3),(1,4),(1,5),(1,6)
(2,2),(2,3),(2,4),(2,5),(2,6)
(3,3),(3,4),(3,5),(3,6)
(4,4),(4,5),(4,6)
(5,5),(5,6)
(6,6)其中,(1,1),(2,2),(3,3),(4,4),(5,5),(6,6)的概率为1/36,其余的概率均为1/18所以,aH(X)=-15x—//?
—-6x^-/Z?
—=4.337Z?
z7S件
18183636
(4)两个点数之和概率分布为:
v23456789101112
卩%6%6%6%6%6%6%6%6%6%6%6
信息为炳为:
H=一£
〃(兀•)1切(托)=3.27bit
i-2
(5)两个点数之中至少有一个是1的概率为:
“(%)==
2-4.设在一只市袋中装有100个用手触摸感觉完全相同的木球,每个球上涂有一种颜色。
10()个球的關色有下列三种倩况:
(1)红色球和白色球各5()个;
(2)红色球99个,白色球1个;
(3)红、黄、薮、白色球各25个。
分别求出从布袋中随意取出一个球时,猜测其颜色所棗要的信息量。
(1)设取出的红色球为坷,白色球为心;
有/X^))=-,/?
(X2)=-
则有:
H(X)=—(—lb—+—lb—)=lbit/事件
2222
(2)p(x})=0.99,p(x2)=0.01;
则有:
/7(X)=-(0.99//?
0.99+0.01//?
0.01)=0.081(bit/事件)
⑶诰取出红.黄、蓝、白球各为X八X3'
V4>有〃(西)=卩(左)=〃(兀3)=/2(勺)=[
4
H(X)=-4(-lb-)=2hit/^^
44
2・5、居住某地区的女孩中有25%是大学生,在女大学生中有75%身高为1.6M以上,而女孩中身高1.61M以上的占总數一半。
假如得知“身高1.6M以上的某女孩曼大学生”的消息,间获得多少信息量?
谩女孩是大学生为事件A,女孩中身高1.6m以上为事件B,则p(A)=l/4,p(B)=l/2,p(B|A)=3/4,则
-p(AB)_p(A)P(BIA)-0.25x0.75_3
PSIB戸亦=P(B)二0.5飞
I(A|B)=log(l/p(A/B))=1.42bit
2-6•掷两颗,当其向上的面的小圆点数之和曼3时,该消息所包合的信息量咼多少?
当小圆点数之和爱7时,该消息所包合的信息量叉是多少?
⑴小圆点数之和为3时有(1,2)和(2,1),而总的组合數为36,即概率为/心=3)=二
18
则
/(x=3)=-lbp(x=3)=-lb—=4.17bit
⑵小冋点數之和为7的悄况有(1,6),(6,1)(2,5)(52)(3,4)(4,3),则概率为p(x=7)=l
6
则有i(x=7)=-//?
!
=2.585/7/7
(1)、求每个符号的自信息量;
(2)、信源发出一消息符号序列为
{202120130213001203210110321010021032011223210}
求该消患序列的自信息量及平均每个符号携带的倍息量。
(1)州的自倍息量为:
I(xJ=lb〉1.415b〃
8
也的自信息量为:
I(xJ=lb;
=2b〃
兀3的自信息量为:
I(xJ=lb丄=2肋
的自信息量为:
l(x4)=-lbl=3h/r
(2)在该消息符号序列中,坷出现14次,心出现13次,®
出现12,勺出现6次,所以,该消息序列的自信息量为:
I(兀)=141(X,)+131(x2)+121(x3)+61(x4)
=19.8\bit+26/?
〃+24Z?
”+18bit
=87.81Z?
平均每个符号携带的信息量为:
Z2=87.81/45«
1.95比特/符号
H(X)=p(xJlogp(xj+pg)logp(x2)+p(x3)logp(x3)+p(x4)logp(x4)
3111
=-xl.415+-x2+-x2+-x3
8448
=1.906/?
2-8.试间四进制、八进制脉冲所含的信息量是二进制脉冲的多少信?
解;
设二进制、四进制、八进制脉冲的信息量为
I2(X)=-lb^=\bitI4(X)=lb^=2bitI^X)=lb^=3bit
所以,四进制、八进制脉冲倍息量分别畏二进制脉冲信息量的2借、3借。
2-10在一个袋中放5个黑球、10个白球,以楔一个球为实验,楔出的球不再放进去。
求:
(1)一次实验中包含的不确定度;
(2)第一次实脸'
楔出是黒球,第二次实脸Y给出的不确定度;
(3)第一次实脸'
楔出是白球,第二次实脸Y给出的不确定度;
(4)第二次实脸包含的不确定度。
(1)一次实验的结果可能楔到的是黑球為或白球疋,它们的概率分别是〃(西)=£
2
/XxJ=-o所以一次实验的不确定厦为
・3
121122
H(X)=77(-log-+-log-)=0.528+0.390=0.91Sbit
333333
(2)当第一次实验楔出爱黒球,则第二次实验Y的结杲可能爱漠到黑球旺或白球兀,它们的概率分别是心|州)=扌、卩(讣)=专。
所以该事件的不确定度为
7955
H(Y卜|)=-工p():
冲logp(yi\x[)=-(-log-+-log-)
i/II/
=0.516+0.347=0.863肋/符号
⑶当第一次实验楔出爱白球,则第二次实验Y的结果可能是摸到黑球才或白球儿,它们的5a
概率分别爰p(yxk)=—'
—。
1414
所以该事件的不确定厦为
H(Y卜2)=-XP(汕2)log心卜2)=-(春log害+菩l°
g菩)
=0.530+0.410=0.940bit/符号
(4)
H(Y\X)=-^p(xl)H(Y\xl)=p(xi)H(Y\x[^p(x2)H(Y\x2)=0.9\bh/符号
/=0
25
二次实验B出现结果的概率分布是p(x,y)=p(黒,黑尸—,p(x,y)=p(黒,白)=—
乙1Zr丄
k5.9
p(x,y)=p(白,黒)=—,p(x,y)=p(白,0)=—
所以二次实脸的不确定度为
22555599
H(B)=———loglog———loglog—=0.91bit/符号
212121'
21212121=21
2-11有一个可建转的圆盘,克:
面上被均匀地分成38份,用1,2,、、、,38数宇标示,其中有2份涂绿色,18份涂红色,18份涂黑色,圆竞停转后,就而上指针指向某一數宇和颜色。
(1)若仅对關色感兴趣,则计算平均不确定度;
(2)若对颜色和数宇都感兴趣,则计算平均不确定度;
(3)如杲颜色巳知时,则计算条件矯。
令乂裘示指针指向某一數宇,则X={1Z.,38}
Y裘示指针指向某一种恋色,则Y={绿色,红色,黑色}
Y是、的函数,由题意可p(xiyj)=p(xi)
(1)仅对颜色感兴趣,则
=0.2236+1.0213=1.245bit
221818
Hic)=——k——2x—xlog—
32323232
⑵对虧色和数宇都感兴趣,则
土空=5.24%,
0.3010
11
H(n,c)=H(n)=38x(-一)l()g一
3838
(3)如果颜色巳知时,则
H(n|c)=H(n>
c)-H(h)=5.249-1.245=4.0()4bit
(3)、H(X\Y)=H(X,Y)-H(Y)=23-1.58=0.72bit/符号
H(X卩)=-工/心•,y.)logp{x.\y.)
=0.112+0.5+0.104=0.716/?
//
2J3有两个二元随机和Y,它们的联合概率如右图所示。
并定义另一随机tZ=XY(一般乘积)。
X
i
Z
1
%
2/
1/
P
/s
/8
试计算:
(1)H(X),H(Y),H(Z),H(X,Z),H(Y,Z),//(X/Z)
⑵H(X|Y),H(Y|X),H(X\Z),H(Z\X),H(Y\Z),H(Z\Y),
h(x|y,z),h(y|x,z),h(z|x,y)
⑶/(x;
y),/(x;
z),z(r;
z),/(x;
r|z),/(r;
z|x),/(x;
z|r)
131
(1)1)p(x:
)=p(x^)+p(xxy2)=-+-=-
882
3iiP(xn)二p(x“yi)+p(x°
yJ二一+-=一
H(X)=-工p(兀)log/;
(x.)=\bit/symbol
p(yx)二p(x】yJ+p(x2y1)=-+-=-
3ii
p(y2)=p(x』2)十p(x2y2)=-+-=-ooZ
H(Y)=/?
(};
)log/?
(>
;
)=1肋/symbol
j
Z=XY的慨率分布如下:
■Z■
Z}=0z2=1
=<
7
_P(Z).
——
H(Z)=一工〃(乙)=-(—log-+-log一)=0.544Z?
”/symboll8888
/?
(x1)=pCv1z1)+p(xIz2)
P(Z{)=P(XlZl)+P(X2Z})
P(z2)=P(v2)+p(x2Z2)
P(v})=〃(X|)=0.5P(V2)=o
73
P(x2z})=/^^)=--0.5=-
oo
p(x2z2)=p(z2)=-
o
H(XZ)=-工工log“(g)
ik
131113311
=H(—,0,_,log_+_log_+_log-)=1・406Z?
〃/symbol
288228888
同理:
113311
H(YZ)=-VYlog)=-qiog£
+slog§
+jlogm=1・406b”/symbol
ir22oooo
Pxyx(000)=l/8,Pxyz(010)=3/8,px严(100)=3/&
P(lll)=l/8
Pxyz(l10)=Pxyz(001)=Pxyz(101)=Pxvz(011)=0
1331//(XyZ)=-^^^p(x,.y.zJlog2p(x;
.y.z;
)=
iik
11333311
=-(-log一+-log一+—log一+-log-)=l.Sllbit/symbol
88888888
1133
(2)H(X,y)=-2x(-log-+-log-)=1.81/?
/r
8888
由于H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)所以:
H(X|Y)=H(X,Y)_H(y);
H(y|X)=H(X,Y)-H(X)则,W(X|y)=1.81-l=0.81Wr
H(Y|X)=1.81-1=0.81肋
H(X|Z)=H(X,Z)-H(Z)=1.41-0.54=0.87肋
H(Z|X)=H(X,Z)-H(X)=1.41-1=0.41肋
H(Y\Z)=H(Y,Z)-H(Z)=1.41-0.54=0.87bit
H(Z\Y)=H(Y,Z)-H(Y)=1.41-1=0.41b”
H(X|Y,Z)=H(X,Y,Z)_H(y,Z)=1.81-1.41=0.4肋
H(Y|X,Z)=H(X,Y,Z)-H(X,Z)=1.81-1.41=0.4/加
H(Z|X,Y)=H(X,Y,Z)_H(X,Y)=1.81-1.81=0b〃
PxZ=Px*PiIX=Pz*PxI2
(3)/(XV)=H(X)—H(X|y)=1-0.81=0.19/?
/(X;
Z)=H(X)_H(X|Z)=1-0.87=0」3M
/(r;
Z)=//(/)-H(Y|Z)=1-0.87=0.13bit
由于/(x;
y,z)=/(x;
z)+/(x;
y|z)则
/(x;
y|z)=z(x;
r,z)-/(x;
z)=/7(x)-H(x|r,z)-[//(x)-H(x|z)J
=H(X|Z)-H(X|F,Z)=0.87-0.4=0.47肋
同理有:
/(Y;
Z|X)=H(y|X)-H(Y|X,Z)=0.81-0.4=0.41M
Z(X;
Z|y)=H(X\Y)-H(X|y,Z)=0.81-0.4=OAibit
2-16黑白传真机的消息元只有黑色和白色两种,即'
={黑,白},一般气象图上,黑色的出现概率p(黑)=0.3,白色出现的概率p(白)=0.7。
(0假设黑白消息视为前后无关,求信源MH(X),并画出该信源的香农线图
(2)实际上各个元素之间是有关联的,其转移概率为:
P(白|白)=0.9143,P(黑|白)=0.0857,P(白|黒)=0.2,P(黒|黑)=0.8,求这个一阶马尔可夫信源的信源烧,并画出该信源的香农线图。
(3)比较两种信源炳的大小,并说明原因。
(1)H(X)=0.31og2—+0.71og2—=0.8813bit/符号
P(黑|白尸P(黑)
P(白I黑)=p(白)
此一阶马尔可夫链是平稳的(P(白)=0.7不随时间交化,P(黑)=0.3不随时
P(白|白)=P(白)
P(黑I黑)=P(黑)
(2)根据题意,
间变化)
Hx(X)=Xi)=p(xi,)y)log2
••
V
删心叱拓+0.0857x0.7咏為+0.2x0叫洛
+0.8x0.31022^=0.512bit/符号
2.20给定语音信号样值X的概率密度为p(x)=-Hc(X),并证明它
小于同样方差的正态萸量的连续矯。
-WC-H30|
Hc(X)=一J/?
a(zV)logpx(x)dx=-jp\x)log—QfW/xYy2
-MCj-WC-
=_J/?
v(x)log—Adx-
Y2
1.
也11
J/?
v(x)(-2|x|)logedx=-log—+logej—Ae^^(A\x\)dxY2Y2
ju]杠j
=一log—2+logej—Ae/X・久(-Qdx+logj—Xe'
AX(2x)厶
2y2()2
~/xdx=—log+^x)e~AXJ=-logg/l+loge=logj
=-log—2+2logej—A~xe
2()2
E(X)=aD(X)=p
Ar
H(X)冷1。
0弓冷唤攀“g乎>bg琴F(X)
2-23连续随机变量X和Y的联合概率密度为
求a(x),a(y),aa|x)』(x;
Y)
Px(x)=Jp(x,y\ly=j-—J==e2Nsdy
=f!
^-^Kx-vf4?
D_±
_^r1/挣
172^5^2^7yllrrS1>
/2^W
I」2(S+W*'
如(S+N)
j1r
随机变量沙概率密度分布为代心话c标准正态分札其中糾期望为。
方差为S;
随机变量Y的概率密厦分布为
|一
斤(刃=/c2E,也呈标准正态分布。
其中数学期望为0,方差为(S+N)。
J2”(S+N)
/ft.(X)=-J^(x)logP,(x)^=-J
—oc—w
=—Ex(log-4=卅)=|log2托S+loge.J-Ex(x2)
1S1
=—log2/rS+loge・——=—logIneS
22S2
:
:
1!
—v2i1■?
垃(“y(y)T(艸一5程忑Ez小
i一y11
=丄log2tt(S+N)+log“=-log2处(S+N)
22(S+N)2〜
a(X"
)=-JP(xOT)logP(X,rWy
厂-1n
=log2^V57V+logE“(Ly2(1+—)-2xy+)匸)
=log27Ty/SN+log=log2兀eJSN
aaIx)=a(x,丫)一a(x)=iog2宓障一-log“辺=-log
22
111s
I(X;
Y)=Hc(Y)-He(Y\X)=-log2^e(S+2V)--log2^eN=-log(l+-)
乙厶厶1V
2-25某一无记忆信源的符号集为{0,1},巳知
(1)求符号的平均矯。
(2)由100个构成的序列,求某一待定序列(例如有m个0和100-m个1)的自由信息量的表达式。
(3)计算
(2)中的序列的炳。
(1)H(X)=——log———log—=0.5+0.31=0.81Z?
4〜44〜4
i3
(2)Z(X)=-log(-)w=200-(100-m)loe3=1.59m+41
(3)H(X,(x>
)=100H(X)=81Z?
H(X)=-^^=2-(l-w/100)log3
2-26一个信源发出二重符号序列消息(X“X2),其中第一个符号&
可以A,B,C中
的任一个,第二个符号X?
可以爰n,E,F,G中的任一个。
巳知各个P(xu)为
(A)=1p(B)=|,/?
(C)=i;
各个p(x2j|XjJ值列成如下。
求这个信源的矯(联合矯)厶QU
H(xPx2).
A
B
C
D
5
a
K
&
H(Xi,X2)=H(Xi)+H(X2\Xl)
H(XJ-log-+-log-+-log-]=0.5+0.528+0.431=1.459肋
223366
=1+0.3094+0.3472+0.2153+0.0833=1.955/?
z7
H(X^X2)=\.459+1.955=3.414/?
z7/序列
2.29有一个一阶平稳马尔可夫链Xi・X2,各乂取值于奧合4={G4243},巳知起
始概率P(Xr)为/?
1=1/2,/?
2=/?
3=1/4,转移概率如下图所示
*
3
1/2
1/4
1/3
1、、
(1)求(Xu%2,X3)的联合炳和平均符号炳
(2)求这个链的枚限平均符号烧
(3)求和它们说对应的冗余度
(1)
H(Xi,X2,X3)=H(Xi)+77(X2IXi)+H(X3lX2.Xi)
=H(Xi)+H(X2\Xi)+H(X3\Xi)
H(X2lXi)=llog4+hog4+ilog4+ilog-+—log3+llog-+—log3
48862126212
=1.209bit/符号
的联合概.率分布为
P(X2iX3j)
7/24
7/48
5/36
5/12
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 第二 答案
![提示](https://static.bdocx.com/images/bang_tan.gif)