信息论习题分析.docx
- 文档编号:24735890
- 上传时间:2023-06-01
- 格式:DOCX
- 页数:14
- 大小:145.13KB
信息论习题分析.docx
《信息论习题分析.docx》由会员分享,可在线阅读,更多相关《信息论习题分析.docx(14页珍藏版)》请在冰豆网上搜索。
信息论习题分析
[例2.1.4条件爛]已知X,Ye{O,l},XY构成的联合概率为:
p(00)=p(ll)=1/8,p(01)=p(10)=3/8,计算条件爛H(X/Y)o
解:
根据条件爛公式:
mn
h(x/y)=-XE〃(兀儿)bg2pg/yj
J=li=l
心儿)
P(yj)
2
首先求p(儿)=儿),有
i=\
31
P(o)=p()i=o)==00)+p(x2y}=10)=-+-=c
oo
同理可求得p
(1)=p(y2=1)=-
2
从而有:
p(0/0)二p(x,二0/开=0)=
p(00)_=00)_1/8_1_
P(0)P()i二0)1/24
3
M/s吒,
H(x/Y)二-p(00)log2p(0/0)-—p(0l)log2p(0/I)-p(l0)log2pQ/0)
-p(l1)log2卩(1/l)
(bit!
symbol)
--lo^---log.-x2=0.406
I8切48切4丿
[例2.1.5]将已知信源忙vl=E:
」接到下图所示的
信道上,求在该信道上传输的平均互信息量I(X;Y)、疑义度H(X/Y)、噪声爛H(Y/X)和联合嫡H(XY)。
解:
(1)由P(xiyj)=p(xi)p(yj/x,),求出各联合概率:
p(Xj)=p(Xj)p(y)/£)二0.5x0.98=0.49
/?
(%(y2)=p(x{)p(y2/X])=0.5x0.02=0.01
p(x2y])二p(x2)p()\/x2)=0.5x0.20二0.10p(x2y2)=p(x2)p(y2/x2)=0.5x0.80=0.40
(2)由3)=0(卩),得到Y集各消息概率:
(=1
2
〃()'])=£P(I)=P(x\yI)+P(勺)?
1)=°49+0.10=0.591=1
卩(为)二1-P()i)二1-0・59二0.41
(3)由心/儿x竺2,得到X的各后验概率:
P(兀2/开)=1-Pdi/y1)=0.169
同样可推出P(N/y2)=0.024,p(x2/y2)=0.976
(4)H(X)Sp(xl)log2p(xi)=-{0.5log20.5+0.5log20.5)=1(比特/符号)
f=l
2
H(Y)=-X/X)\)log2P(>\)=-{0.59log?
0.59+0.41log20.41}
J=I
二0.98(比特/符号)
H(XY)=-工工p(“yj)log2p(“儿)
/=!
./=!
=-{0.49log20.49+0.01log70.01+0.10log.0.10+0.40log20.40}
二1.43(比特/符号)
(5)平均互信息
/(X;Y)=H(X)+H(Y)-H(XY)=1+0.98-1.43=0.55(t匕特/符号)
(6)疑义度
22
H(X/y)=2^p(xiyJ)log2〃(“/儿)
Z=1J=l
二-{0.49log20.831+0.01log20.024+0.101og20.169+0.40log20.976}=0.45(比特/符号)
(7)噪声爛
22
H(Y/X)=—££/心,儿)log2P(儿/")
/=1J=1
=-{0.49log20.98+0.01log20.02+0.10log20.20+0.40log20.80}=0.43(比特/符号)
[例2.2.1]有一离散平稳无记忆信源
3
P(X)
工Pd)=i,求此信源的二次扩展
信源的嫡。
先求出此离散平稳无记忆信源的二次扩展信源。
扩
展信源的每个元素是信源X的输出长度为2的消息序
列。
由于扩展信源是无记忆的,故
"(%)=〃(")〃(化)(‘1'‘2=1,2,3;心1,2,…,9)
0信源的元素
al
a9
对应的消息序列
坷兀2
兀1兀3
x2x{
x2x2
兀2兀3
无3“
兀3兀2
x3x3
概率
1
1
1
1
1
1
1
1
1
〃a)
4
8
8
8
16
16
8
16
16
根据嫡的定义,二次扩展信源的嫡为
H(Xn)=3(比特/符号)二2H(X)
[例2.2.2]设某二维离散信源X=X.X2的原始信源X的
411,X=XlX2中刖后两个符号
936.
的条件概率为
—
7/9
2/9
0
■
1/8
3/4
1/8
0
2/11
9/11
原始信源的爛为:
H(X)=-工/?
(弋)log°#(弋)=1・542(b”/symbol)
/=1
由条件概率确定的条件嫡为:
33
H(X2/Xl)=-)p(%/X.)log2P(x/X.)=0.870(加/symbol)‘1=1^2=1
条件嫡比信源炳(无条件爛)减少了0.672bit/symbol,
。
信源X=X.X2平均每发一个消息所能提供的信息量,即联合燔
H(X、XJ=H(XJ+H(X2/X)=2・4\2(bit/symbol)
则每一个信源符号所提供的平均信息量
H2(X)=-H(X)=-H(X[X2)=1.206(bit/symbol)
22
小于信源X所提供的平均信息量H(X),这同样是由于
符号之间的统计相关性所引起的。
[例2.2.3]设信源符号xmexj,信源所处的状态
Se{勺灼,唧起}o各状态之间的转移情况由下图给出o
将图中信源在勺状态下发符号®的条件概率
Pge)用矩阵表示为
乂1乂2乂3
1-41-21-401-2
1一41一23一401一4
1-20011-4
由矩阵可明显看出,fpg/©)=1,21,2,3,4,5。
另从图
&=1
中还可得
PJS[=e2/X,=不,S/T=d)=0
P(S,=ejXt=x19S_=e{)=l
P(Sf=ejXi=x2,St_}=e,)=0
J
所以信源满足式(4)
由图还可得状态的进一步转移概率
®勺J4丘5
丄丄o丄0
244
0丄丄00
22
31
0--00
44
00000
31
000--
L44」
该信源满足式
(2)-(4),所以是马尔可夫信源,并且是时齐的马尔可夫信源。
[例2.2.4]某二元2阶马尔可夫信源,原始信源X的符号集为{%!
=O,X2=1},其状态空间共有/iH,=22=4个不同的状态勺,勺,勺,勺,即E:
{勺=00,d=01,s=10,s=ll},其状态转移概率图如下,
由上图可知,当信源处于状态00=勺时,其后发生符号0的概率是0.8,BPp(0l00)=p(x1k1)=0.8,状态仍停留在勺,即火|1勺)二卩(占1勺)二0.8。
当信源仍处于状态勺,而发出的符号为1时,状态转移至01=勺,故一步转移概率p(l100)=p(x21e()=p(e21ej=0.2o当信源处于状态勺二01时,其一步转移概率为P(0101)=pCVjk2)=p(ey\e1)=0.5,p(\101)=p(x2\e2)=p(e4\e2)=0.5。
同理,当信源处于状态®"0时,
卩(0110)=pg丨£J=p(e{\e3)=0.5
p(l\10)=p(x2le3)=p(e21e3)=0.5
当信源处于状态勺二11
p(0111)=p(xtIe4)=p(e31e4)=0.2p(l111)=p(x21e4)=p(e4k4)=0.8
这样,由二元信源Xg{0,1)得到的状态空间匕,勺,6.匕}和相应的一步转移概率构成的2阶马尔可夫信源模型
e\*2e3e4
p2j£)
i,j=123,4
4
p(s)>o
工P(勺/®)=1
j=l
4
由P(J)=》P(5)P2j«)j=123,4Z=1
可求出稳定状态下的〃©),称为状态极限概率。
将一步转移概率代入上式得:
p(ej=0.8p(ex)+0.5卩(勺)p{e2)=0.2p(ej+0.5p(e3)p(e3)=0.5p(e2)-l-0.2p(e4)p(e4)=0.5p(e2)+O.Sp(e4)
解此方程组得
P(^1)=P(^4)=—
14
2
P@2)—P(e3)—打
计算极限嫡
44
Hg=w2+1=-工工p(ejp(ej/ejlogP(ej/勺)=0.8(bif/symbol)
i=\j=\
需要注意的是No并非在任何情况下都存在。
首先应记住的是:
其次,对n元m阶马尔可夫信源来说,只有极限概率P(勺),丿二1,2,…川"都存在时,方能计算出Hr。
从理论上可以证明,如果m阶马尔可夫信源稳定后具有各态历经性,则状态极限概率P(勺)可根据式(10)求出。
必须强调的是,m阶马尔可夫信源和消息长度为m的有记忆信源,其所含符号的依赖关系不同,对相应关系的数学描述不同,平均信息量的计算公式也不同。
m阶马尔可夫信源的记忆长度虽为有限值但符号之间的依赖关系延伸到无穷,通常用状态转移概率(条件概率)来描述这种依赖关系。
对理解为马尔可夫信源以转移概率发出每个信源符号,所以平均每发一个符号提供的信息量应是极限嫡比卄而对于长度为m的有记忆信息源X,发出的则是一组组符号序列,每m个符号构成一个符号序列组,代表一个消息。
组与组之间是相互统计独立的,因此符号之间的相互依赖关系仅限于符号之间的m个符号,一般用这m个符号的联合概率来描述符号间的依赖关系。
对于这种有记忆信源,平均每发一个符号,(不是一个消息)提供的信息量,是m个符号的联合爛的m分之一,即平均符号嫡
m
[例2.4.1]设某单符号信源模型为
■
XJX]x2x4x5x6x7x8
p(x)_1o.40.180.100.100.070.060.050.04
计算得
H(X)=2.55(比特/符号)
若要求编码效率为90%,即 HE=090 H(X)+w 则£二0・28 设译码差错率为10“,由式(3)可得 L>1.6875xl07 由此可见,在差错率和效率的要求都不 苛刻的情况下,就必须有1600多万个信源符号一起编码,技术实现非常困难。 种可能的取值编定长码,要无差错地译码,每种取值需用3个比特,其编码效率为了解决这一问题,就出现了不等长编码,也称变长编码。 不等长编码允许把等长的消息变换成不等长的码序列。 通常把经常出现的消息编成短码,不常出现的消息编成长码。 这样可使平均码长最短,从而提高通信效率,代价是增加了编译码设备的复杂度。 例如在不等长码字组成的序列中要正确识别每个长度不同的码字的起点就比等长码复杂得多。 另外,接收到一个不等长码序列后,有时不能马上断定码字是否真正结束,因而不能立即译出该码,要等到后面的符号收到后才能正确译出。 这就是所谓的译码同步和译码延时问题。 [思考题]已知12个球中有一个球的重量与其它球不同,其它球均等重。 问用无舷码的天平至少须几次才能找出此球? 解: 天平有3种状态,即平衡,左重,左轻,所以每称一次消除的不确定性为log3,12个球中的不等重球(可较轻,也可较重)的不确定性为: -叱存*=log24因为31og3>log24 A3次测量可以找出该球 具体称法略。 [例一]一副充分洗乱了的牌(含52张牌),试问: (1)任一特定排列所给出的信息量是多少? (2)若从中抽取13张牌,所给出的点数都不相同能得到多少信息量? ⑴任意排列共有Pii=52! ^,则任一排列 (2)应将点数相同花色不同的牌看作一类,则任意抽取的13张牌应在13类中分别进行。 其概率为: dsC;4•…d [例三]求证: I(X;Y;Z)=H(XYZ)-H(X)-H(Y)-H(Z)+1(X;Y)+I(Y;Z)+I(Z;X) •・・/(x;y;z)=z(x;r)-/(x;yiZ) =H(X)—H(XIY)-H(YIZ)+H(Y\XZ) =H(X)~H(XIY)-H(YIZ)+H(XYZ)-H(XZ) =H(XYZ)-H(XIY)-H(YIZ)-H(ZIX) 而等式右边二H(XYZ)—H(X)—H(Y)—H(Z) +H(X)-H(XIY)+H(Y)-H(YIZ)+H(Z)-H(ZIX)=H(XYZ)-H(XIY)-H(YIZ)-H(ZIX) 故左式=右式,原式成立 [例4]令X为掷钱币直至其正面第一次朝上所需的次数,求H(X) P(X=n)==(|)n H(X)=-f|(|)n_1iog(|)n=工ng)"1=2bit [例5]—个无记忆信源有四种符号0,1,2, 3o已知P(0)=l,p(l)=l,p (2)=l,p(3)=|o试求由6000个符号构成的消息所含的信息量。 解: 先计算一个符号所含的平均自信息量,即信源爛H 3 H=-^p(0iogP(0=1.9056bit i=O 无记忆信源由6000个符号构成的符号序列 消息H(X6000)=6000H(X)=11434bit [例6]发出二重符号序列消息的信源嫡为H(Xh,而一阶马尔可夫信源的信源爛为H(X|X),试比较这两者的大小,并说明原因。 解: 根据公式H(xy)=H(x)+H(Y|x),当Y和X为同一集合时,有H(XX)二H(X? )二H(X)+H(X|X),各种爛和条件爛均为非负值,当且仅当X中只含有一个确定性事件时才出现H(X)=0o当X中含有二个或二个以上事件时,有H(X)>0,及H(^)>0,H(X/X)>0,因为H (X)>0所以HCO>H(X/X)说明,在一般情况下,发二重符号序列的信源的信源爛H(^)大于一阶马尔可夫过程的信源炳H(X/X) [例7]有一个马尔可夫信源,己知血個)二為p(x2\xi)=j,P(和2)T,”(兀2卜2)=0,试画出该 信源的概率转移图,并求岀信源燔。 解: 该信源的概率转移图为: 在计算信源燔之前,先用转移概率求稳定状 态下二个状态X1和X2的概率卩(“)和卩(勺)立方程: P(兀1)=卩(兀]卜1)P(K)+P(K|x2)p(x2) =! /? (%,)+/? (x2) pg)="(对坷)P(K)+P(兀2卜1)P(E)=|p(x1)+0/? (x2) /? (^)+p(x2)=l 得P(X1)—IP(X2)=I 马尔可夫信源燔h=-! >a)l>gk)iogp(®k)Ij 得H=0.689bit/符号
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 习题 分析