概率论习题DOCWord格式.docx
- 文档编号:16479602
- 上传时间:2022-11-24
- 格式:DOCX
- 页数:26
- 大小:353.75KB
概率论习题DOCWord格式.docx
《概率论习题DOCWord格式.docx》由会员分享,可在线阅读,更多相关《概率论习题DOCWord格式.docx(26页珍藏版)》请在冰豆网上搜索。
0.375LOG20.75-2×
0.125LOG20.25
=2-3/4log3=2-0.93875=1.0615比特/符号
(7)噪声熵:
H(Y|X)=∑i=12∑j=12p(xiyj)LOG2P(yj|xi)
3、同时扔两个正常的骰子,也就是各面呈现的概率都是1/6,求:
(1)“3和5同时出现”这事件的自信息量;
(2)“两个1同时出现”这事件的自信息量;
(3)两个点数的各种组合(无序对)的熵或平均自信息量;
(4)两个点数之和(即2、3、…12构成的子集)的熵;
(5)两个点数中至少有一个是1的自信息。
(LOG23≈1.585LOG25≈2.3236LOG211≈3.46)
根据题意,同时扔两个正常的骰子,可能呈现的状态数有36种,因为两骰子是独立的,又各面呈现的概率都是1/6,所以36种中的任一状态出现的概率相等,为1/36。
(1)设“3和5同时出现”这事件为A。
在这36种状态中,3和5同时出现有两种情况即3、5和5、3。
所以
得 I(A)=-LOGP(A)=LOG218≈4.17比特
(2)设“两个1同时出现”这事件为B。
在这36种状态中,两个1同时出现只有一种情况。
得 I(B)=-LOGP(B)=LOG236≈5.17比特
(3)设两个点数的各种组合(无序对)构成信源X,这信源X的符号集A(样本集)就是这36种状态,所以A={x1,x2,…x36},并且其为等概率分布。
得
所以 H(X)=LOG236≈5.17比特/符号(比特/状态)
(4)设两个点数之和构成信源Z,它是由两个骰子的点数之和组合,
即Z=X+Y(一般加法)而
所以得
满足
这是因为z=2是由x=1加y=1一种状态得到;
z=3是由x=1加y=2和x=2加y=1两种状态得到;
z=4是由x=1加y=3、x=2加y=2、x=3加y=1三种状态得到;
其它类似。
由于X与Y统计独立,可得
Pz(z)=
P(x)P(y)=
P(x)P(y)z=x+y
所以得
H(Z)=-
P(z)LOGP(z)
=log236-[4/36log22+6/36log23+8/36log24
+10/36log25+6/36log26]
=log236-[26/36+12/36log23+10/36log25]
≈5.17-1.896=3.274 比特
(5)在这36种状态中两个点数中至少有一个数是1的状态共有11种,每种状态是独立出现的,每种状态出现的概率是1/36。
现设两个点数中至少有一个数是1的事件为C事件,则得
P(C)=11/36
所以得 I(C)=-LOGP(C)=-LOG211/36≈1.71 比特
4、某校入学考试中有1/4考生被录取,3/4考生未被录取。
被录取的考生中有50%来自本市,而落榜考生中有10%来自本市。
所有本市的考生都学过英语。
而外地落榜考生以及被录取的外地考生中都有40%学过英语。
(1)当已知考生来自本市时,给出多少关于考生是否被录取的信息;
(2)当已知考生学过英语时,给出多少有关考生是否被录取的信息;
(3)以x表示是否落榜,y表示是否为本市学生,z表示是否学过英语,试求H(X)、H(Y/X)、H(Z/XY)。
设X表示是否落榜,其值为{a1=被录取,a2=落榜};
Y表示是否为本市学生,其值为{b1=本市,b2=外地};
Z表示是否学过英语,其值为{c1=学过,c2=没学过}。
根据题意,P(a1)=1/4,P(a2)=3/4
P(b1/a1)=0.5,P(b1/a2)=0.1
P(b2/a1)=0.5,P(b2/a2)=0.9
P(c1/b1)=1,P(c1/a2b2)=0.4,P(c1/a1b2)=0.4
P(c2/b1)=0,P(c2/a2b2)=0.6,P(c2/a1b2)=0.6
可计算得
P(b1)=
P(b2)=
P(a1/b2)=
P(a2/b2)=
P(c1/b2)=
P(c2/b2)=
P(c1)=
P(c2)=
(1)当考生来自本市,已被录取的概率为
P(a1/b1)=
当考生来自本市,未被录取的概率为
P(a2/b1)=
(=1-P(a1/b1))
当已知考生来自本市,给出关于考生是否被录取的信息为
H(X/b1)=
=-5/8log25/8-3/8log23/8≈0.954 比特
(2)当已知考生学过英语,被录取的概率为
P(a1/c1)=
其中 P(c1/a1)=
因为本市的考生都学过英语,所以
P(c1/a1b1)=1,P(c1/a2b1)=1
P(c2/a1b1)=0,P(c2/a2b1)=0
得 P(c1/a1)
P(a1/c1)
同理 P(c1/a2)
P(a2/c1)
则当已知考生学过英语,给出关于考生是否被录取的信息为
H(X/c1)=
=-35/104log235/104-69/104log269/104≈0.921 比特
(3)H(X)=
=0.811比特/符号
H(Y/X)=
=
≈0.602 比特/符号
H(Z/XY)=
=
≈0.777 比特/符号
5、A ensembleXhasthenon-negativeintegersasitssamplespace.FindtheprobabilityassignmentPX(n),n=0,1,2,…,thatmaximizesH(X)subjecttotheconstraintthatthemeanvalueofX.(n=0,∞)
isafixedvalueA.EvaluatetheresultingH(X).
根据题意,我们要求最大化H(X),它要满足的条件是
⑴
⑵
0≤PX(n)≤1⑶
先不考虑条件⑶,采用拉格郎日法来求极大(因为离散信源熵的极大存在)。
得
令
其满足
即
即
根据
和
,则有
得
,
因此使H(X)达到极大时的概率分布为
PX(n)=
n=0,1,…
因为A≥0,PX(n)显然满足(3),即 0≤PX(n)≤1。
这时
H(X)=-
=-
=(1+A)log(1+A)-AlogA
6、设有一单符号离散信源
(1)对该信源编二进制费诺(Fano)码;
(2)计算其信息熵、平均码长、信息率、编码效率。
(1)费诺(Fano)码编码过程如下表所示。
信息符号
概率
编码
码字
码长
x1
0.25
00
2
X2
1
01
2
X3
0.125
100
3
X4
101
X5
0.0625
1100
4
X6
1101
X7
1110
X8
1111
(2)信息熵 H(X)=
=2.75
平均码长
=0.25×
2×
2+0.125×
3+0.0625×
4×
4=2.75
信息率 由于是对单符号信源编二进制码,所以符号个数L=1,进制m=2因此信息率 R=
编码效率
7、已知一个信源包含八个符号消息,它们的概率分布如下表,
A
B
C
D
E
F
G
H
0.1
0.18
0.4
0.05
0.06
0.07
0.04
1该信源每秒钟内发出一个符号,求该信源的熵及信息传输速率。
2对八个符号作二进制码元的霍夫曼编码,写出各代码组,并求出编码效率。
3对八个符号作三进制码元的霍夫曼编码,写出各代码组,并求出编码效率。
(1)H(X)=-∑p(x)logp(x)=2.552bits/符号。
由于每秒中只有一个符号,所以传输速率R=H=2.552bits/S
(2)各符号对应的码组如下:
A―100;
B―110;
C―0;
D―11101;
E-1010;
F-1111;
G-1011;
H-11100。
1
0.6(AGE、BDHF)1
C0.4000
0.37(B、DHF)1
0.23(A、GE)0
0.19(DH、F)1
B0.180110
0.13(GE)1
A0.10100
F0.111111
0.09(DH)0
G0.0711011
E0.0601010
D0.05111101
H0.04011100
平均码长N=∑PiNi=0.4*1+0.28*3+0.23*4+0.09*5=2.61
编码效率η=H(X)/R=H(X)/((N/L)*log2)
=H(X)/N
=2.55/2.61=97.79%
(3)各符号对应的码组如下:
A―11;
B―12;
C―2;
D―022;
E-00;
F-10;
G-01;
H-021。
C0.4022
0.38(BAF)1
0.22(DH、GE)0
B0.18212
A0.1111
F0.1010
0.09(DH)2
G0.07101
E0.06000
D0.052022
H0.041021
平均码长N=∑PiNi=1*0.4+2*0.51+3*0.09=1.69
编码效率η=H(X)/R
=H(X)/((N/L)log3)=2.55/((1.69/1)*1.585)
=2.55/2.68
=95.28%
8、设具有归并性能的无噪信道的
信道矩阵P=
,求其信道容量及达到信道容量时信源的概率分布p(xi)。
根据题意,x1、 x2对应y1,x3、 x4对应y2,x5对应y3,也就是某一个xi,对应的yj完全确定;
但已经收到某一个yj,对应的xi不完全确定。
所以信道的噪声熵H(Y/X)=0,但信道的疑义度H(X/Y)≠0。
相应的信道信量为
C=
C=log23=1.585(比特/信道符号)
由信道矩阵有
P(y1)=P(x1)×
1+P(x2)×
P(y2)=P(x3)×
1+P(x4)×
1
(1)
P(y3)=P(x5)×
只要P(y1)=P(y2)=P(y3)=1/3,H(Y)达到最大,即达到信道信量C。
此时{P(xi),i=1,2,3,4,5}存在,但不唯一。
如
(1)、P(x1)=P(x2)=P(x3)=P(x4)=1/6P(x5)=1/3。
(2)、P(x1)=P(x3)=1/12P(x2)=P(x4)=1/4P(x5)=1/3。
均满足
(1)式,且P(y1)=P(y2)=P(y3)=1/3。
9、设二进制对称无记忆信道(BSC),信道矩阵为[P]=
,其中:
0<
p<
<
1,p+
=1。
(1)[P]代表的信道的信道容量C;
(2)[P3]代表的信道的信道容量C3。
(1)C=1+
log2
+plog2p=1-H(p)(记H(p)=-(
+plog2p))
(2)C3=3C
10、信道矩阵[P]=
,计算[P]代表的信道的信道容量。
提示:
利用如下公式
(1)
k=1,2,·
·
,s
(2)
根据题意,将信道矩阵[P]分成可排列的子矩阵
[P]1=
和 [P]2=
C=0.0612比特/信道符号
11、彩色电视显象管的屏幕上有5×
105个象元,设每个象元有64种彩色度,每种彩度又有16种不同的亮度层次,如果所有的彩色品种和亮度层次的组合均以等概率出现并且各个组合之间相互独立。
(1)计算每秒传送25帧图象所需要的信道容量;
(2)如果在加性高斯白噪声信道上信号与噪声平均功率的比值为63,为实时传送彩色电视的图象,信道的带宽应为多大?
(1)每种彩色度和亮度层次组合的概率P=1/(64×
16)。
每个彩色像元的自信息量I1=log21/P=10bits/每像元。
每帧彩色图像的信息量I2=10×
5×
105=5×
106bit/帧。
因为每秒有25帧图像,所以,所需的信道容量至少为
C=5×
106×
25=1.25×
108bits
(2)因为,S/N=63C=Wlog2(1+S/N)=6W
所以,W=C/6=1.25×
108/6Hz=20.9×
106Hz=20.9MHz
12、证明最小错误概率译码与最大似然译码在先验等概的条件下等价。
设M=2且两个消息等概,令
,
。
通过信道转移概率p<
1/2的信道传输。
若将译码区间分为
,
试给出译码错误概率和有错而不能判决的概率。
(24个4位0、1序列分为Y1、Y2、Y3)
令信道输入为xm时输出y的转移概率为PN(y|xm),则最小错误概率译码实际上为最大后验概率译码
其中
对于给定的y和所有的m,其w(y)必然相同,所以
就可化为:
,则当先验等概时Q(m)=Q(m’)上式进一步化为
,此即最大似然译码。
所以,当先验等概时,最小错误概率译码与最大似然译码是等价的。
因为M=2且输入等概,所以由题可知,当收到Y2区间中任一序列判为X1时应为错,同理,收到Y1区间中任一序列,判为X2也为错。
这样:
当收到的序列属于Y3时无法判定为X1或X2,但此时必然有错误发生。
所以,有错而不能判决的概率为:
13、设二元(7,4)线性分组码的生成矩阵为
,给出该码的一致校验矩阵并写出所有的伴随式和与之相对应的陪集首。
若接收矢量
,试计算出其对应的伴随式s并按照最小距离译码准则试着对其译码。
对于二元(n,k),n=7,k=4线性分组码,G=(Ik,P),H=(PT,In-k)该码的一致校验矩阵为
H=
因为二元(7,4)码的纠错范围是7个7位码中一位错,所以各陪集首和与之相对应的S如下:
(s=e•HT)
e=0000001――s=001e=0000010――s=101
e=0000100――s=100e=0001000――s=101
e=0010000――s=111e=0100000――s=011
e=1000000――s=110
当
时,s=v•HT=100,对照最小距离译码准则与s和e之间的关系表,可知,e=0000100。
所以v译码C=e+V=1011100
14、有一组码将二位信息位编成五位长的码字,其规则如下:
0000000
0101101
1010111
1111010
(1)证明此码是系统一致校验码;
(2)找出其生成矩阵和一致校验矩阵;
(3)对于无记忆二元对称信道(p<
),列出其最大似然译码的译码表;
(4)计算正确译码概率。
(1)设码字C=(c4c3c2c1c0),信息位为c4c3。
根据码字可得
可见,码字的后三位都是由前二位线性组合得到,而前二位又是与信息位一致。
因此,此码是(5,2)一致校验码。
(2)由码字(c2=c4+c3=[11]
等)可得生成矩阵、一致辞校验矩阵
(由此也可知此码是系统一致校验码)。
(3)列出下列最大似然译码表(S=e•HT)
伴随式S错误图样e
00000000
11110000
10101000
10000100
01000010
00100001
01110100(或00011)
11010001(或00110)
因为码的最小距离dmin=3,所以能纠正一位码元的错误。
(3)根据译码表及无记忆二元信道,所以正确译码概率
(错误图样e中1的个数向量α=(α0α1α2…α5)=(1,5,2,0,0))
=(1-p)5+5p(1-p)4+2p2(1-p)3
15、设一分组码具有一致校验矩阵
H=
(1)求这分组码n=?
k=?
,共有多少个码字?
(2)求此分组码的生成矩阵;
(3)矢量101010是否是码字?
(4)设发送码字c=(001111),但接收到的序列为r=(000010),其伴随式s是什么?
这伴随式指出已发生的错误在什么地方?
为什么与实际错误不同?
(1)设码字c=(c5c4c3c2c1c0),有
c•HT=0
故得
(1)
所以n=6,r=3,k=3,为(6,3)分组码。
码字共有2k=8个。
(2)由Gs=[Ik,Qk*r]Hs=[(Qk*r),Ir]得
Gs=
(3)这分组码的所有许用码字是(c=m•Gs)
000000101011011100111001
001111110110100101010011
可见101010不是码字
(4)因为s=r•HT
s=
=
伴随式s正好是H矩阵中第5列。
根据伴随式s就判断码字中发生了错误,则E’=(000010)。
但实际错误图样E为
c+e=r
e=r+c
e=(000010)+(001111)=(001101)
是码字传送中发生了三位码元错误。
因为此(6,3)码dmin=2De+1=3,得De=1,所以(6,3)码伴随式所判断的错误只能纠正一位码元发生错误的错误图样。
若此(6,3)码用于检测错误,也只能检测出二位码元发生错误。
因此,当传输过程中码字发生了三位以上码元的错误也就无法检测出来了。
16、Considertwoparitycheckcodes.CodeIisgeneratedbytherule
x1=u1x4=u1⊕u2
x2=u2x5=u1⊕u3
x3=u3x6=u2⊕u3
x7=u1⊕u2⊕u3
CodeIIisthesameexceptthatx6=u2.
(1)WritedownthegeneratormatrixandparitycheckmatrixforcodeI.
(2)WriteoutadecodingtableforcodeI,assumingaBSCwithcrossoverprobabilityε<
.
(3)GiveanexactexpressionfortheprobabilityofdecodingerrorforcodeIandforcodeII.Whichislarger?
(4)FinddminforcodeIandforcodeII.
(5)Giveacounterexampletotheconjecturethatifone(N,k)parity
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 概率论 习题 DOC