概率论习题Word格式.docx
- 文档编号:13882383
- 上传时间:2022-10-14
- 格式:DOCX
- 页数:27
- 大小:213.12KB
概率论习题Word格式.docx
《概率论习题Word格式.docx》由会员分享,可在线阅读,更多相关《概率论习题Word格式.docx(27页珍藏版)》请在冰豆网上搜索。
p(x2y1)=p(x2)p(y1|x2)=1/2×
p(x2y2)=p(x2)p(y2|x2)=1/2×
(2)由p(yj)=∑i=1np(xiyj),得到Y集合消息概率:
p(y1)=∑i=12p(xiy1)=p(x1y1)+p(x2y1)=0.375+0.125=0.5
p(y2)=∑i=12p(xiy2)=1-p(y1)=1-0.5=0.5
(3)由p(xi|yj)=p(xiyj)/p(yi),求出X的各后验概率:
p(x1|y1)=p(x1y1)/p(y1)=0.375/0.5=0.75
p(x2|y1)=p(x2y1)/p(y1)=0.125/0.5=0.25
p(x1|y2)=p(x1y2)/p(y2)=0.125/0.5=0.25
p(x2|y2)=p(x2y2)/p(y2)=0.375/0.5=0.75
(4)H(X)=∑i=12p(xi)LOG2P(xi)=-
H(Y)=∑i=12p(yi)LOG2P(yi)=-
H(XY)=∑i=12∑j=12p(xiyj)LOG2P(xiyj)
=-2×
(5)平均互信息:
I(X;
Y)=H(X)+H(Y)-H(XY)=1+1-1=1比特/符号
(6)疑义度:
H(X|Y)=∑i=12∑j=12p(xiyj)LOG2P(xi|yj)
=-2×
=2-3/4log3=2-0.93875=1.0615比特/符号
(7)噪声熵:
H(Y|X)=∑i=12∑j=12p(xiyj)LOG2P(yj|xi)
3、同时扔两个正常的骰子,也就是各面呈现的概率都是1/6,求:
(1)“3和5同时出现”这事件的自信息量;
(2)“两个1同时出现”这事件的自信息量;
(3)两个点数的各种组合(无序对)的熵或平均自信息量;
(4)两个点数之和(即2、3、…12构成的子集)的熵;
(5)两个点数中至少有一个是1的自信息。
(LOG23≈1.585LOG25≈2.3236LOG211≈3.46)
根据题意,同时扔两个正常的骰子,可能呈现的状态数有36种,因为两骰子是独立的,又各面呈现的概率都是1/6,所以36种中的任一状态出现的概率相等,为1/36。
(1)设“3和5同时出现”这事件为A。
在这36种状态中,3和5同时出现有两种情况即3、5和5、3。
所以
得 I(A)=-LOGP(A)=LOG218≈4.17比特
(2)设“两个1同时出现”这事件为B。
在这36种状态中,两个1同时出现只有一种情况。
得 I(B)=-LOGP(B)=LOG236≈5.17比特
(3)设两个点数的各种组合(无序对)构成信源X,这信源X的符号集A(样本集)就是这36种状态,所以A={x1,x2,…x36},并且其为等概率分布。
得
所以 H(X)=LOG236≈5.17比特/符号(比特/状态)
(4)设两个点数之和构成信源Z,它是由两个骰子的点数之和组合,
即Z=X+Y(一般加法)而
所以得
满足
这是因为z=2是由x=1加y=1一种状态得到;
z=3是由x=1加y=2和x=2加y=1两种状态得到;
z=4是由x=1加y=3、x=2加y=2、x=3加y=1三种状态得到;
其它类似。
由于X与Y统计独立,可得
Pz(z)=
P(x)P(y)=
P(x)P(y)z=x+y
所以得
H(Z)=-
P(z)LOGP(z)
=log236-[4/36log22+6/36log23+8/36log24
+10/36log25+6/36log26]
=log236-[26/36+12/36log23+10/36log25]
≈5.17-1.896=3.274 比特
(5)在这36种状态中两个点数中至少有一个数是1的状态共有11种,每种状态是独立出现的,每种状态出现的概率是1/36。
现设两个点数中至少有一个数是1的事件为C事件,则得
P(C)=11/36
所以得 I(C)=-LOGP(C)=-LOG211/36≈1.71 比特
4、某校入学考试中有1/4考生被录取,3/4考生未被录取。
被录取的考生中有50%来自本市,而落榜考生中有10%来自本市。
所有本市的考生都学过英语。
而外地落榜考生以及被录取的外地考生中都有40%学过英语。
(1)当已知考生来自本市时,给出多少关于考生是否被录取的信息;
(2)当已知考生学过英语时,给出多少有关考生是否被录取的信息;
(3)以x表示是否落榜,y表示是否为本市学生,z表示是否学过英语,试求H(X)、H(Y/X)、H(Z/XY)。
设X表示是否落榜,其值为{a1=被录取,a2=落榜};
Y表示是否为本市学生,其值为{b1=本市,b2=外地};
Z表示是否学过英语,其值为{c1=学过,c2=没学过}。
根据题意,P(a1)=1/4,P(a2)=3/4
P(b1/a1)=0.5,P(b1/a2)=0.1
P(b2/a1)=0.5,P(b2/a2)=0.9
P(c1/b1)=1,P(c1/a2b2)=0.4,P(c1/a1b2)=0.4
P(c2/b1)=0,P(c2/a2b2)=0.6,P(c2/a1b2)=0.6
可计算得
P(b1)=
P(b2)=
P(a1/b2)=
P(a2/b2)=
P(c1/b2)=
P(c2/b2)=
P(c1)=
P(c2)=
(1)当考生来自本市,已被录取的概率为
P(a1/b1)=
当考生来自本市,未被录取的概率为
P(a2/b1)=
(=1-P(a1/b1))
当已知考生来自本市,给出关于考生是否被录取的信息为
H(X/b1)=
=-5/8log25/8-3/8log23/8≈0.954 比特
(2)当已知考生学过英语,被录取的概率为
P(a1/c1)=
其中 P(c1/a1)=
因为本市的考生都学过英语,所以
P(c1/a1b1)=1,P(c1/a2b1)=1
P(c2/a1b1)=0,P(c2/a2b1)=0
得 P(c1/a1)
P(a1/c1)
同理 P(c1/a2)
P(a2/c1)
则当已知考生学过英语,给出关于考生是否被录取的信息为
H(X/c1)=
=-35/104log235/104-69/104log269/104≈0.921 比特
(3)H(X)=
=0.811比特/符号
H(Y/X)=
=
≈0.602 比特/符号
H(Z/XY)=
=
≈0.777 比特/符号
5、A ensembleXhasthenon-negativeintegersasitssamplespace.FindtheprobabilityassignmentPX(n),n=0,1,2,…,thatmaximizesH(X)subjecttotheconstraintthatthemeanvalueofX.(n=0,∞)
isafixedvalueA.EvaluatetheresultingH(X).
根据题意,我们要求最大化H(X),它要满足的条件是
⑴
⑵
0≤PX(n)≤1⑶
先不考虑条件⑶,采用拉格郎日法来求极大(因为离散信源熵的极大存在)。
得
令
其满足
即
即
根据
和
,则有
得
,
因此使H(X)达到极大时的概率分布为
PX(n)=
n=0,1,…
因为A≥0,PX(n)显然满足(3),即 0≤PX(n)≤1。
这时
H(X)=-
=-
=(1+A)log(1+A)-AlogA
6、设有一单符号离散信源
(1)对该信源编二进制费诺(Fano)码;
(2)计算其信息熵、平均码长、信息率、编码效率。
(1)费诺(Fano)码编码过程如下表所示。
信息符号
概率
编码
码字
码长
x1
0.25
00
2
X2
1
01
2
X3
0.125
100
3
X4
101
X5
0.0625
1100
4
X6
1101
X7
1110
X8
1111
(2)信息熵 H(X)=
=2.75
平均码长
=0.25×
2×
2+0.125×
3+0.0625×
4×
4=2.75
信息率 由于是对单符号信源编二进制码,所以符号个数L=1,进制m=2因此信息率 R=
编码效率
7、已知一个信源包含八个符号消息,它们的概率分布如下表,
A
B
C
D
E
F
G
H
0.1
0.18
0.4
0.05
0.06
0.07
0.04
1该信源每秒钟内发出一个符号,求该信源的熵及信息传输速率。
2对八个符号作二进制码元的霍夫曼编码,写出各代码组,并求出编码效率。
3对八个符号作三进制码元的霍夫曼编码,写出各代码组,并求出编码效率。
(1)H(X)=-∑p(x)logp(x)=2.552bits/符号。
由于每秒中只有一个符号,所以传输速率R=H=2.552bits/S
(2)各符号对应的码组如下:
A―100;
B―110;
C―0;
D―11101;
E-1010;
F-1111;
G-1011;
H-11100。
1
0.6(AGE、BDHF)1
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 概率论 习题