信息理论与编码参考答案docx.docx
- 文档编号:4360409
- 上传时间:2022-11-30
- 格式:DOCX
- 页数:50
- 大小:39.03KB
信息理论与编码参考答案docx.docx
《信息理论与编码参考答案docx.docx》由会员分享,可在线阅读,更多相关《信息理论与编码参考答案docx.docx(50页珍藏版)》请在冰豆网上搜索。
信息理论与编码参考答案docx
一副充分洗乱的牌(含52),:
(1)任一特定排列所出的不确定性是多少
(2)随机抽取13牌,13牌的点数互不相同的不确定性是多少
解:
(1)52扑克牌可以按不同的序排列,所有可能的不同排列数就是全排列种数,
P5252
52
8.066
1067
因扑克牌充分洗乱,
任一特定排列出的概率相等,
事件A任一特定排列,其生
概率
PA
1
1.24
1068
52
可得,排列生所出的信息量
IA
log2P
A
log252
225.58bit
67.91dit
(2)事件B从中抽取
13牌,所出的点数互不相同。
扑克牌52中抽取
13,不考排列序,共有
C5213
种可能的合。
13牌点数
互不相同意味着点数包括
A,2,⋯,K,而每一种点数有
4种不同的花色意味着每个点数可
以取4中花色。
所以
13牌中所有的点数都不相同的合数
413。
因每种合都是等
概率生的,所以
P
B
413
413
1339
1.0568104
C5213
52
生事件B所得到的信息量
IB
logPB
log
413
13.208bit
2C5213
3.976dit
在一只布袋中装有
100只人手的感完全相同的木球,
每只上涂有
1种色。
100
只球的色有下列三种情况:
(1)色球和白色球各50只;
(2)色球99只,白色球1只;
(3),黄,,白色各25只。
求从布袋中随意取出一只球,猜其色所需要的信息量。
解:
猜木球色所需要的信息量等于木球色的不确定性。
令
R——“取到的是球”,W——“取到的是白球”,
Y——“取到的是黄球”,B——“取到的是球”。
(1)若布袋中有色球和白色球各50只,即
PR
PW
50
1
100
2
1
IRI
W
log22
log221bit
(2)若布袋中色球99只,白色球1只,即
P
R
99
0.99
PW
1
0.01
100
100
则
I
R
log2P
R
log20.99
0.0145bit
I
W
log2PW
log20.01
6.644
bit
(3)若布袋中有红,黄,蓝,白色各
25只,即
PR
PY
PB
PW
25
1
100
4
则
1
I
R
I
Y
I
B
IW
log24
2bit
设信源为
X
x1
x2
x3
x4
x5
x6
PX
0.2
0.19
0.18
0.17
0.16
0.17
6
6
求
Pxilog2
P
xi,井解释为什么
P
xi
log2
P
xi
log26,不满足信源熵的
i
i
极值性。
6
解:
P
xi
log2
P
xi
i
0.2log20.2
0.19log20.190.18log20.18
0.17log20.17
0.16log20.160.17log20.17
2.657bit/symbol
6
i
P
xi
log2
P
xi
log2
6
2.585
6
不满足极值性的原因是
P
xi
1.07
1,不满足概率的完备性。
i
大量统计表明,男性红绿色盲的发病率为7%,女性发病率为%,如果你问一位男同志是否为红绿色盲,他回答“是”或“否”。
(1)这二个回答中各含多少信息量
(2)平均每个回答中含有多少信息量
(3)如果你问一位女同志,则答案中含有的平均信息量是多少
解:
对于男性,是红绿色盲的概率记作Pa17%,不是红绿色盲的概率记作
Pa293%,这两种情况各含的信息量为
I
a1
log2
1P
a1
log2
100
3.83bit
7
I
a2
log2
1P
a2
log2
100
0.105bit
93
平均每个回答中含有的信息量为
HAPa1I(a1)Pa2I(a2)
7
3.83
93
0.105
100
100
0.366bit/回答
对于女性,是红绿色盲的概率记作Pb1
0.5%,不是红绿色盲的记作
Pb299.5%,则平均每个回答中含有的信息量为
HB
Pb1I(b1)Pb2I(b2)
5
log2
1000
995
log2
1000
1000
5
1000
995
0.045
bit/
回答
H
A
H
B
联合熵和条件熵
任意三个离散随机变量
X、Y和Z,求证:
H(XYZ)H(XY)H(XZ)H(X)。
证明:
方法一:
要证明不等式HX,Y,ZHX,YHZ,XHX成立,等
价证明下式成立:
HX,Y,ZHX,YHX,ZHX0
根据熵函数的定义
HX,Y,ZHX,YHX,ZHX
p
xiyj
zk
logp
xiyjzk
p
xi
yj
zklogpxiyj
X
Y
Z
X
Y
Z
p
xi
yjzk
logp
xizk
p
xiyjzk
logpxi
X
Y
Z
X
Y
Z
p
xiyj
zk
p
xiyjzk
p
xi
log
pxizk
X
Y
Z
pxiyj
loge
p
x
y
z
p
xiyj
p
xizk
(信息论不等式)
1
X
Y
Z
i
jk
pxiyjzk
pxi
loge
p
xi
yj
pxizk
p
xiyjzk
p
xi
X
Y
Z
X
Y
Z
loge
p
yj
|xi
p
xizk
p
xi
yjzk
X
Y
Z
X
Y
Z
loge
1
1
0
所以
HX,Y,ZHX,YHX,ZHX
等号成立的条件为
p
xiyj
pxi
zk
p
xi
pxi
yjzk
得证
方法二:
因为
H(XYZ)H(XY)H(Z|XY)
H(XZ)H(X)H(Z|X)
所以,求证不等式等价于
H(Z|XY)H(Z|X)
因为条件多的熵不大于条件少的熵,上式成立,原式得证。
设随机变量X{x1,x2}{0,1}和Y{y1,y2}{0,1}的联合概率空间为
XY
(x1,y1)
(x1,y2)
(x2,y1)
(x2,y2)
PXY
18
38
38
18
定义一个新随机变量
Z
XY(普通乘积)。
(1)计算熵H(X)、H(Y)、H(Z)、H(XZ)、H(YZ)以及H(XYZ);
(2)计算条件熵H(X|Y)、H(Y|X)、H(X|Z)、H(Z|X)、H(Y|Z)、H(Z|Y)、
H(X|YZ)、H(Y|XZ)以及H(Z|XY);
(3)计算互信息量I(X;Y)、I(X;Z)、I(Y;Z)、I(X;Y|Z)、I(Y;Z|X)以及
I(X;Z|Y);
解
(1)px0
px0,y0
1
3
1
px0,y1
8
2
1
8
px
1
1
p
x
0
2
H
X
Pxi
logPxi1bit/symbol
i
py0
px0,y0
1
3
1
px1,y0
8
2
1
8
py
1
1
p
y
0
2
H
Y
p
yjlogp
yj
1bit/symbol
j
P(z
0)
P(xy
00)
P(xy
01)
P(xy
1
3
3
7
10)
8
8
8
7
1
8
P(z
1)
1
P(z
0)
1
8
8
可得Z
XY的概率空间如下
Z
z
0
z
1
7
1
P(Z)
8
8
2
7
7
1
1
H(Z)
p(zk)
log
log
)
0.544bit/symbol
K
8
8
8
8
由p(xz)
p(x)p(zx)得
p(x0,z
0)
p(x
0)p(z
0x
0)
1
1
1
2
2
p(x
0,z
1)
p(x
0)p(z
1x
0)
10
0
2
p(x
1,z
0)
p(x
1)p(z
0x
1)
p(x
1)p(y
0x
1)
p(x
1,y
3
0)
8
p(x
1,z
1)
p(x
1)p(z
1x
1)
p(x
1)p(y
1x
1)
p(x
1,y
1
1)
8
H(XZ)
p(xizk)
1
1
3
3
1
1
1.406bit/symbol
log
2
log
8
log
8
i
k
2
8
8
由对称性可得
H(YZ)
1.406bt/symbol
由p(xyz)
p(xy)p(zxy),又p(zxy)或者等于1,或者等于0.
p(x
0,y
0,z
0)
p(x
0,y
0)p(z
0x
0,y
0)
p(x
0,y
1
0)1
8
p(x
0,y
0,z
1)
p(x
0,y
0)p(z
1x
0,y
0)
1
0
0
8
p(x
0,y
1,z
0)
p(x
0,y
1)p(z
0x
0,y
1)
p(x
0,y
3
1)1
8
p(x
0,y
1,z
1)
p(x
0,y
1)p(z
1x
0,y
1)
3
0
0
8
p(x
1,y
0,z
0)
p(x
1,y
0)p(z
0x
1,y
0)
p(x
1,y
3
0)1
8
p(x
1,y
0,z
1)
p(x
1,y
0)p(z
1x
1,y
0)
3
0
0
8
p(x
1,y
1,z
0)
p(x
1,y
1)p(z
0x
1,y
1)
1
0
0
8
p(x
1,y
1,z
1)
p(x
1,y
1)p(z
1x
1,y
1)
p(x
1
1,y1)1
8
H(XYZ)
p(xiyjzk)
log2p(xi
yjzk)
i
j
k
1log1
3log3
3log3
1log1
1.811
bit/symbol
8
8
8
8
8
8
8
8
(2)
HXY
-
1log1
3log3
3log3
1log1
1.811bit/symbol
8
8
8
8
8
8
8
8
HX/Y=HXY-HY
1.811
1
0.811bit/symbol
根据对称性,
HY/X=HX|Y0.811bit/symbol
HX/Z=HXZ
HZ/X=HXZ
-H
Z
1.406
0.5440.862bit/symol
-H
X
1.406
10.406bit/symol
根据对称性,
HY/Z
=HX/Z
0.862bit/symbol
HZ/Y
=HZ/X
0.406bit/symol
HX/YZ
=HXYZ
-HYZ
1.811
1.406
0.405bit/symol
根据对称性,把
X和Y互换得
HY/XZ
=HX/YZ
0.405bit/symbol
HZ/XY
=HXYZ
-H
XY
1.811
1.811
0bit/symol
(3)
I
X;Y
H
X
H
X/Y
1
0.811
0.189bit/symbol
I
X;Z
H
X
H
X/Z
1
0.862
0.138bit/symbol
根据对称性,得
IY;Z
I
X;Z0.138bit/symbol
I
X;Y/Z
H
X/Z
H
X/YZ
0.862
0.405
0.457bit/symbol
I
Y;Z/X
H
Y/X
H
Y/XZ
0.811
0.405
0.406bit/symbol
根据对称性得
I
X;Z/Y
I
Y;Z/X
0.406bit/symbol
设信源发出二次扩展消息
xi
yi,其中第一个符号为A、B、C三种消息,第二个符号为
D、
E、F、G四种消息,概率
p(xi)
和
p(yi
xi)
如下:
p(xi)
A
B
C
1/2
1/3
1/6
D
1/4
3/10
1/6
p(yixi)
E
1/4
1/5
1/2
F
1/4
1/5
1/6
G
1/4
3/1
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息 理论 编码 参考答案 docx