信息论与编码曹雪虹课后习题答案Word下载.docx

信息论与编码曹雪虹课后习题答案Word下载.docx

《信息论与编码曹雪虹课后习题答案Word下载.docx》由会员分享，可在线阅读，更多相关《信息论与编码曹雪虹课后习题答案Word下载.docx（143页珍藏版）》请在冰豆网上搜索。

WPW

1W1

2W3W2

25

由

计算可得

9

W1W2W3

得2

2W2

W3

6

2.2由符号集{0，1}组成的二阶马尔可夫链，其转移

概率为：

p（0|00）=0.8，p（0|11）=0.2，p（1|00）=0.2，p（1|11）=0.8，p（0|01）=0.5，p（0|10）=0.5，p（1|01）=0.5，p（1|10）=0.5。

画出

状态图，并计算各状态的稳态概率。

p（0|00）p（00|00）0.8

p（0|01）p（10|01）0.5

p（0|11）

p（10|11）

0.2

p（0|10）

p（00|10）

0.5

p（1|00）

p（01|00）

p（1|01）

p（11|01）

p（1|11）

p（11|11）

0.8

p（1|10）

p（01|10）

0.80.200

于是可以列出转移概率矩阵：

p000.50.5

0.50.500

000.20.8

状态图为：

00

01

0.50.5

10110.8

设各状态00，01，10，11的稳态分布概率为

W1,W2,W3,W4有

5

0.8W1

0.5W3

14

0.2W1

计算得到

4

得0.5W2

0.2W4

7

Wi1

0.5W2

0.8W4

W4

i1

W1W2

2.3同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：

（1）“3和5同时出现”这事件的自信息；

（2）“两个1同时出现”这事件的自信息；

（3）两个点数的各种组合（无序）对的熵和平均信息

量；

（4）两个点数之和（即2,3,,,12构成的子集）

的熵；

（5）两个点数中至少有一个是1的自信息量。

（1）

p（xi）

18

I（xi）

logp（xi

）

log

4.170bit

（2）

36

5.170bit

（3）

两个点数的排列如下：

111213141516

212223242526

313233343536

414243444546

515253545556

616263646566

共有21种组合：

其中11，22，33，44，55，66的概率是1

其他15个组合的概率是2

H（X）p（xi）logp（xi）

1log

15

4.337

bit/symbol

i

（4）

参考上面的两个点数的排列，可以得出两个点数求和

的概率分布如下：

X

8

11

12

P（X）

H（X）

p（xi）logp（xi

1log1

21log1

5log

3.274bit/symbol

（5）

logp（xi）

log11

1.710bit

2-4

2.5居住某地区的女孩子有25%是大学生，在女大学

生中有75%是身高160厘米以上的，而女孩子中身高

160厘米以上的占总数的一半。

假如我们得知“身高

160厘米以上的某女孩是大学生”的消息，问获得多少信息量？

设随机变量X代表女孩子学历

Xx（1是大学生）x2（不是大学生）

P（X）

0.25

0.75

设随机变量Y代表女孩子身高

Yy1（身y2（身高

高>

160cm）<

160cm）

P（Y）

已知：

在女大学生中有75%是身高160厘米以上的

即：

p（y1/x1）0.75bit

求：

身高160厘米以上的某女孩是大学生的信息量

I（x1/y1）

logp（x1/y1）

logp（x1）p（y1/x1）

log0.250.75

1.415bit

p（y1）

2.6掷两颗骰子，当其向上的面的小圆点之和是3时，

该消息包含的信息量是多少？

当小圆点之和是

7时，

该消息所包含的信息量又是多少？

1）因圆点之和为3的概率p（x）

p（1,2）p（2,1）

该消息自信息量I（x）

logp（x）log184.170bit

2）因圆点之和为7的概率

p（x）p（1,6）p（6,1）p（2,5）

p（5,2）p（3,4）

p（4,3）

logp（x）log6

2.585bit

2.7设有一离散无记忆信源，其概率空间为

x0

x1

x2

x3

P

3/8

1/4

1/8

（1）求每个符号的自信息量

（2）信源发出一消息符号序列为{202120130

213001203210110321010021032

011223210}，求该序列的自信息量和平均每个符号携带的信息量

I（x1）log2

log2

1.415bit

p（x1）3

同理可以求得I（x

）2bit,I（x）

2bit,I（x）3bit

因为信源无记忆，所以此消息序列的信息量就等于该

序列中各个符号的信息量之和

就有：

I14I（x1）13I（x2）12I（x3）6I（x4）87.81bit

平均每个符号携带的信息量为87.811.95bit/符号

45

2.8试问四进制、八进制脉冲所含信息量是二进制脉

冲的多少倍？

四进制脉冲可以表示4个不同的消息，例如：

{0,1,2,

3}

八进制脉冲可以表示8个不同的消息，例如：

3,4,5,6,7}

二进制脉冲可以表示2个不同的消息，例如：

{0,1}假设每个消息的发出都是等概率的，则：

四进制脉冲的平均信息量

八进制脉冲的平均信息量

二进制脉冲的平均信息量

H（X1）

logn

log4

2bit/symbol

H（X2）

log8

3bit/symbol

H（X0）

1bit/symbol

所以：

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2-9“－”用三个脉冲“●”用一个脉冲

（1）I（

●）=Log（4）

2I（－）＝Log

0.415

（2）H=

Log（4）Log

0.811

2-10

（2）P（黑/黑）=P（白/黑）=

H（Y/黑）=

（3）P（黑/白）=P（白/白）=

H（Y/白）=

（4）P（黑）=P（白）=H（Y）=

2.11有一个可以旋转的圆盘，盘面上被均匀的分成

38份，用1，,，38的数字标示，其中有两份涂绿色，

18份涂红色，18份涂黑色，圆盘停转后，盘面上的指

针指向某一数字和颜色。

（1）如果仅对颜色感兴趣，则计算平均不确定度

（2）如果仅对颜色和数字感兴趣，则计算平均不确定

度

（3）如果颜色已知时，则计算条件熵

解：

令X表示指针指向某一数字，则

X={1,2,,,,

.,38}

Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色}

Y

是X的函数，由题意可知

p（xy）

p（x）

ij

1j

2log38

18log38

1.24bit/

符号

（1）H（Y）

p（yj）log

j1

p（y）

38

（2）H（X,Y）

log238

5.25bit/

（3）H（X|Y）

H（X,Y）

H（Y）

H（Y）

5.25

1.24

4.01bit/

符

号

2.12

两个实验X和Y，X={x

x

},Y={y

y

y},l

联合概率rx,y

j

r

为

ij

r11

r12

r13

7/24

1/24

r21

r22

r23

1/4

r31

r32

r33

（1）如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？

（2）如果有人告诉你Y的实验结果，你得到的平均信息量是多少？

（3）在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？

联合概率p（xi,yj）为

y1y2y3

H（X,Y）

p（xi,yj）log

p（xi,yj）

7log2

24

1log224

1log24

7/241/24

1/24

1/4

=2.3bit/

1/247/24

X概率分布

x1

x2

x3

H（Y）3

1log23

1.58bit/

8/24

H（X|Y）

H（Y）2.3

1.58

概

率

分

布

是

=0.72bit/符号

y1

y2

y3

2.13有两个二元随机变量X和Y，它们的联合概率为

x1=0x2=1

y1=0

1/8

3/8

y2=1

并定义另一随机变量

Z=XY（一般乘积），试计算：

H（X）

H（Y）,H（Z）,H（XZ）,H（YZ）

和

；

H（XYZ）

（2）H（X/Y）,H（Y/X）,H（X/Z）,H（Z/X）,H（Y/Z）,

H（Z/Y）,H（X/YZ）,H（Y/XZ）和H（Z/XY）；

（3）I（X;

Y）,I（X;

Z）,I（Y;

Z）,I（X;

Y/Z）,I（Y;

Z/X）

和I（X;

Z/Y）。

p（x1）p（x1y1）p（x1y2）

p（x2）

p（x2y1）p（x2y2）

p（xi）logp（xi）

p（y1）p（x1y1）p（x2y1）

p（y2）p（x1y2）p（x2y2）

p（yj）logp（yj）

Z=XY的概率分布如下：

Z

z1

z21

P（Z）

7log7

1log1

H（Z）

p（zk）

0.544bit/symbol

k

p（x1）

p（x1z1）

p（x1z2）

p（x1z2）

p（x1z1）p（x1）0.5

p（z1）p（x1z1）p（x2z1）

p（x2z1）

p（z1）

p（x1z1）

p（z2）

p（x2z2）

p（x2z2）

H（XZ）

p（xizk）logp（xizk）

3log3

1.406bit/symbol

ik

88

p（y1）p（y1z1）p（y1z2）

p（y1z2）

p（y1z1）p（y1）0.5

p（z1）p（y1z1）p（y2z1）

p（y2z1）p（z1）p（y1z1）

70.5

p（z2）p（y1z2）p（y2z2）

p（y2z2）

p（z2）

H（YZ）

p（yjzk）logp（yjzk）

jk

p（x1y1z2）

p（x1y2z2）

p（x2y1z2）

p（x1y1z1）p（x1y1z2）p（x1y1）

p（x1y1z1）

p（x1y1）

1/8

p（x1y2z1）p（x1y1z1）p（x1z1）

p（x1y2z1）

p（x1z1）

p（x1y1z1）

p（x2y1z1）p（x2y1z2）p（x2y1）

p（x2y1z1）

p（x2y1）

p（x2y2z1）

p（x2y2z1）p（x2y2z2）p（x2y2）

p（x2y2z2）

p（x2y2）

H（XYZ）

p（xiyjzk）log2

p（xiyjzk）

jk

1.811bit/symbol

H（XY）

p（xi

yj）log2p（xiy