信息论与编码曹雪虹课后习题答案.docx

信息论与编码曹雪虹课后习题答案.docx

《信息论与编码曹雪虹课后习题答案.docx》由会员分享，可在线阅读，更多相关《信息论与编码曹雪虹课后习题答案.docx（143页珍藏版）》请在冰豆网上搜索。

信息论与编码曹雪虹课后习题答案

《信息论与编码》-曹雪虹-课后习题答案

第二章

2.1一个马尔可夫信源有

3个符号u1,u2,u3

，转移概率

为：

pu

|u

1

1/2，p

u

|u

1/2，pu

|u

0，pu|u

2

1/3

，

1

2

1

3

1

1

pu2|u20

，

，

，

|u32/3

，

|u3

0

，

pu3|u22/3

pu1

|u31/3pu2

pu3

画出状态图并求出各符号稳态概率。

解：

状态图如下

1/2

1/2

u1u2

1/3

1/32/3

2/3状态转移矩阵为：

u3

1/2

1/2

0

p1/3

0

2/3

1/3

2/3

0

设状态u1，u2，u3稳定后的概率分别为W1，W2、W3

1

1

1

10

W1

W2

W3W1

2

3

3

W1

WPW

1W1

2W3W2

25

由

计算可得

9

W1W2W3

得2

3

W2

1

25

2W2

W3

6

3

W3

W1W2W3

1

25

2.2由符号集{0，1}组成的二阶马尔可夫链，其转移

概率为：

p（0|00）=0.8，p（0|11）=0.2，p（1|00）=0.2，p（1|11）=0.8，p（0|01）=0.5，p（0|10）=0.5，p（1|01）=0.5，p（1|10）=0.5。

画出

状态图，并计算各状态的稳态概率。

解：

p（0|00）p（00|00）0.8

p（0|01）p（10|01）0.5

p（0|11）

p（10|11）

0.2

p（0|10）

p（00|10）

0.5

p（1|00）

p（01|00）

0.2

p（1|01）

p（11|01）

0.5

p（1|11）

p（11|11）

0.8

p（1|10）

p（01|10）

0.5

0.80.200

于是可以列出转移概率矩阵：

p000.50.5

0.50.500

000.20.8

状态图为：

0.8

00

0.2

01

0.5

0.50.5

0.5

0.2

10110.8

设各状态00，01，10，11的稳态分布概率为

W1,W2,W3,W4有

5

W1

0.8W1

0.5W3

W1

14

WPW

0.2W1

0.5W3

W2

1

计算得到

W2

4

得0.5W2

0.2W4

W3

7

Wi1

0.5W2

0.8W4

W4

1

i1

W3

W1W2

W3

W4

1

7

5

W4

14

2.3同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：

（1）“3和5同时出现”这事件的自信息；

（2）“两个1同时出现”这事件的自信息；

（3）两个点数的各种组合（无序）对的熵和平均信息

量；

（4）两个点数之和（即2,3,,,12构成的子集）

的熵；

（5）两个点数中至少有一个是1的自信息量。

解：

（1）

p（xi）

1

1

1

1

1

6

6

6

6

18

I（xi）

logp（xi

）

log

1

4.170bit

18

（2）

p（xi）

1

1

1

6

6

36

I（xi）

logp（xi

）

log

1

5.170bit

36

（3）

两个点数的排列如下：

111213141516

212223242526

313233343536

414243444546

515253545556

616263646566

共有21种组合：

其中11，22，33，44，55，66的概率是1

1

1

6

6

36

其他15个组合的概率是2

1

1

1

6

6

18

H（X）p（xi）logp（xi）

6

1log

1

15

1log

1

4.337

bit/symbol

i

36

36

18

18

（4）

参考上面的两个点数的排列，可以得出两个点数求和

的概率分布如下：

X

2

3

4

5

6

7

8

9

10

11

12

P（X）

1

1

1

1

5

1

5

1

1

1

1

36

18

12

9

36

6

36

9

12

18

36

H（X）

p（xi）logp（xi

）

i

2

1log

1

2

1log1

2

1log1

21log1

2

5log

5

1log1

36

36

18

18

12

12

9

9

36

36

6

6

3.274bit/symbol

（5）

p（xi）

1

1

11

11

6

6

36

I（xi）

logp（xi）

log11

1.710bit

36

2-4

2.5居住某地区的女孩子有25%是大学生，在女大学

生中有75%是身高160厘米以上的，而女孩子中身高

160厘米以上的占总数的一半。

假如我们得知“身高

160厘米以上的某女孩是大学生”的消息，问获得多少信息量？

解：

设随机变量X代表女孩子学历

Xx（1是大学生）x2（不是大学生）

P（X）

0.25

0.75

设随机变量Y代表女孩子身高

Yy1（身y2（身高

高>160cm）<160cm）

P（Y）

0.5

0.5

已知：

在女大学生中有75%是身高160厘米以上的

即：

p（y1/x1）0.75bit

求：

身高160厘米以上的某女孩是大学生的信息量

即：

I（x1/y1）

logp（x1/y1）

logp（x1）p（y1/x1）

log0.250.75

1.415bit

p（y1）

0.5

2.6掷两颗骰子，当其向上的面的小圆点之和是3时，

该消息包含的信息量是多少？

当小圆点之和是

7时，

该消息所包含的信息量又是多少？

解：

1）因圆点之和为3的概率p（x）

1

p（1,2）p（2,1）

18

该消息自信息量I（x）

logp（x）log184.170bit

2）因圆点之和为7的概率

p（x）p（1,6）p（6,1）p（2,5）

p（5,2）p（3,4）

1

p（4,3）

6

该消息自信息量I（x）

logp（x）log6

2.585bit

2.7设有一离散无记忆信源，其概率空间为

X

x0

x1

x2

x3

1

2

3

4

P

3/8

1/4

1/4

1/8

（1）求每个符号的自信息量

（2）信源发出一消息符号序列为{202120130

213001203210110321010021032

011223210}，求该序列的自信息量和平均每个符号携带的信息量

解：

I（x1）log2

1

log2

8

1.415bit

p（x1）3

同理可以求得I（x

）2bit,I（x）

2bit,I（x）3bit

2

3

3

因为信源无记忆，所以此消息序列的信息量就等于该

序列中各个符号的信息量之和

就有：

I14I（x1）13I（x2）12I（x3）6I（x4）87.81bit

平均每个符号携带的信息量为87.811.95bit/符号

45

2.8试问四进制、八进制脉冲所含信息量是二进制脉

冲的多少倍？

解：

四进制脉冲可以表示4个不同的消息，例如：

{0,1,2,

3}

八进制脉冲可以表示8个不同的消息，例如：

{0,1,2,

3,4,5,6,7}

二进制脉冲可以表示2个不同的消息，例如：

{0,1}假设每个消息的发出都是等概率的，则：

四进制脉冲的平均信息量

八进制脉冲的平均信息量

二进制脉冲的平均信息量

H（X1）

logn

log4

2bit/symbol

H（X2）

logn

log8

3bit/symbol

H（X0）

logn

log2

1bit/symbol

所以：

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2-9“－”用三个脉冲“●”用一个脉冲

（1）I（

●）=Log（4）

2I（－）＝Log

4

0.415

3

（2）H=

1

3

4

4

4

3

Log（4）Log

0.811

2-10

（2）P（黑/黑）=P（白/黑）=

H（Y/黑）=

（3）P（黑/白）=P（白/白）=

H（Y/白）=

（4）P（黑）=P（白）=H（Y）=

2.11有一个可以旋转的圆盘，盘面上被均匀的分成

38份，用1，,，38的数字标示，其中有两份涂绿色，

18份涂红色，18份涂黑色，圆盘停转后，盘面上的指

针指向某一数字和颜色。

（1）如果仅对颜色感兴趣，则计算平均不确定度

（2）如果仅对颜色和数字感兴趣，则计算平均不确定

度

（3）如果颜色已知时，则计算条件熵

解：

令X表示指针指向某一数字，则

X={1,2,,,,

.,38}

Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色}

Y

是X的函数，由题意可知

p（xy）

p（x）

ij

i

3

1j

2log38

18log38

1.24bit/

符号

（1）H（Y）

p（yj）log

2

j1

p（y）

38

2

38

18

（2）H（X,Y）

H（X）

log238

5.25bit/

符号

（3）H（X|Y）

H（X,Y）

H（Y）

H（X）

H（Y）

5.25

1.24

4.01bit/

符

号

2.12

两个实验X和Y，X={x

1

x

x

},Y={y

1

y

2

y},l

2

3

3

联合概率rx,y

j

r

为

i

ij

r11

r12

r13

7/24

1/24

0

r21

r22

r23

1/24

1/4

1/24

r31

r32

r33

0

1/24

7/24

（1）如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？

（2）如果有人告诉你Y的实验结果，你得到的平均信息量是多少？

（3）在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？

解：

联合概率p（xi,yj）为

y1y2y3

Y

X

H（X,Y）

p（xi,yj）log

1

2

ij

p（xi,yj）

2

7log2

24

4

1log224

1log24

24

7

24

4

x1

7/241/24

0

符号

x2

1/24

1/4

=2.3bit/

1/24

x3

0

1/247/24

X概率分布

X

x1

x2

x3

H（Y）3

1log23

1.58bit/

符

3

P

8/24

8/24

8/24

号

H（X|Y）

H（X,Y）

H（Y）2.3

1.58

Y

概

率

分

布

是

=0.72bit/符号

Y

y1

y2

y3

P

8/24

8/24

8/24

2.13有两个二元随机变量X和Y，它们的联合概率为

Y

x1=0x2=1

X

y1=0

1/8

3/8

y2=1

3/8

1/8

并定义另一随机变量

Z=XY（一般乘积），试计算：

（1）

H（X）

H（Y）,H（Z）,H（XZ）,H（YZ）

和

；

H（XYZ）

（2）H（X/Y）,H（Y/X）,H（X/Z）,H（Z/X）,H（Y/Z）,

H（Z/Y）,H（X/YZ）,H（Y/XZ）和H（Z/XY）；

（3）I（X;Y）,I（X;Z）,I（Y;Z）,I（X;Y/Z）,I（Y;Z/X）

和I（X;Z/Y）。

解：

（1）

p（x1）p（x1y1）p（x1y2）

1

3

1

8

8

2

p（x2）

p（x2y1）p（x2y2）

3

1

1

8

8

2

H（X）

p（xi）logp（xi）

1bit/symbol

i

p（y1）p（x1y1）p（x2y1）

1

3

1

8

8

2

p（y2）p（x1y2）p（x2y2）

3

1

1

8

8

2

H（Y）

p（yj）logp（yj）

1bit/symbol

j

Z=XY的概率分布如下：

Z

z1

0

z21

7

1

P（Z）

8

8

2

7log7

1log1

H（Z）

p（zk）

0.544bit/symbol

k

8

8

8

8

p（x1）

p（x1z1）

p（x1z2）

p（x1z2）

0

p（x1z1）p（x1）0.5

p（z1）p（x1z1）p（x2z1）

p（x2z1）

p（z1）

p（x1z1）

7

3

0.5

8

8

p（z2）

p（x1z2）

p（x2z2）

p（x2z2）

p（z2）

1

8

H（XZ）

p（xizk）logp（xizk）

1log1

3log3

1log1

1.406bit/symbol

ik

2

2

8

8

88

p（y1）p（y1z1）p（y1z2）

p（y1z2）

0

p（y1z1）p（y1）0.5

p（z1）p（y1z1）p（y2z1）

p（y2z1）p（z1）p（y1z1）

70.5

3

8

8

p（z2）p（y1z2）p（y2z2）

p（y2z2）

1

p（z2）

8

H（YZ）

p（yjzk）logp（yjzk）

1log1

3log3

1log1

1.406bit/symbol

jk

2

2

8

8

8

8

p（x1y1z2）

0

p（x1y2z2）

0

p（x2y1z2）

0

p（x1y1z1）p（x1y1z2）p（x1y1）

p（x1y1z1）

p（x1y1）

1/8

p（x1y2z1）p（x1y1z1）p（x1z1）

p（x1y2z1）

p（x1z1）

p（x1y1z1）

1

1

3

2

8

8

p（x2y1z1）p（x2y1z2）p（x2y1）

p（x2y1z1）

p（x2y1）

3

8

p（x2y2z1）

0

p（x2y2z1）p（x2y2z2）p（x2y2）

p（x2y2z2）

p（x2y2）

1

8

H（XYZ）

p（xiyjzk）log2

p（xiyjzk）

i

jk

1log1

3log3

3log3

1log1

1.811bit/symbol

8

8

8

8

8

8

8

8

（2）

H（XY）

p（xi

yj）log2p（xiy