信息论与编码理论第二章习题答案王育民Word格式.docx

信息论与编码理论第二章习题答案王育民Word格式.docx

《信息论与编码理论第二章习题答案王育民Word格式.docx》由会员分享，可在线阅读，更多相关《信息论与编码理论第二章习题答案王育民Word格式.docx（9页珍藏版）》请在冰豆网上搜索。

出现各点数的概率和信息量：

1点：

1/21，log21≈4.39bit；

2点：

2/21，log21-1≈3.39bit；

3点：

1/7，log7≈2.81bit；

4点：

4/21，log21-2≈2.39bit；

5点：

5/21，log（21/5）≈2.07bit；

6点：

2/7，log（7/2）≈1.81bit

平均信息量：

（1/21）×

4.39+（2/21）×

3.39+（1/7）×

2.81+（4/21）×

2.39+（5/21）×

2.07+（2/7）×

1.81≈2.4bit

2.7解：

X=1:

考生被录取；

X=0:

考生未被录取；

Y=1:

考生来自本市；

Y=0:

考生来自外地；

Z=1:

考生学过英语；

Z=0：

考生未学过英语

P（X=1）=1/4,P（X=0）=3/4;

P（Y=1/X=1）=1/2；

P（Y=1/X=0）=1/10；

P（Z=1/Y=1）=1,P（Z=1/X=0,Y=0）=0.4,P（Z=1/X=1,Y=0）=0.4,P（Z=1/Y=0）=0.4

（a）P（X=0,Y=1）=P（Y=1/X=0）P（X=0）=0.075,P（X=1,Y=1）=P（Y=1/X=1）P（X=1）=0.125

P（Y=1）=P（X=0,Y=1）+P（X=1,Y=1）=0.2

P（X=0/Y=1）=P（X=0,Y=1）/P（Y=1）=0.375,P（X=1/Y=1）=P（X=1,Y=1）/P（Y=1）=0.625

I（X 

;

Y=1）=

P（X=1,Y=0,Z=1）=P（Z=1/X=1,Y=0）*P（X=1,Y=0）=0.4*（0.25-0.125）=0.05

P（X=1,Y=0,Z=0）=P（Z=0/X=1,Y=0）*P（X=1,Y=0）=0.6*0.125=0.075

P（X=1,Y=1,Z=1）=P（X=1,Z=1）-P（X=1,Y=0,Z=1）=0.175-0.05=0.125

P（X=1,Y=1,Z=0）=0

P（X=0,Y=1,Z=0）=0

P（X=0,Y=1,Z=1）=P（X=0,Z=1）-P（X=0,Y=0,Z=1）=0.345-0.27=0.075

H（XYZ）=-0.405*log0.405-0.27*log0.27-0.05*log0.05-0.075*log0.075-0.125*log0.125-0.075*log0.075=（113/100）+（31/20）log10-（129/50）log3=0.528+0.51+0.216+0.28+0.375+0.28=2.189bit

H（Z/XY）=H（XYZ）-H（XY）=-28/25+（4/5）log10-12/25log3=0.775bit

2.9解：

A，B，C分别表示三个筛子掷的点数。

X=A,Y=A+B,Z=A+B+C

由于P（A+B+C/A+B）=P（C/A+B）=P（C）

所以H（Z/Y）=H（A+B+C/A+B）=H（C）=log6=2.58bit

H（X/Y）=H（A/Y）

Y

组合数目

组合情况（A+B）

P（A=a/Y=y）

12

1

6+6

11

2

5+6,6+5

1/2

10

3

4+6,5+5,6+4

1/3

9

4

3+6,4+5,5+4,6+3

1/4

8

5

...

7

6

1+6,2+5,3+4,4+3,5+2,6+1

1/6

1+1

一共36种情况，每种情况的概率为1/36，即P（A=a,Y=y）=1/36

H（X/Y）=H（A/Y）=（1/36）[（-1*log1-2*log（1/2）-3*log（1/3）-4*log（1/4）-5*log（1/5））*2-6*log（1/6）]=1.89bit

由于P（A+B+C/A+B,A）=P（C/A+B,A）=P（C）

H（Z/XY）=H（C）=log6=2.58bit

由于P（A=x,A+B+C=z/A+B=y）=P（A=x,C=z-y/A+B=y）=P（A=x/A+B=y）P（C=z-y/A+B=y）=

P（A=x/A+B=y）P（C=z-y）=P（A/Y）P（C）

P（A/Y）上面已经给出。

组合情况（A+B+C）

P（A=x,A+B+C=z/A+B=y）

6+6+1,6+6+2,....,6+6+6

1/12

18

1/18

24

1/24

30

36

1/36

一共216种情况，每种情况的概率为1/216，即P（XYZ）=1/216

H（XZ/Y）=（1/216）[（-6*log（1/6）-12*log（1/12）-18*log（1/18）-24*log（1/24）-30*log（1/30））*2-36*log（1/36）]=

（1/36）*[（log6+2log12+3log18+4log24+5log30）*2+6log36]=4.48bit

由于P（Z/X）=P（B+C/A）=P（B+C）

B＋C的组合共36种:

B+C

组合情况（B+C）

P（Z/X）

2/36

3/36

4/36

5/36

=（1/36）*{[log36+2log（36/2）+3log（36/3）+4log（36/4）+5log（36/5）]*2+6log（36/6）}bit

2.11解：

P（0/0）=P（1/1）=1-p,P（1/0）=P（0/1）=p

（a）P（ul）=1/8

P（ul，0）=P（ul）×

P（0/ul）=（1/8）×

（1-p）

接收的第一个数字为0的概率：

P（0）=P（ul）×

P（0/ul）+P（u2）×

P（0/u2）+…….P（u8）×

P（0/u8）

=4×

（1/8）×

（1-p）+4×

p=1/2

I（ul;

0）=log[P（ul，0）/P（0）P（ul）]=1+log（1-p）

（b）P（ul，00）=P（ul）×

P（00/ul）=（1/8）×

（1-p）2

P（00）=P（ul）×

P（00/ul）+P（u2）×

P（00/u2）+…….P（u8）×

P（00/u8）

=2×

（1-p）2+4×

p（1-p）+2×

p2

=1/4

00）=log[P（ul，00）/P（00）P（ul）]=2+2log（1-p）

（c）P（ul，000）=P（ul）×

P（000/ul）=（1/8）×

（1-p）3

P（000）=P（ul）×

P（000/ul）+P（u2）×

P（000/u2）+…….P（u8）×

P（000/u8）

=（1/8）×

（1-p）3+3×

p（1-p）2+3×

p2（1-p）+（1/8）×

p3

=1/8

000）=log[P（ul，000）/P（000）P（ul）]=3+3log（1-p）

（d）P（ul，0000）=P（ul）×

P（0000/ul）=（1/8）×

（1-p）4

P（0000）=P（ul）×

P（0000/ul）+P（u2）×

P（0000/u2）+…….P（u8）×

P（0000/u8）

（1-p）4+6×

p2（1-p）2+（1/8）×

p4

I（ul;

0000）=log[P（ul，0000）/P（0000）P（ul）]=

2.12解：

Z

13

14

15

16

17

概率

1/63

3/63

6/63

10/63

15/63

21/63

25/63

27/63

I（Y;

Z）=H（Z）-H（Z/Y）

I（X;

Z）=H（Z）-H（Z/X）

I（XY 

Z）=H（Z）-H（Z/XY）

I（Y;

Z/X）=I（XY;

Z）-I（X;

Z）

Z/Y）=I（XZ;

Y）-I（Y;

Z）=H（XZ）-H（XZ/Y）-I（Y;

Z）＝H（X）+H（Z/X）-H（XZ/Y）-I（Y;

Z）

以上可以根据2.9的结果求出

2.27解：

考虑到约束条件

采用拉格朗日乘子法

当且仅当

时，等式成立。

将

带入

：

实现最大微分熵的分布

，相应的熵值log（me）

2.29证明：

（a）

所以Q（x）为概率分布。

（b）即证明熵的凸性。