信息论与编码第五章答案.docx

信息论与编码第五章答案.docx

《信息论与编码第五章答案.docx》由会员分享，可在线阅读，更多相关《信息论与编码第五章答案.docx（25页珍藏版）》请在冰豆网上搜索。

信息论与编码第五章答案

信息论与编码第五章答案

【篇一：

信息论与编码-曹雪虹-课后习题答案2-5第二章到第五章】

ss=txt>案

第二章

2.1一个马尔可夫信源有3个符号?

u1,u,2u?

3，转移概率为：

p?

u1|u1?

?

1/2，p?

u2|u1?

?

1/2，p?

u3|u1?

?

0，p?

u1|u2?

?

1/3，p?

u2|u2?

?

0，p?

u3|u2?

?

2/3，

p?

u1|u3?

?

1/3，p?

u2|u3?

?

2/3，p?

u3|u3?

?

0，画出状态图并求出各符号稳态概率。

解：

状态图如下

状态转移矩阵为：

?

1/2?

p?

1/3

?

?

1/3?

1/202/3

0?

?

2/3

?

0?

?

设状态u1，u2，u3稳定后的概率分别为w1，w2、w3

11?

1

w1?

w2?

w3?

w110?

?

233w1?

?

?

2512?

?

w1?

w3?

w2

?

wp?

w?

9?

由?

得?

2计算可得?

w2?

3

w1?

w2?

w3?

125?

?

2?

?

w2?

w36?

3w3?

?

?

25?

?

?

w1?

w2?

w3?

1

2.2由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：

p（0|00）=0.8，p（0|11）=0.2，

p（1|00）=0.2，p（1|11）=0.8，p（0|01）=0.5，p（0|10）=0.5，p（1|01）=0.5，p（1|10）=0.5。

画出状态图，并计算各状态的稳态概率。

解：

p（0|00）?

p（00|00）?

0.8p（0|01?

）p

p（0|11）?

p（10|11）?

0.2p（0|10?

）pp（1|00）?

p（01|00）?

0.2p（1|01?

）p

（10?

|01）（00?

|10）

（11?

|01）

p（1|11）?

p（11|11）?

0.8p（1|10?

）p（01?

|10）00.500.2

0?

?

0.5

?

0?

?

0.8?

?

0.8?

0

于是可以列出转移概率矩阵：

p?

?

?

0.5?

?

0

0.200.50

状态图为：

设各状态00，01，10，11的稳态分布概率为w1,w2,w3,w4有

5?

w1?

?

14?

0.8w1?

0.5w3?

w1

?

?

?

w2?

10.2w1?

0.5w3?

w2?

wp?

w?

?

?

?

47得?

0.5w2?

0.2w4?

w3计算得到?

?

?

0.5w2?

0.8w4?

w4?

?

wi?

1?

w3?

1

?

i?

1

?

?

7?

?

?

w1?

w2?

w3?

w4?

15

?

w4?

14?

2.3同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：

（1）“3和5同时出现”这事件的自信息；

（2）“两个1同时出现”这事件的自信息；

（3）两个点数的各种组合（无序）对的熵和平均信息量；（4）两个点数之和（即2,3,?

12构成的子集）的熵；（5）两个点数中至少有一个是1的自信息量。

解：

（1）

p（xi）?

16?

16?

16?

16?

118

118

?

4.170bit

i（xi）?

?

logp（xi）?

?

log

（2）

p（xi）?

16?

16?

136

136

?

5.170bit

i（xi）?

?

logp（xi）?

?

log

（3）

两个点数的排列如下：

112131415161

122232425262

132333435363

142434445464

152535455565

162636465666

共有21种组合：

其中11，22，33，44，55，66的概率是其他15个组合的概率是2?

16?

16?

118

16?

16?

136

1111?

?

h（x）?

?

?

p（xi）logp（xi）?

?

?

6?

log?

15?

log?

?

4.337bit/symbol

36361818?

?

i

（4）

参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：

?

x?

?

p（x

2?

?

?

?

?

?

1）?

?

?

36

i

3118

4112

519

6536

716

8536

91011912

1111812?

?

1?

36?

?

h（x）?

?

?

p（xi）logp（xi）

111111115511?

?

?

?

?

2?

log?

2?

log?

2?

log?

2?

log?

2?

log?

log?

36361818121299363666?

?

?

3.274bit/symbol

（5）

p（xi）?

16?

16?

11?

1136

1136

?

1.710bit

i（xi）?

?

logp（xi）?

?

log

2-4

2.5居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。

假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？

解：

设随机变量x代表女孩子学历

x1（是大学生）xp（x）

0.25

设随机变量y代表女孩子身高yp（y）

y1（身高160cm）

0.5

y2（身高160cm）

0.5

x2（不是大学生）

0.75

已知：

在女大学生中有75%是身高160厘米以上的即：

p（y1/x1）?

0.75bit

求：

身高160厘米以上的某女孩是大学生的信息量即：

i（x1/y1）?

?

logp（x1/y1）?

?

log

p（x1）p（y1/x1）

p（y1）

?

?

log

0.25?

0.75

0.5

?

1.415bit

2.6掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？

当小圆点之和是7时，该消息所包含的信息量又是多少？

解：

1）因圆点之和为3的概率p（x）?

p（1,2）?

p（2,1）?

118

该消息自信息量i（x）?

?

logp（x）?

log18?

4.170bit2）因圆点之和为7的概率

p（x）?

p（1,6）?

p（6,1）?

p（2,5）?

p（5,2）?

p（3,4）?

p（4,3）?

16

该消息自信息量i（x）?

?

logp（x）?

log6?

2.585bit

2.7设有一离散无记忆信源，其概率空间为?

（1）求每个符号的自信息量

（2）信源发出一消息符号序列为{202120130213001203210110321010021032011223210}，求该序列的自信息量和平均每个符号携带的信息量解：

i（x1）?

log2

1p（x1）

?

log2

83

?

1.415bit

?

x?

?

x1?

0

?

?

?

?

p?

?

3/8

x2?

11/4

x3?

21/4

x4?

3?

?

1/8?

同理可以求得i（x2）?

2bit,i（x3）?

2bit,i（x3）?

3bit

因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：

i?

14i（x1）?

13i（x2）?

12i（x3）?

6i（x4）?

87.81bit平均每个符号携带的信息量为

87.8145

?

1.95bit/符号

2.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？

解：

四进制脉冲可以表示4个不同的消息，例如：

{0,1,2,3}

八进制脉冲可以表示8个不同的消息，例如：

{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息，例如：

{0,1}假设每个消息的发出都是等概率的，则：

四进制脉冲的平均信息量h（x1）?

logn?

log4?

2bit/symbol八进制脉冲的平均信息量h（x2）?

logn?

log8?

3bit/symbol二进制脉冲的平均信息量h（x0）?

logn?

log2?

1bit/symbol所以：

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2-9“－”用三个脉冲“●”用一个脉冲

（1）i（●）=log（4）

（2）h=2-10

（2）p（黑/黑

）=h（y/黑

）=（3）p（黑/白

）=

p（白/白

）=

p（白/黑

）=

14

log（4）?

?

2

?

i（－）＝log?

?

?

4?

?

0.811

?

?

?

3?

4

?

?

0.415

?

3?

34

log

【篇二：

信息论与编码-曹雪虹-课后习题答案】

lass=txt>第二章

2.1一个马尔可夫信源有3个符号?

u1,u,2u?

3，转移概率为：

p?

u1|u1?

?

1/2，p?

u2|u1?

?

1/2，p?

u3|u1?

?

0，p?

u1|u2?

?

1/3，p?

u2|u2?

?

0，p?

u3|u2?

?

2/3，

p?

u1|u3?

?

1/3，p?

u2|u3?

?

2/3，p?

u3|u3?

?

0，画出状态图并求出各符号稳态概率。

解：

状态图如下

状态转移矩阵为：

?

1/2?

p?

1/3

?

?

1/3?

1/202/3

0?

?

2/3

?

0?

?

设状态u1，u2，u3稳定后的概率分别为w1，w2、w3

11?

1

w1?

w2?

w3?

w110?

?

233w1?

?

?

2512?

?

?

wp?

w?

w1?

w3?

w29?

由?

得?

2计算可得?

w2?

3

25?

w1?

w2?

w3?

1?

2?

?

w2?

w36?

3w3?

?

?

25?

?

?

w1?

w2?

w3?

1

2.2由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：

p（0|00）=0.8，p（0|11）=0.2，

p（1|00）=0.2，p（1|11）=0.8，p（0|01）=0.5，p（0|10）=0.5，p（1|01）=0.5，p（1|10）=0.5。

画出状态图，并计算各状态的稳态概率。

解：

p（0|00）?

p（00|00）?

0.8p（0|01?

）p

p（0|11）?

p（10|11）?

0.2p（0|10?

）pp（1|00）?

p（01|00）?

0.2p（1|01?

）pp（1|11）?

p（11|11）?

0.8p（1|10?

）p

（10?

|01）（00?

|10）（11?

|01）

（01?

|10）

?

0.8?

0

于是可以列出转移概率矩阵：

p?

?

?

0.5?

?

0

0.200.50

00.500.2

0?

?

0.5

?

0?

?

0.8?

状态图为：

设各状态00，01，10，11的稳态分布概率为w1,w2,w3,w4有

5?

w1?

?

14?

0.8w1?

0.5w3?

w1

?

?

?

w2?

10.2w1?

0.5w3?

w2?

wp?

w?

?

?

?

470.5w2?

0.2w4?

w3得计算得到?

?

?

wi?

11?

0.5w2?

0.8w4?

w4?

?

?

w3?

?

i?

1

?

?

7w1?

w2?

w3?

w4?

1?

?

?

5

?

w4?

14?

2.3同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：

（1）“3和5同时出现”这事件的自信息；

（2）“两个1同时出现”这事件的自信息；

（3）两个点数的各种组合（无序）对的熵和平均信息量；（4）两个点数之和（即2,3,?

12构成的子集）的熵；（5）两个点数中至少有一个是1的自信息量。

解：

（1）

p（xi）?

16?

16?

16?

16?

118

118

?

4.170bit

i（xi）?

?

logp（xi）?

?

log

（2）

p（xi）?

16?

16?

136

136

?

5.170bit

i（xi）?

?

logp（xi）?

?

log

（3）

两个点数的排列如下：

112131415161

122232425262

132333435363

142434445464

152535455565

162636465666

共有21种组合：

其中11，22，33，44，55，66的概率是其他15个组合的概率是2?

16?

16?

118

16?

16?

136

1111?

?

h（x）?

?

?

p（xi）logp（xi）?

?

?

6?

log?

15?

log?

?

4.337bit/symbol

36361818?

?

i

（4）

参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：

?

x?

?

p（x

2?

?

?

?

?

?

1）?

?

?

36

i

3118

4112

519

6536

716

8536

91011912

1111812?

?

1?

36?

?

h（x）?

?

?

p（xi）logp（xi）

111111115511?

?

?

?

?

2?

log?

2?

log?

2?

log?

2?

log?

2?

log?

log?

36361818121299363666?

?

?

3.274bit/symbol

（5）

p（xi）?

16?

16?

11?

1136

1136

?

1.710bit

i（xi）?

?

logp（xi）?

?

log

2-4

2.5居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。

假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？

解：

设随机变量x代表女孩子学历

x1（是大学生）xp（x）

0.25

设随机变量y代表女孩子身高yp（y）

y1（身高160cm）

0.5

y2（身高160cm）

0.5

x2（不是大学生）

0.75

已知：

在女大学生中有75%是身高160厘米以上的即：

p（y1/x1）?

0.75bit

求：

身高160厘米以上的某女孩是大学生的信息量即：

i（x1/y1）?

?

logp（x1/y1）?

?

log

p（x1）p（y1/x1）

p（y1）

?

?

log

0.25?

0.75

0.5

?

1.415bit

2.6掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？

当小圆点之和是7时，该消息所包含的信息量又是多少？

解：

1）因圆点之和为3的概率p（x）?

p（1,2）?

p（2,1）?

118

该消息自信息量i（x）?

?

logp（x）?

log18?

4.170bit2）因圆点之和为7的概率

p（x）?

p（1,6）?

p（6,1）?

p（2,5）?

p（5,2）?

p（3,4）?

p（4,3）?

16

该消息自信息量i（x）?

?

logp（x）?

log6?

2.585bit

2.7设有一离散无记忆信源，其概率空间为?

?

x?

?

x1?

0

?

?

?

?

p?

?

3/8

x2?

11/4

x3?

21/4

x4?

3?

?

1/8?

（1）求每个符号的自信息量

（2）信源发出一消息符号序列为{202120130213001203210110321010021032011223210}，求该序列的自信息量和平均每个符号携带的信息量解：

i（x1）?

log2

1p（x1）

?

log2

83

?

1.415bit

同理可以求得i（x2）?

2bit,i（x3）?

2bit,i（x3）?

3bit

因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：

i?

14i（x1）?

13i（x2）?

12i（x3）?

6i（x4）?

87.81bit平均每个符号携带的信息量为

87.8145

?

1.95bit/符号

2.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？

解：

四进制脉冲可以表示4个不同的消息，例如：

{0,1,2,3}

八进制脉冲可以表示8个不同的消息，例如：

{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息，例如：

{0,1}假设每个消息的发出都是等概率的，则：

四进制脉冲的平均信息量h（x1）?

logn?

log4?

2bit/symbol八进制脉冲的平均信息量h（x2）?

logn?

log8?

3bit/symbol二进制脉冲的平均信息量h（x0）?

logn?

log2?

1bit/symbol所以：

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2-9“－”用三个脉冲“●”用一个脉冲

（1）i（●）=log（4）

（2）h=2-10

（2）p（黑/黑

）=h（y/黑

）=（3）p（黑/白

）=h（y/白

）=（4）p（黑

）=

h（y）=

2.11有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。

（1）如果仅对颜色感兴趣，则计算平均不确定度

p（白

）=

p（白/白

）=

p（白/黑

）=

14

log（4）?

?

2

?

i（－）＝log?

?

?

4?

?

0.811

?

?

3?

?

4

?

?

0.415

?

3?

34

log

【篇三：

姜丹信息论与编码习题参考答案】

1.1同时掷一对均匀的子，试求：

（1）“2和6同时出现”这一事件的自信息量；

（2）“两个5同时出现”这一事件的自信息量；（3）两个点数的各种组合的熵；（4）两个点数之和的熵；

（5）“两个点数中至少有一个是1”的自信息量。

解：

11

样本空间：

n?

c6c6?

6?

6?

36

n2

（1）p1?

1?

?

i（a）?

?

logp1?

log18?

4.17bit

n36n1

（2）p2?

2?

?

i（a）?

?

logp2?

log36?

5.17bit

n36

（3）信源空间：

?

h（x）?

15?

2361

?

log?

6?

?

log36?

4.32bit36236（4）信源空间：

?

h（x）?

2436636836?

log36＋?

log?

?

log?

?

log363623633641036636

?

?

log＋?

log?

3.71bit

365366

（5）p?

n3?

11?

i（a）?

?

logp?

log36?

1.17bit33

n3611

1.2如有6行、8列的棋型方格，若有两个质点a和b，分别以等概落入任一方格内，且它们的坐标分别为（xa，ya）,（xb，yb）,但a，b不能同时落入同一方格内。

（1）若仅有质点a，求a落入任一方格的平均信息量；

（2）若已知a已落入，求b落入的平均信息量；（3）若a，b是可辨认的，求a，b落入的平均信息量。

解：

（1）?

a落入任一格的概率:

p（ai）?

48

1

?

i（ai）?

?

logp（ai）?

log48

48

?

h（a）?

?

?

p（ai）logp（ai）?

log48?

5.58bit

i?

1

（2）?

在已知a落入任一格的情况下,b落入任一格的概率是:

p（bi）?

?

i（bi）?

?

logp（bi）?

log47

?

h（b）?

?

?

p（bi）logp（bi）?

log47?

5.55bit

i?

148

147

（3）ab同时落入某两格的概率是p（abi）?

?

i（abi）?

?

logp（abi）

48?

47i?

1

11?

4847

h（abi）?

?

?

p（abi）logp（abi）?

log（48?

47）?

11.14bit

1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：

“你是否是红绿色盲？

”他的回答可能是：

“是”，也可能“不是”。

问这两个回答中各含有多少信息量？

平均每个回答中各含有多少信息量？

如果你问一位女士，则她的答案中含有多少平均信息量？

解：

对于男士:

回答“是”的信息量：

i（my）?

?

logp（my）?

?

log7%?

3.84bit回答“不是”的信息量：

i（mn）?

?

logp（mn）?

?

log93%?

0.105bit平均每个回答信息量：

h（m）?

?

p（my）?

logp（my）?

p（mn）?

logp（mn）?

-7%?

log7%-93%?

log93%?

0.366bit对于女：

回答“是”的信息量：

i（wy）?

?

logp（wy）?

?

log0.5%回答“不是”的信息量：

i（mn）?

?

logp（mn）?

?

log99.5%

平均每个回答信息量：

h（m）?

?

p（wy）?

logp（wy）?

p（wn）?

logp（wn）?

-0.5%?

log0.5%-99.5%?

log99.5%?

0.0454bit

1.4某一无记忆信源的符号集为｛0，1｝，已知p0?

（1）求符号的平均信息量；

（2）由1000个符号构成的序列，求某一特定序列（例如有m个“0”,（1000-m）个“1”）的自信量的

表达式；

（3）计算

（2）中序列的熵。

解：

13

，p1?

23

。

1122

（1）h（x）?

?

p0logp0?

p1logp1?

?

?

log?

?

log?

0.918bit/symble

3333

12

（2）i（a）?

?

mlogp0?

（1000?

m）logp?

?

mlog?

（1000?

m）logbit33

（3）h（a）?

1000h（x）?

1000?

0.918?

918bit/sequenceh（a）?

?

?

p0logp0?

i?

1m

1000?

m

?

i?

1

p1logp1?

?

m12（1000?

m）2

log?

log3333

1.5设信源x的信源空间为：

a1a2a3a4a5a6?

x：

[x?

p]：

?

?

p（x）0.170.190.180.160.180.3

求信源熵，并解释为什么h（x）log6，不满足信源熵的极值性。

解：

h（x）?

?

?

p（ai）logp（ai）

i?

1

6

?

?

0.17log0.17?

0.19log0.19?

2?

0.18log0.18?

0.16log0.16?

0.3log0.3?

2.725bit/symble

可见h（x）?

2.725?

log6?

2.585不满足信源熵的极值性，

这是因为信源熵的最大值是在?

pi?

1的约束条件下求得的，但是本题中

i?

1r

?

p

i?

1

6

i

?

1.18不满足信源熵最大值成立的约束条件，所以h（x）?

log6。

由于亮度电平等概出现，由熵的极值性：

每个像素的熵是：

h（x0）?

?

p（ai）logp（ai）?

log10?

3.322bit/pels

i?

110

每帧图像的熵是：

h（x）?

5?

105?

h（x0）?

5?

105?

3.322?

1.661?

106bit/frame

1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。

试证明传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。

证:

增加30个不同色彩度,在满足黑白电视系统要求下,每个色彩度需要10个亮度,所以每个像素需要用30?

10?

300bit量化

?

每个像素的熵是：

h（x1）?

?

p（bi）logp（bi）?

log300bit/pels

i?

1300

h（x1）log300?

?

?

2.477?

2.5h（x0）log10

?

彩色电视系统每个像素信息量比黑白电视系统大2.5倍作用,所以传输