马尔可夫信源极限熵Word下载.docx

马尔可夫信源极限熵Word下载.docx

《马尔可夫信源极限熵Word下载.docx》由会员分享，可在线阅读，更多相关《马尔可夫信源极限熵Word下载.docx（19页珍藏版）》请在冰豆网上搜索。

ij

p（xi）

均匀互信息量

I（X;

Y）

p（x,y）log

p（x/y）

p（x）

x,y

疑义度

条件熵H（X/Y）：

信道上的扰乱和噪声所造成的对信源符号x的均匀不确立度．噪声熵或分布度

条件熵H（Y/X）：

可看作独一地确立信道噪声所需要的均匀信息量．

互信息量与熵的关系

H（XY）=H（X）+H（Y/X）

=H（Y）+H（X/Y）

H（X）≥H（X/Y），H（Y）≥H（Y/X）

I（X;

Y）=H（X）-H（X/Y）

=H（Y）-H（Y/X）

=H（X）+H（Y）-H（XY）

H（XY）≤H（X）+H（Y）

信息不增性：

数据办理过程中只会失去一些信息，绝不会创建出新的信息．

最大熵定理

（1）限峰功率最大熵定理：

对于定义域为有限的随机矢量X，当它是均匀分布时，拥有最大熵。

（2）限均匀功率最大熵定理：

若连续变量X的方差必定，当它是正态分布时拥有最大熵。

信源的序列熵：

（请注意：

序列X的多种写法！

H（XL）＝H（X1X2XL）＝H（X1）＋H（X2/X1）＋＋H（XL/X1X2XL-1）

均匀每个符号的熵为

HL（X）

1H（XL

1X2

XL

若当信源退化为无记忆时，有

H（X）

H（X1X2

XL）

H（X1）

HX2

HXL

若进一步又知足安稳性时，则有

H（X）

LH（X1）

推行结论

马尔可夫信源

表述有记忆信源要比表述无记忆信源困难得多。

实质上信源发出的符号常常只与前若干个符号的依靠关系强，而与更前面的符号依靠关系弱。

为此，能够限制随机序列的记忆长度。

当记忆长度为m+1时，称这类有记忆信源为m阶马尔可夫信源。

也就是信源每次发出的符号只与前m个符号相关，与更前面的符号没关。

稳态分布概率

定义：

若齐次马尔可夫链对全部i,j存在不依靠于i的极限，则称其拥有遍历性，Wj称为稳态分布概率

马尔可夫信源极限熵：

p（si

）H（X/si

Wi

H（X/si

此中，HX/si

p（x

j/si

）logp（x

j

冗余度：

它表示给定信源在实质发出信息时所包括的剩余信息.（也称为剩余度或节余度）.

定义信息效率:

Hm（X）

定义冗余度:

11H（X）Hm（X）

此中：

H∞（X）为信源实质熵，Hm（X）信源最大熵。

习题2信源与信息熵

习题

2-1

2.1一个马尔可夫信源有

3个符号u1,u2,u3，转移概率为：

pu1|u1

1/2，pu2|u1

1/2，

pu3

|u1

0，pu1|u2

1/3，pu2|u20，pu3|u22/3

，pu1|u3

1/3，

pu

|u

2/3，pu|u

3

0，画出状态图并求出各符号稳态概率。

2

解：

状态图以下

状态转移矩阵为：

设状态u1，u2，u3稳固后的概率分别为W1，W2、W3

1

W1

W2

W3W1

WPW

W3

由

W31

，得：

2

W1W2

W1W2W3

10

25

9

计算可得：

W2

6

习题2-2

2.2由符号集{0，1}构成的二阶马尔可夫链，其转移概率为：

p（0|00）=0.8，p（0|11）=0.2，

p（1|00）=0.2，p（1|11）=0.8，p（0|01）=0.5，p（0|10）=0.5，p（1|01）=0.5，p（1|10）=0.5。

画出状态图，并计算各状态的稳态概率。

因是二阶马尔可夫信源,此信源任何时刻发出的符号只与前两个符号相关,而与更前面的符号没关。

如本来状态为00,则此时刻只可能发出符号0或1,下一时刻只好转移到00,01状态,因为处于00状态发符号0的概率为0.8,处在00状态时发符号1的概率为0.2,转移到01状态,

00→000→00

00→001→01

p（0|00）

p（00|00）

0.8

p（0|01）

p（10|01）

0.5

p（0|11）

p（10|11）

0.2

p（0|10）

p（00|10）

p（1|00）

p（01|00）

p（1|01）

p（11|01）

p（1|11）

p（11|11）

p（1|10）

p（01|10）

于是能够列出转移概率矩阵：

0.80.200

000.50.5

p

0.50.500

000.20.8

状态图为：

设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4有

0.8W1

0.5W3

WP

W

0.2W1

4

得

0.5W2

0.2W4

0.8W4

W4

W41

5

14

计算获取

7

习题2-3

同时掷出两个正常的骰子，也就是各面体现的概率都为1/6，求：

（1）“3和5同时出现”这事件的自信息；

（2）“两个1同时出现”这事件的自信息；

（3）两个点数的各样组合（无序）对的熵和均匀信息量；

（4）两个点数之和（即2,3,,12构成的子集）的熵；

（5）两个点数中起码有一个是1的自信息量。

（1）

p（xi

18

I（xi

log

p（xi）

4.170bit

（2）

p（xi

36

I（xi）

logp（xi）

log1

5.170

bit

（3）两个点数的摆列以下：

11

12

13

15

16

21

22

23

24

26

31

32

33

34

35

41

42

43

44

45

46

51

52

53

54

55

56

61

62

63

64

65

66

共有21种组合：

此中11，22，33，44，55，66的概率是1

其余15个组合的概率是21

p（xi）logp（xi）

1log

1log1

4.337bit/symbol

1818

（4）

参照上边的两个点数的摆列，能够得出两个点数乞降的概率分布以下：

X

8

P（X）

p（xi）logp（xi

（5）

3.274bit/symbol

p（xi）

logp（xi）

1.710

习题2-5

2.5居住某地域的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而

女孩子中身高160厘米以上的占总数的一半。

若是我们得悉“身高160厘米以上的某女孩

是大学生”的信息，问获取多少信息量？

设随机变量X代表女孩子学历

Xx1（是大学生）x2（不是大学生）

P（X）

0.25

0.75

设随机变量Y代表女孩子身高

Y

y1（身高>

160cm）y2（身高<

160cm）

P（Y）

已知：

在女大学生中有

75%是身高160厘米以上的

即：

p（y1/x1）0.75

求：

身高160厘米以上的某女孩是大学生的信息量，即：

I（x1/y1）

logp（x1/y1）

p（x1）p（y1/x1）

1.415bit

p（y1）

习题2-12

2.12

两个实验X和Y，X={x1

x2x3},Y={y1y2y3},l

结合概率rxi,yj

rij为

r11

r12

r13

7/24

1/

r21

r22

r23

1/24

1/4

r31

r32

r33

（1）假如有人告诉你X和Y的实验结果，你获取的均匀信息量是多少？

（2）假如有人告诉你Y的实验结果，你获取的均匀信息量是多少？

（3）在已知Y实验结果的状况下，告诉你X的实验结果，你获取的均匀信息量是多少？

结合概率p（xi,yj）为

y1

y2

y3

x1

7/24

1/24

x2

1/4

x3

X概率分布

P

8/24

Y概率分布是

（1）

H（X,Y）

p（xi,yj）log

p（xi,yj）

7log2

1log224

1log24

=2.3bit/

符号

（2）H（Y）

1log23

1.58

（bit/

符号）

（3）H（X|Y）

H（X,Y）

H（Y）

2.31.58=0.72（bit/

习题2-14

在一个二进制信道中，信源信息集

X={0,1}，且P（0）=P

（1）,信宿的信息集

Y={0,1},信道传输概率

P（y=1

|x=0）=1/4,P（y=0|x=1）=1/8。

（1

）在接收端收到

y=0后，所供给的对于传输信息X

的均匀条件互信息量

I（X；

y=0）.

该状况所能供给的均匀互信息量

Y）.

P（y|x）=P（xy）=

P（x|y）=

I（X;

y

0）

|y0）log

p（xi|y0

Y）

yj）log

/yj）

p（xi）

i,j

=

习题2-26

一个信源发出二重符号序列信息

（X1，X2）,此中，第一个符号

X1能够是能够是A,B,C中的一个，第二

个符号X2能够是D,E,F,G中的一个。

已知各个

p（x1i）为p（A）=1/2,p（B）=1/3,p（C）=1/6;

各个p（x2j|x1i）

值列成以下。

求这个信源的熵（结合熵

H（X1，X2））。

P（y|x）=P（x）=P（xy）=

依据公式

H（XY）

p（xiyj）I（xiyj）

p（xiyj）logp（xiyj）

得，

H（X1，X2）=

习题2-30

2-30有一个马尔可夫信源，已知转移概率为p（s1|s1）=2/3,p（s2|s1）=1/3,p（s1|s2）=1,p（s2|s2）=0。

画出状态转移图，并求出信源熵。

（1）由已知转移概率，画状态转移图

（2）列出转移矩阵：

P（j/i）=

设状态S1和S2，稳固后的概率分别为

W1，W2

由WPW

2/31/3

W1W2

3W1

W2

W1

得：

W1=3/4，W2=1/4

再计算信源熵：

p（si

）H（X/si

此中，

信源熵为:

内容总结

（1）第2章信源与信息熵

用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息

（2）第2章信源与信息熵