马尔可夫信源极限熵Word文档格式.docx
- 文档编号:13365145
- 上传时间:2022-10-10
- 格式:DOCX
- 页数:14
- 大小:326.83KB
马尔可夫信源极限熵Word文档格式.docx
《马尔可夫信源极限熵Word文档格式.docx》由会员分享,可在线阅读,更多相关《马尔可夫信源极限熵Word文档格式.docx(14页珍藏版)》请在冰豆网上搜索。
=【信源的平均不确定度】=【平均自信息量】
条件熵:
联合熵
联合熵、条件熵与信源熵的关系
H(XY)=H(X)+H(Y/X),H(XY)=H(Y)+H(X/Y)
互信息定义:
后验概率与先验概率比值的对数
平均互信息量
疑义度
条件熵H(X/Y):
信道上的干扰和噪声所造成的对信源符号x的平均不确定度.
噪声熵或散布度
条件熵H(Y/X):
可看作唯一地确定信道噪声所需要的平均信息量.
互信息量与熵的关系
H(XY)=H(X)+H(Y/X)
=H(Y)+H(X/Y)
H(X)≥H(X/Y),H(Y)≥H(Y/X)
I(X;
Y)=H(X)-H(X/Y)
=H(Y)-H(Y/X)
=H(X)+H(Y)-H(XY)
H(XY)≤H(X)+H(Y)
信息不增性:
数据处理过程中只会失掉一些信息,绝不会创造出新的信息.
最大熵定理
(1)限峰功率最大熵定理:
对于定义域为有限的随机矢量X,当它是均匀分布时,具有最大熵。
(2)限平均功率最大熵定理:
若连续变量X的方差一定,当它是正态分布时具有最大熵。
信源的序列熵:
(请注意:
序列X的多种写法!
)
H(XL)=H(X1X2…XL)=H(X1)+H(X2/X1)+…+H(XL/X1X2…XL-1)
平均每个符号的熵为
若当信源退化为无记忆时,有
若进一步又满足平稳性时,则有
推广结论
马尔可夫信源
✓表述有记忆信源要比表述无记忆信源困难得多。
实际上信源发出的符号往往只与前若干个符号的依赖关系强,而与更前面的符号依赖关系弱。
为此,可以限制随机序列的记忆长度。
✓当记忆长度为m+1时,称这种有记忆信源为m阶马尔可夫信源。
也就是信源每次发出的符号只与前m个符号有关,与更前面的符号无关。
稳态分布概率
定义:
若齐次马尔可夫链对一切i,j存在不依赖于i的极限,则称其具有遍历性,Wj称为稳态分布概率
马尔可夫信源极限熵:
冗余度:
它表示给定信源在实际发出消息时所包含的多余信息.(也称为多余度或剩余度).
其中:
H∞(X)为信源实际熵,Hm(X)信源最大熵。
习题2信源与信息熵
习题2-1
2.1一个马尔可夫信源有3个符号
,转移概率为:
,
,画出状态图并求出各符号稳态概率。
解:
✓状态图如下
✓状态转移矩阵为:
✓设状态u1,u2,u3稳定后的概率分别为W1,W2、W3
✓由
,得:
✓计算可得:
习题2-2
2.2由符号集{0,1}组成的二阶马尔可夫链,其转移概率为:
=0.8,
=0.2,
=0.5,
=0.5。
画出状态图,并计算各状态的稳态概率。
因是二阶马尔可夫信源,此信源任何时刻发出的符号只与前两个符号有关,而与更前面的符号无关。
如原来状态为00,则此时刻只可能发出符号0或1,下一时刻只能转移到00,01状态,由于处于00状态发符号0的概率为0.8,处在00状态时发符号1的概率为0.2,转移到01状态,
✓于是可以列出转移概率矩阵:
✓状态图为:
✓设各状态00,01,10,11的稳态分布概率为W1,W2,W3,W4有
得
✓计算得到
习题2-3
同时掷出两个正常的骰子,也就是各面呈现的概率都为1/6,求:
(1)“3和5同时出现”这事件的自信息;
(2)“两个1同时出现”这事件的自信息;
(3)两个点数的各种组合(无序)对的熵和平均信息量;
(4)两个点数之和(即2,3,…,12构成的子集)的熵;
(5)两个点数中至少有一个是1的自信息量。
(1)
(2)
(3)两个点数的排列如下:
11
12
13
14
15
16
21
22
23
24
25
26
31
32
33
34
35
36
41
42
43
44
45
46
51
52
53
54
55
56
61
62
63
64
65
66
共有21种组合:
其中11,22,33,44,55,66的概率是
其他15个组合的概率是
(4)
参考上面的两个点数的排列,可以得出两个点数求和的概率分布如下:
(5)
习题2-5
2.5居住某地区的女孩子有25%是大学生,在女大学生中有75%是身高160厘米以上的,而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量?
✓设随机变量X代表女孩子学历
X
x1(是大学生)
x2(不是大学生)
P(X)
0.25
0.75
✓设随机变量Y代表女孩子身高
Y
y1(身高>
160cm)
y2(身高<
P(Y)
0.5
✓已知:
在女大学生中有75%是身高160厘米以上的
即:
✓求:
身高160厘米以上的某女孩是大学生的信息量,即:
习题2-12
2.12两个实验X和Y,X={x1x2x3},Y={y1y2y3},l联合概率
为
(1)如果有人告诉你X和Y的实验结果,你得到的平均信息量是多少?
(2)如果有人告诉你Y的实验结果,你得到的平均信息量是多少?
(3)在已知Y实验结果的情况下,告诉你X的实验结果,你得到的平均信息量是多少?
联合概率
Y
y1
y2
y3
x1
7/24
1/24
x2
1/4
x3
X概率分布
x1
x2
x3
P
8/24
Y概率分布是
=2.3bit/符号
(2)
(bit/符号)
(3)
=0.72(bit/符号)
习题2-14
在一个二进制信道中,信源消息集X={0,1},且P(0)=P
(1),信宿的消息集Y={0,1},信道传输概率P(y=1|x=0)=1/4,P(y=0|x=1)=1/8。
求:
(1)在接收端收到y=0后,所提供的关于传输消息X的平均条件互信息量I(X;
y=0).
(2)该情况所能提供的平均互信息量I(X;
Y).解:
P(y|x)=
P(xy)=
P(x|y)=
=
习题2-26
一个信源发出二重符号序列消息(X1,X2),其中,第一个符号X1可以是可以是A,B,C中的一个,第二个符号X2可以是D,E,F,G中的一个。
已知各个p(x1i)为p(A)=1/2,p(B)=1/3,p(C)=1/6;
各个p(x2j|x1i)值列成如下。
求这个信源的熵(联合熵H(X1,X2))。
P(y|x)=
P(x)=
根据公式
得,
H(X1,X2)=
习题2-30
2-30有一个马尔可夫信源,已知转移概率为p(s1|s1)=2/3,p(s2|s1)=1/3,p(s1|s2)=1,p(s2|s2)=0。
画出状态转移图,并求出信源熵。
(1)由已知转移概率,画状态转移图
(2)列出转移矩阵:
P(j/i)=
设状态S1和S2,稳定后的概率分别为W1,W2
由
得:
W1=3/4,W2=1/4
再计算信源熵:
其中,
信源熵为:
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 马尔可夫 信源 极限