信息论基础理论与应用第三版傅祖芸第三章.ppt
- 文档编号:985808
- 上传时间:2022-10-14
- 格式:PPT
- 页数:111
- 大小:888KB
信息论基础理论与应用第三版傅祖芸第三章.ppt
《信息论基础理论与应用第三版傅祖芸第三章.ppt》由会员分享,可在线阅读,更多相关《信息论基础理论与应用第三版傅祖芸第三章.ppt(111页珍藏版)》请在冰豆网上搜索。
第三章离散信道及其信道容量,第一节信道的数学模型及分类,第二节平均互信息,第三节平均互信息的特性,第四节信道容量及其计算方法,第五节离散无记忆扩展信道及其信道容量,第六节信源与信道的匹配,信道的任务:
以信号方式传输信息和存储信息。
研究内容:
信道中能够传送或存储的最大信息量,即信道容量。
3.1信道的数学模型和分类,数字通信系统的一般模型,一、信道的分类根据载荷消息的媒体不同,根据信道用户的多少,单用户(两端)信道一个输入端和一个输出端的单向通信;多用户信道至少有一端有两个以上的用户,可以是双向通信;(计算机通信、卫星通信、广播通信等),根据输入端和输出端的关联,无反馈信道有反馈信道,信道参数与时间的关系,固定参数信道时变参数信道,根据输入输出信号的特点,离散信道(离散随机序列-离散随机序列)连续信道(连续值随机序列-连续值随机序列)半离散半连续信道(离散随机序列-连续值随机序列)波形信道(模拟信道)(时间、取值连续随机信号-时间、取值连续随机信号),我们只研究:
无反馈、固定参数的单用户离散信道。
信道分析的方法信源输出的是携带者信息的消息,而消息必须首先转换成能在信道中传输或存储的信号,然后经过信道传送到接收者。
一般认为,噪声或干扰主要从信道中引入,它使信号通过信道传输后产生错误和失真。
因此,信道的输入和输出信号之间一般不是确定的函数关系,而是统计依赖关系。
只要知道信道的输入信号、输出信号,以及它们之间的统计依赖关系,那么信道的全部特性就确定了。
二、离散信道的数学模型,条件概率P(y|x)描述了输入信号和输出信号之间统计依赖关系,反映了信道的统计特性。
根据信道的统计特性的不同,离散信道又可分成3种情况:
1.无干扰信道2.有干扰无记忆信道3.有干扰有记忆信道,
(1)无干扰(无噪声)信道信道中没有随机性的干扰或者干扰很小,输出符号y与输入符号x之间有确定的、一一对应的关系。
即:
yf(x),
(2)有干扰无记忆信道信道输入和输出之间的条件概率是一般的概率分布。
如果任一时刻输出符号只统计依赖于对应时刻的输入符号,则这种信道称为无记忆信道。
(3)有干扰(噪声)有记忆信道实际信道往往是既有干扰(噪声)又有记忆的这种类型。
例如在数字信道中,由于信道滤波频率特性不理想时造成了码字间串扰。
在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关,而且还与此以前其他时刻信道的输入符号及输出符号有关,这样的信道称为有记忆信道。
三、单符号离散信道,单符号离散信道特性:
输入符号为X,取值于a1,a2,ar输出符号为Y,取值于b1,b2,bs条件概率:
P(y|x)P(y=bj|x=ai)P(bj|ai)这一组条件概率称为信道的传递概率或转移概率。
信道中有干扰(噪声)存在,可以用传递概率P(bj|ai)来描述干扰影响的大小。
一般简单的单符号离散信道可用X,P(y|x),Y三者加以表述,其数学模型可以用如下概率空间X,P(y|x),Y也可用图形来描述:
单符号离散信道,信道矩阵(转移矩阵)模型一般离散单符号信道的传递概率可用矩阵形式表示,即,矩阵P完全描述了信道的特性,可用它作为离散单符号信道的另一种数学模型的形式。
矩阵P中元素有些是信道干扰引起的错误概率,有些是信道正确传输的概率。
例二元对称信道,BSC,BinarySymmetricalChannel,解:
此时,X:
0,1;Y:
0,1;r=s=2,a1=b1=0;a2=b2=1。
传递概率:
是单个符号传输发生错误的概率。
(1-p)表示是无错误传输的概率。
转移矩阵:
0101,符号“2”表示接收到了“0”、“1”以外的特殊符号,02101,例二元删除信道。
BEC,BinaryEliminatedChannel,解:
X:
0,1Y:
0,1,2此时,r2,s3,传递矩阵为:
(1)联合概率,其中,前向概率,描述信道的噪声特性,后向概率(后验概率),输入符号的先验概率,单符号离散信道的相关概率关系,
(2)输出某符号的概率,含义:
输出端收到的某符号,必是输入端某一符号输入所致。
(3)后验概率,且,根据贝叶斯定理,可知:
3.2信道疑义度与平均互信息,研究离散单符号信道的信息传输问题。
一、信道疑义度,先验熵:
即信道输入信源X的熵,H(X)是在接收到输出Y以前,关于输入变量X的先验不确定性。
后验熵:
接收到bj后,关于输入变量X的不确定性。
后验熵是当信道接收端接收到输出符号bj后,关于输入符号的不确定性的信息测度。
信道疑义度:
后验熵在输出符号集Y范围内是随机量。
对后验熵在符号集Y中求数学期望,即-信道疑义度:
互信息量I(x;y):
收到消息y后获得关于x的信息量,即消除的不确定性量。
互信息量表示先验的不确定性减去尚存的不确定性,是收信者获得的信息量。
若互信息I(x;y)0,说明在收到信息量y以前对消息x是否出现的不确定性较小;但由于信道噪声的存在,反而使得接收到消息y后,反而对x是否出现的不确定程度增加了。
二、平均互信息,平均互信息I(X;Y):
接收到符号Y后,平均每个符号获得的关于X的信息量,体现输入与输出两个随机变量间的统计约束程度。
另一角度:
平均互信息=通信过程所消除的不确定性:
I(X;Y)是I(x;y)的统计平均,可以证明I(X;Y)0。
若I(X;Y)=0,表示在信道输出端接收到符号后不获得任何关于输入符号的信息。
I(X;Y)I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(X)+H(Y)-H(XY)其中:
平均互信息与各类熵的关系,维拉图:
可用于各类熵与平均互信息之间关系H(X|Y)=H(X)-I(X;Y)损失熵/信道疑义度H(Y|X)=H(Y)-I(X;Y)噪声熵/散布度H(XY)=H(X)+H(Y)-I(X;Y),H(X),图中,左边的圆代表随机变量X的熵,右边的圆代表随机变量Y的熵,两个圆重叠部分是平均互信息I(X;Y)。
每个圆减去I(X;Y)后剩余的部分代表两个疑义度。
两种特殊信道分析,
(1)离散无干扰信道(无损信道),信道的输入和输出一一对应,信息无损失传输。
信道传递概率,对应某y,只有一个p(x|y)!
=0,则平均互信息=H(X)=H(Y),损失熵(信道疑义度)=0,噪声熵(散布度)=0,I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X),P(x|y)!
=0,其它取值时为0,无损信道特性在无损信道中,输入符号和输出符号之间一一对应,所以接收到Y后不存在对于输入X的任何不确定性,即信道疑义度(损失熵)等于零。
同时,因为输入和输出符号之间一一对应,所以噪声熵等于零。
这时,接收到的平均互信息量就是输入信源所提供的信息量。
维拉图:
I(X;Y)=H(X)=H(Y),H(X|Y)=H(Y|X)=0I(X;Y)=H(X)=H(Y),各集合完全重迭,无损信道:
(2)输入输出独立信道(全损信道)信道输入和输出没有依赖关系,信息无法传输,称为全损信道。
损失熵(信道疑义度)=H(X):
噪声熵(散布度)=H(Y):
因此在全损信道中,接收到Y后不可能消除有关输入端X的任何不确定性,所以获得的信息量等于零。
同样,也不能从X中获得任何关于Y的信息量。
平均互信息I(X;Y)等于零,表明了信道两端随机变量的统计约束程度等于零。
平均互信息=0:
H(X|Y)=H(X)H(Y|X)=H(Y)I(X;Y)=0,各集合完全独立,全损信道:
H(Y)=H(Y|X),H(X)=H(X|Y),3.3平均互信息的性质,
(1)非负性I(X;Y)0,当X、Y统计独立时等式成立。
证明:
设,,即:
I(X;Y)0。
当所有p(xy)=p(x)p(y),等号成立。
则必满足詹森不等式,因而有如下关系,
(2)极值性即I(X;Y)minH(X),H(Y)当H(X|Y)=0时,即信道信息无损时,等式成立。
证明:
前面已知I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(Y)-H(Y|X)而0H(X|Y),0H(Y|X)因此:
I(X;Y)H(X)且I(X;Y)H(Y)即:
I(X;Y)minH(X),H(Y),表明:
从一事件提取另一事件的信息量,至多只有另一事件的信息熵那么多,不会超过该事件所含有的信息量。
当H(X|Y)=0时,I(X;Y)=H(X),此时信道中信息无损失,接收到Y可获得关于X的平均信息量。
(3)交互性(对称性)即I(X;Y)=I(Y;X)1)当X、Y统计独立时I(X;Y)=I(Y;X)=02)当信道为一一对应的无噪信道时I(X;Y)=I(Y;X)=H(X)=H(Y),因:
从Y中提取X的信息量,从X中提取Y的信息量,(4)凸状性,可知,平均互信息I(X;Y)只是信源X的概率分布P(x)和信道的传递概率P(y|x)的函数,即:
I(X;Y)=fP(x),P(y|x),根据平均互信息表达式:
定理3.1平均互信息I(X;Y)是输入信源的概率分布P(x)的型凸函数。
(1)对固定信道,选择不同的信源(其概率分布不同)与信道连接,在信道输出端接收到每个符号后获得的信息量是不同的。
(2)对于每一个固定信道,一定存在有一种信源处于某一种概率分布P(x),使输出端获得的平均信息量为最大。
例:
对于二元对称信道,如果输入信源符号分布X=w,1-w,则,而:
所以:
当信道固定时,p不变,平均互信息是信源分布的型凸函数(w的上凸函数),最大值为1-H(P),定理3.2平均互信息I(X;Y)是信道传递概率P(y|x)的型凸函数。
当信源确定后,选择不同信道来传输同一信源符号,在信道输出端获得关于信源的信息量是不同的。
对每一种信源都存在一种最差的信道,此时干扰(噪声)最大,而输出端获得的信息量最小。
即:
对于一个已知先验概率为P(X)的离散信源,总可以找到某一个转移概率分布的信道,使平均交信息量达到相应的最小值Imin。
例:
对于二元对称信道,如果信源分布X=w,1-w,则可得,当w固定,p=1/2时,平均互信息最小=0,信息传输率信道中平均每个符号所能传送的信息量。
而平均互信息I(X;Y)则反映了接收到一符号Y后平均每个符号获得的关于X的信息量。
因此,信息传输率可作如下定义:
信息传输率RR=I(X;Y)=H(X)H(X|Y)(比特/符号),3.4离散信道的信道容量,信息传输速率Rt:
信道在单位时间内平均传输的信息量。
即信道中平均每秒传输的信息量:
RtR/t=I(X;Y)/t=H(X)/tH(X|Y)/t(bit/s),一、信道容量由于平均互信息I(X;Y)是输入随机变量的型凸函数,所以对一固定的信道,总存在一种信源的输入分布概率,使传输每个符号平均获得的信息量最大。
信道容量:
对任何一个固定信道,存在一个最大的信息传输率,(比特/符号),与之相对应的输入分布概率P(X)则称为最佳输入分布。
(Bit/s),Ct仍称为信道容量:
若平均传输一个符号需要t秒钟,则信道在单位时间内平均传输的最大信息量为Ct:
性质信道容量与输入信源的概率分布无关,只是信道传输概率的函数,只与信道的统计特性有关。
信道容量是完全描述信道特性的参量,是信道的最大信息传输率。
即:
例二元对称信道容量的计算,因此,二元对称信道的信道容量为:
前述二元对称信道,I(X;Y),(比特符号),1.无噪无损信道(无噪一一对应信道),二、简单离散信道的信道容量,例如:
也即,其信道矩阵是单位矩阵:
满足:
损失熵H(X|Y)=0、噪声熵H(Y|X)=0,故I(X;Y)=H(X)=H(Y),则信道容量:
维拉图:
最佳输入分布:
等概率分布,2.有噪无损信道,信道特点:
输入一个符号X对应若干个输出符号Y,且每一个X值所对应的Y值不重合。
输入符号通过传输变换成了若干个输出符号,不满足一一对应关系,但这些输出符号仍可以分成互不相交的一些子集合。
例,一旦接收到符号Y后,可消除对X符号的不确定性。
分析一下:
损失熵H(X|Y),
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 基础理论 应用 第三 版傅祖芸