第4章信息率失真函数.ppt
- 文档编号:2715935
- 上传时间:2022-11-09
- 格式:PPT
- 页数:48
- 大小:463KB
第4章信息率失真函数.ppt
《第4章信息率失真函数.ppt》由会员分享,可在线阅读,更多相关《第4章信息率失真函数.ppt(48页珍藏版)》请在冰豆网上搜索。
第第4章章信息率失真函数信息率失真函数第第4章章信息率失真函数信息率失真函数本章主要讨论在信源允许一定失真情况下所需的最少信息率,从分析失真函数、平均失真出发,求出信息率失真函数R(D)。
2第第4章章信息率失真函数信息率失真函数平均失真和信息率失真函数平均失真和信息率失真函数离散信源和连续信源的离散信源和连续信源的R(D)计算计算34.1平均失真和信息率失真函数平均失真和信息率失真函数失真函数失真函数平均失真平均失真信息率失真函数信息率失真函数R(D)信息率失真函数的性质信息率失真函数的性质44.1.1失真函数失真函数失真函数的意义失真函数的意义在实际问题中,信号有一定的失真是可以容忍的。
但是当失真大于某一限度后,信息质量将被严重损伤,甚至丧失其实用价值。
要规定失真限度,必须先有一个定量要规定失真限度,必须先有一个定量的失真测度。
为此可引入失真函数。
的失真测度。
为此可引入失真函数。
54.1.1失真函数失真函数失真函数的定义失真函数的定义假如某一信源X,输出样值为xi,xia1,an,经过有失真的信源编码器,输出Y,样值为yj,yjb1,bm。
如果xiyj,则认为没有失真;如果xiyj,那么就产生了失真。
失真的大小,用一个量来表示,即失真函数失真函数d(xi,yj),以衡量用yj代替xi所引起的失真程度。
一般失真函数定义为:
64.1.1失真函数失真函数失真矩阵失真矩阵将所有的d(xi,yj)排列起来,用矩阵表示为称d为失真矩阵。
74.1.1失真函数失真函数失真函数举例失真函数举例例:
设信源符号序列为X=0,1,接收端收到符号序列为Y=0,1,2,规定失真函数为则其失真矩阵为:
84.1.1失真函数失真函数失真函数的数值失真函数的数值值得注意的是,失真函数d(xi,yj)的数值是依据实际应用情况,用yj代替xi所导致的失真大小。
是人为决定的是人为决定的。
失真函数的形式可以根据需要任意选取。
94.1.1失真函数失真函数常用的失真函数常用的失真函数注:
注:
前三种失真函数适用于连续信源,后一种适用于离散信源。
104.1.1失真函数失真函数符号序列的失真函数符号序列的失真函数失真函数的定义可以推广到符号序列的情况,如果假定离散信源输出符号序列X=(X1,X2,Xl,XL),其中L长符号序列样值xi=(xi1,xi2,xil,xiL),经信源编码后,输出符号序列Y=(Y1,Y2,Yl,YL),其中L长符号序列样值yj=(yj1,yj2,yjl,yjL),则失真函数定义为:
其中d(xil,yjl)是信源输出xi中的第l个符号xil,经编码后输出yj中的第l个符号yjl时的失真函数。
114.1.2平均失真平均失真平均失真的定义平均失真的定义由于xi和yj都是随机变量,所以失真函数d(xi,yj)也是随机变量,要分析整个信源的失真大小,就需要用其数学期望或统计平均值表示,因此将失真函数的数学期望称为平均失真平均失真,记为:
124.1.2平均失真平均失真平均失真的物理含义平均失真的物理含义信源编码器把它想象成信道134.1.2平均失真平均失真消息序列的平均失真消息序列的平均失真对于L长消息序列的编码情况,其平均失真为:
144.1.2平均失真平均失真失真函数与平均失真的区别失真函数与平均失真的区别失真函数:
失真函数:
描述了某个信源符号通过传输后失真的大小。
平均失真:
平均失真:
描述某个信源在某一试验信道传输下的失真大小,它对信源和信道进行了统计平均,是从总体上描述整个系统的失真。
154.1.3信息率失真函数信息率失真函数R(D)信源编码问题的研究信源编码问题的研究如图所示,信源X经过有失真的编码器输出Y,将这样的编码器看作是存在干扰的假象信道,Y当作接收端的符号。
这样就可以用分析信道传输的方法来研究限失真信源编码问题。
信源编码器信源编码器XY假想信道假想信道164.1.3信息率失真函数信息率失真函数R(D)信源编码问题的研究信源编码问题的研究信源编码器的目的是使编码后所需的信息传输率R尽量小,然而R越小,引起的平均失真就越大。
给出一个失真的限制值D,在满足保真度准则保真度准则的条件下,即:
选择一种编码方法使信息率R尽可能小。
174.1.3信息率失真函数信息率失真函数R(D)信源编码问题的研究信源编码问题的研究信息率R就是所需输出的有关信源X的信息量。
将此问题对应到信道,即为接收端Y需要获得的有关X的信息量,也就是互信息I(X;Y)。
这样,选择信源编码方法的问题就变成了选择假想信道的问题,符号转移概率p(yj|xi)就对应信道转移概率。
184.1.3信息率失真函数信息率失真函数R(D)D允许试验信道允许试验信道由称为D允许试验信道允许试验信道。
194.1.3信息率失真函数信息率失真函数R(D)信息率失真函数信息率失真函数R(D)由于互信息取决于信源分布和信道转移概率分布,根据前面所述,当当p(xi)一定时,互信息一定时,互信息I是关于是关于p(yj|xi)的的U型凸函数,存在极小值。
型凸函数,存在极小值。
因而在上述允许信道PD中,可以寻找一种信道pij,使给定的信源p(xi)经过此信道传输后,互信息I(X;Y)达到最小。
该最小的互信息就称为信息率失真函数R(D),即:
204.1.3信息率失真函数信息率失真函数R(D)信息率失真函数信息率失真函数R(D)在限定失真为D的条件下信源输出的最小信息速率。
PD是所有满足保真度准则的试验信道集合。
214.1.3信息率失真函数信息率失真函数R(D)信息率失真函数信息率失真函数R(D)对于离散无记忆信道,224.1.3信息率失真函数信息率失真函数R(D)信息率失真函数信息率失真函数R(D)的理解的理解1)在信源给定后,我们希望在满足一定失真的情况下,使信源必须传输给收信者的信息传输率R尽可能地小;2)若从接收端来着,就是在满足保真度准则下,寻找再现信源消息所必须获得的最低平均信息量。
即在满足保真度准则的条件下寻找平均互信息I(X,Y)的最小值。
234.1.3信息率失真函数信息率失真函数R(D)信息率失真函数与平均互信息、信道容量的比较信息率失真函数与平均互信息、信道容量的比较平均互信息平均互信息I(X;Y):
信源的概率分布p(xi)的型函数;信道转移概率p(yj|xi)的型函数。
244.1.3信息率失真函数信息率失真函数R(D)信息率失真函数与平均互信息、信道容量的比较信息率失真函数与平均互信息、信道容量的比较信道容量信道容量C:
1)假定信道固定的前提下,选择一种试验信源使信息传输率最大。
2)它所反映的是信道传输信息的能力,是信道可靠传送的最大信息传输率。
3)一旦找到了信道容量,它就与信源不再有关,而是信道特性的参量,随信道特性的变化而变化。
4)不同的信道其信道容量不同。
254.1.3信息率失真函数信息率失真函数R(D)信息率失真函数与平均互信息、信道容量的比较信息率失真函数与平均互信息、信道容量的比较信息率失真函数信息率失真函数R(D):
1)假定信源给定的情况下,用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。
2)它反映的是信源可以压缩的程度,是在满足一定失真度要求下信源可压缩的最低值。
3)率失真函数一旦找到,就与求极值过程中选择的试验信道不再有关,而只是信源特性的参量。
4)不同的信源其R(D)不同。
264.1.3信息率失真函数信息率失真函数R(D)信息率失真函数与平均互信息、信道容量的比较信息率失真函数与平均互信息、信道容量的比较研究信道容量:
研究信道容量:
充分利用已给信道,使传输的信息量最大,而发生错误错误的概率任意小的概率任意小。
研究信息率失真函数:
研究信息率失真函数:
解决在已知信源和允许失真度D的条件下,使信源必须传送给信宿的信息率最小。
即用尽可能少的码符号尽快地传送尽可能多的信源消息,以提高通信的有效性提高通信的有效性。
274.1.3信息率失真函数信息率失真函数R(D)信息率失真函数举例信息率失真函数举例例:
设信源的符号表为A=al,a2,a2n,概率分布为p(ai)=1/2n,i=1,2,2n,失真函数规定为即不发生差错时失真为0,出错失真为1。
研究在一定编码条件下信息压缩的程度。
284.1.3信息率失真函数信息率失真函数R(D)信息率失真函数举例信息率失真函数举例由信源概率分布可求出信源熵为:
如果对信源进行不失真编码,平均每个符号至少需要log2n个二进制码元。
294.1.3信息率失真函数信息率失真函数R(D)信息率失真函数举例信息率失真函数举例现在假定允许有一定失真,假设失真限度为D=1/2。
设想采用下面的编码方案:
用信道模型图表示为:
.304.1.3信息率失真函数信息率失真函数R(D)信息率失真函数举例信息率失真函数举例按照上述关于失真函数的规定,平均失真为:
由该信道模型图可以看出,它是一个确定信道,固有:
信道输出概率分布为:
314.1.3信息率失真函数信息率失真函数R(D)信息率失真函数举例信息率失真函数举例输出熵H(Y)为由以上结果可知,经压缩编码以后,信源需要传输的信息率由原来的log2n压缩到log2n-(n+1)/2n)log(n+1)。
也就是说,信息率压缩了log2n-(n+1)/2n)log(n+1)。
这是采用了上述压缩编码方法的结果,所付出的代价是容忍了1/2的平均失真。
压缩324.1.3信息率失真函数信息率失真函数R(D)信息率失真函数举例信息率失真函数举例如果选取对压缩更为有利的编码方案,则压缩的效果可能更好。
但一旦达到最小互信息这个极限值,就是R(D)的数值(此处D=1/2),或超过这个极限值,那么失真就要超过失真限度。
如果需要压缩的信息率更大,则可容忍的平均失真就要更大。
334.1.4信息率失真函数的性质信息率失真函数的性质R(D)函数的定义域函数的定义域率失真的定义域问题就是在信源和失真函数已知的情况下,讨论允许平均失真度D的最小和最大取值问题。
344.1.4信息率失真函数的性质信息率失真函数的性质R(D)函数的定义域函数的定义域
(1)Dmin和R(Dmin)由于平均失真度是非负实数d(xi,yj)的数学期望,因此也是非负的实数,所以:
Dmin=0此时对应于无失真情况,相当于无噪声信道,此时信道传输的信息量等于信源熵,即:
注:
注:
只有当失真矩阵的每一行至少有一个0元素时,信源的平均失真度才能达到下限值0。
354.1.4信息率失真函数的性质信息率失真函数的性质R(D)函数的定义域函数的定义域
(2)Dmax和R(Dmax)由于I(X;Y)是非负函数,而R(D)是在约束条件下的I(X;Y)的最小值,所以R(D)也是一个非负函数,它的下限值是0。
当R(D)为0,意味着不需要传输任何信息。
显然,D越大,直至无限大都能满足这样的情况,这里选择所有满足R(D)0中D的最小值,定义为R(D)定义域的上限Dmax,即364.1.4信息率失真函数的性质信息率失真函数的性质R(D)函数的定义域函数的定义域
(2)Dmax和R(Dmax)因此可以得到R(D)的定义域为:
374.1.4信息率失真函数的性质信息率失真函数的性质R(D)函数的定义域函数的定义域(3)Dmax的计算因为R(D)=0,也就是I(X;Y)=0,这时试验信道输入与输出是互相独立的,所以此时平均失真为:
384.1.4信息率失真函数的性质信息率失真函数的性质R(D)函数的定义域函数的定义域(3)Dmax的计算394.1.4信息率失真函数的性质信息率失真函数的性质R(D)函数的定义域函数的定义域(4)举例例:
设输入输出符号表为XY0,1,输入概率分布p(x)=1/3,2/3,失真矩阵为试分析R(Dmin)、Dmax。
404.1.4信息率失真函数的性质信息率失真函数的性质R(D)函数的定义域函数的定义域(4)举例解:
当Dmin0时,R(Dmin)H(X)H(1/3,2/3)0.91比特/符号,这时信源编码器无失真,所以该编码器的转移概率为414.1.4信息率失真函数的性质信息率失真函数的性质R(D)函数的定义域函数的定义域(
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息率 失真 函数