《信息论基础A》清华复习资料.docx
- 文档编号:1484756
- 上传时间:2022-10-22
- 格式:DOCX
- 页数:15
- 大小:392.85KB
《信息论基础A》清华复习资料.docx
《《信息论基础A》清华复习资料.docx》由会员分享,可在线阅读,更多相关《《信息论基础A》清华复习资料.docx(15页珍藏版)》请在冰豆网上搜索。
《信息论基础A》清华复习资料
《信息论基础A》(清华)复习资料
●
●
●
●无失真编码定理:
(香农第一定理)
如果L维离散平稳信源的平均符号熵为HL(X1X2…XL),
对信源符号进行m元不等长组编码,一定存在一种无失真编码方法,当L足够大时,使得每个信源符号所对应码字的平均比特数:
无失真编码定理从理论上阐明了编码效率:
●L→∞时,
则极限熵H∞是一个界限,通常也称为香农界
对于L维离散平稳无记忆信源,由于其平均符号熵HL(X1X2…XL)=H(X),故对信源符号进行m元不等长组编码,一定存在一种无失真编码方法,当L足够大时,使得每个信源符号所对应码字的平均比特数:
,此时香农界为H(X)。
对离散平稳信源进行无失真编码,每个信源符号所对应码字的平均比特数平稳无记忆信源最多,m阶马尔科夫信源次之,一般平稳信源最少。
●二进制香农码的编码步骤如下:
1)将符号元xi按概率进行降序排列
2)令p(x0)=0,计算第j-1个码字的累加概率:
3)确定第i个码字的码长ki,满足下列不等式:
4)将pa(xj)用二进制表示,取小数点后ki位作为符号元xi的码字。
●哈夫曼(Huffman)编码
1)将符号元按概率进行降序排列
2)为概率最小的符号元分配一个码元1,概率次小的符号元分配一个码元0
3)将概率最小的两个符号元合并成一个新的符号元,用两者概率之和作为该新符号元的概率;
4)重复以上三个步骤,直到最后合并出一个以1为概率的符号元
哈弗曼码有两种排列方式,分前置和后置。
采用不同排列方法编出的哈夫曼码,其码字和码长可能完全不相同,但平均码长一定是相等的,因此编码效率不会因排列方法而改变。
但放在前面可以使短码得到充分利用
第四章
离散信道及信道容量
●符号离散信道的数学模型可表示为:
●互信息量
在有噪信道的情况下,将信源发出xi而信宿接收到yj所包含的信息量用I(yj;xi)来表示并将其称为xi对yj的互信息量,则互信息量的定义为:
I(yj/xi)称为条件信息量,表示信道给出的“信息”。
互信息量的性质:
I(yj;xi)是随机量,I(yj;xi)可为正值也可为负值,I(yj;xi)具有对称性
●单符号离散信道的平均互信息量:
,条件熵H(Y/X)是信道所给出的平均信息量,通常称为噪声熵
,条件熵H(X/Y)也是信道所给出的平均“信息”量,通常称为损失熵,也称为信道疑义度
●平均互信息量的性质和定理:
1)I(Y;X)的对称性
2)I(Y;X)的非负性
3)I(Y;X)的极值性:
4)I(Y;X)的凸函数性当信道固定时,I(Y;X)是信源概率分布P(X)的上凸函数;当信源固定时,I(Y;X)是信道转移概率分布P(Y/X)的下凸函数
5)数据处理定理:
一个信息传递并进行数据处理的问题可看成是一个由串联信道进行信息传递的问题
●单符号离散信道的信道容量
由于平均互信息量反映的是每传输一个符号在信道中流通的平均信息量,从这个意义上,可以将其理解为信道的信息传输率(不是信息传输速率!
),即。
定义最大的信息传输率为信道容量,即:
。
定义最大信息传输速率为:
●信道容量的计算步骤
●均匀信道和对称信道的信道容量
,,则称该信道为均匀信道
均匀信道的信息传输率可达最大,其信道容量为:
●对称信道和对称信道的信道容量
既是行可排列的,又是列可排列的,则称该矩阵所表示的信道为对称信道则称该信道为对称信道
如果每一行都是同一集合中诸元素的不同排列,则称该矩阵为行可排列的;如果每一列都是同一集合中诸元素的不同排列,则称该矩阵为列可排列的
均匀信道的信息传输率可达最大,其信道容量为:
●离散无记忆信道及其信道容量
对应于多符号离散信源和多符号离散信宿的信道为多符号离散信道,可表示为:
当信源和信宿均为平稳无记忆时,信道矩阵中的条件概率:
该信道矩阵表示的多符号离散信道称为离散无记忆信道(DMC,DiscreteMemorylessChannel)。
可称其为L次扩展信道
如果记一维离散无记忆信道的信道容量为C,则其L次扩展信道的信道容量为:
第五章离散信道编码
●信道编码定理
译码规则的设计依据的是最小错误概率准则。
为了降低错误概率,可以考虑重复发送,如重复三次,即将x1编码为a1=x1x1x1,x2编码为a2=x2x2x2,称为3重复码
香农第二定理:
对于离散无记忆信道,如其信道容量为C,只要信息传输率R 该定理从理论上证明了译码错误概率任意小的理想纠错编码的存在性 信道编码定理也指出,信道容量C是一个界限,如果信息传输率超过这个界限一定会出错 ●汉明距离与线性分组码 线性分组码通常用于前向纠错,可表示为(n,k),其中n为码字长度,k为信息位长度,从而校验位长度为n-k 在m(=2k)个码字构成的码中,两个长度为n的码字之间的汉明距离(码距)是指两个码字对应位置上不同码元的个数;对于二元码,码距可表示为: 长度为n的码字的汉明重量(码重)是指码字中非零码元的个数;对于二元码,码重可表示为: 对于二元码,两个长度为n的码字之间的码距可用码重表示: 线性分组码(n,k)能检e个错误并能纠t个错误的充要条件是: 最简单的能检1个错误并能纠1个错误的线性分组码(n,k)的 将错误序列E的随机结果ei称为错误图案,当eik=1时,表示第i个码字的第k位在传输中出现错误。 最简单的能检1个错误并能纠1个错误的线性分组码(n,k)的错误图案为00…01,00…10,…,01…00,10…00 ●(7,4)汉明码 设码字为: ,其中为信息位,长度为k=4,为校验位,长度为n-k=3 (7,4)汉明码的编码由生成矩阵产生: (7,4)汉明码的最小距离: 由线性分组码(n,k)能检e个错误并能纠t个错误的充要条件,(7,4)汉明码只能检出并纠正1个错误 ● 3重复码的最小距离,3重复码也只能检出并纠正1个错误,5重复码能检出并纠正2个错误 ⏹高莱码 ⏹是二进制(23,12)线性码, ⏹其最小距离dmin=7,纠错能力t=3。 ⏹是完备码,因为满足等式 223-12=2048= ⏹在(23,12)码上添加一位奇偶位即得二进制线性(24,12)扩展高莱码,其最小距离dmin=8。 第六章连续信源与连续信道 ●单变量连续信源的数学模型 定义连续信源的相对熵: 。 相对熵不能反映连续信源的平均不确定度。 定义相对熵的目的在于在形式上与离散信源熵统一并使熵差具有信息测度的意义。 两个连续随机变量的联合熵: 两个连续随机变量的条件熵: ●均匀分布连续信源的相对熵: , 高斯分布连续信源的相对熵: , 指数分布连续信源的相对熵: , ●相对熵的性质及最大相对熵定理 1)相对熵不具有非负性 2)相对熵的可加性: , 最大相对熵定理: 连续信源没有一般意义下的最大熵,只有限制条件下的最大熵 1)取值范围受限条件下的最大熵定理 随机变量取值被限定在一定范围内,则在该有限定义域内均匀分布的连续信源具有最大熵,即: 2)平均功率受限条件下的最大熵定理 随机变量的平均功率被限定,则均值为零、方差为该平均功率的高斯分布的连续信源具有最大熵,即: 3)均值受限条件下的最大熵定理 非负随机变量的均值被限定,则均值为该限定值的指数分布的连续信源具有最大熵,即: ●连续信道的平均互信息量 , 平均互信息量的性质和定理: 平均互信息量具有非负性,平均互信息量具有对称性,平均互信息量具有凸函数性。 数据处理定理 信道固定时,总能找到一种信源概率密度函数,使信道的信息传输率最大,称该最大值为信道容量,即: ●如果噪声N是均值为0、方差为σ2的高斯噪声,输入X均值为零、方差 为σX2的高斯分布,则称为高斯加性信道,此时 X的平均功率被限定为PX,已知噪声N的平均功率为PN,可取输出Y的平均功率: 。 输出Y为均值等于零、方差σY2等于PY的高斯分布时具有最大熵,即 高斯加性信道的信道容量: 条件是p(x)满足均值为0,方差为σX2的高斯分布, ●香农公式 当信道的频带为(0,W)时,将信道的一次传输看成是一次采样,根据采样定理,采样率为2W可保证不失真从而不失真的一次传输所需时间为1/2W,相应的最大信息传输速率: 第七章信息率失真理论 ●离散信源的信息率失真函数 总能找到一种信道转移概率分布,使信息传输率最小 定义非负函数d(xi,yj)i=1,2,…,n;j=1,2,…,m为失真度,称全部n×m个失真度组成的矩阵为失真矩阵: 常用的失真矩阵: ,当α=1时,称为汉明失真矩阵。 称为平方误差失真度。 平均失真度: 保真度准则: 如果给定的允许失真为D,则称为保真度准则。 定义保真度准则下的最小信息传输率为信息率失真函数: 信息率失真函数的性质和定义域: R(D)具有非负性,R(D)是D的下凸函数,R(D)是D单调递减连续函数 信息率失真函数的定义域: , 特别地,当D=Dmin=0,即不允许任何失真时R(D)=H(X) ●信息率失真函数的参量表达式 信道转移概率分布的n个约束条件是,。 平均失真度的约束条件是: 。 信息率失真函数的计算步骤为: 其中,且S<0及 ●等概率信源的信息率失真函数 当p=0.5,即二元等概率信源时的信息率失真函数: n元等概率信源,其信息率失真函数: ●连续信源的信息率失真函数 定义随机变量X、Y之间的失真函数为非负函数d(x,y),则平均失真度: 记实验信道的集合: 。 定义信息率失真函数: ,其中 ●高斯信源的信息率失真函数 平均失真度 Y=y条件下的条件熵: 信道疑义度: 在满足保真度准则的条件下 保真度准则下的信源编码定理(香农第三定理): 序列长度为L的离散平稳无记忆信源,信息率失真函数为R(D),对于任意允许失真D和任意小的数ε>0,只要信息传输率R>R(D),总可以找到一种编码,使得当L足够长时,译码后的平均失真度,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论基础A 信息论 基础 清华 复习资料
![提示](https://static.bdocx.com/images/bang_tan.gif)