KL学习总结.docx
- 文档编号:6649264
- 上传时间:2023-01-08
- 格式:DOCX
- 页数:17
- 大小:285.94KB
KL学习总结.docx
《KL学习总结.docx》由会员分享,可在线阅读,更多相关《KL学习总结.docx(17页珍藏版)》请在冰豆网上搜索。
KL学习总结
K-L变换也常称为主成分变换(PCA)或霍特林变换,是一种基于图像统计特性的变换,它的协方差矩阵除对角线以外的元素都是零,消除了数据之间的相关性,从而在信息压缩方面起着重要作用。
K-L变换是一种线性变换,而且是当取Y的前p(p 和原图像X在均方误差最小意义上的最佳正交变换。 它具有以下性质和特点: (1)由于K-L变换是正交线性变换,所以变换前后的方差总和不变,变换只是把原来的方差不等量的再分配到新的主成分图像中。 (2)第一主成分包含了总方差的绝大部分(一般在80%以上),其余各主成分的方差依次减小。 (3)可以证明,变换后各主成分之间的相关系数为零,也就是说各主成分间的内容是不同的,是“垂直”的。 (4)第一主成分相当于原来各波段的加权和,而且每个波段的加权值与该波段的方差大小成正比(方差大说明信息量大)。 其余各主成分相当于不同波段组合的加权差值图像。 (5)K-L变换的第一主成分还降低了噪声,有利于细部特征的增强和分析,适用于进行高通滤波,线性特征增强和提取以及密度分割等处理。 (6)K-L变换是一种数据压缩和去相关技术,第一成分虽信息量大,但有时对于特定的专题信息,第五、第六主成分也有重要的意义。 (7)可以在图像中局部地区或者选取训练区的统计特征基础上作整个图像的K-L变换,则所选部分图像的地物类型就会更突出。 (8)可以将所有波段分组进行K-L变换,再选主成分进行假彩色合成或其它处理。 (9)K-L变换在几何意义上相当于进行空间坐标的旋转,第一主成分取波谱空间中数据散布最大的方向;第二主成分则取与第一主成分正交且数据散布次大的方向,其余依此类推。 原始图像1 离散余弦变换2dDCT(typeII)与离散傅里叶变换的比较 离散余弦变换(英语: DCTforDiscreteCosineTransform)是与傅里叶变换相关的一种变换,它类似于离散傅里叶变换(DFTforDiscreteFourierTransform),但是只使用实数。 离散余弦变换相当于一个长度大概是它两倍的离散傅里叶变换,这个离散傅里叶变换是对一个实偶函数进行的(因为一个实偶函数的傅里叶变换仍然是一个实偶函数),在有些变形里面需要将输入或者输出的位置移动半个单位(DCT有8种标准类型,其中4种是常见的)。 最常用的一种离散余弦变换的类型是下面给出的第二种类型,通常我们所说的离散余弦变换指的就是这种。 它的逆,也就是下面给出的第三种类型,通常相应的被称为"反离散余弦变换","逆离散余弦变换"或者"IDCT"。 有两个相关的变换,一个是离散正弦变换(DSTforDiscreteSineTransform),它相当于一个长度大概是它两倍的实奇函数的离散傅里叶变换;另一个是改进的离散余弦变换(MDCTforModifiedDiscreteCosineTransform),它相当于对交叠的数据进行离散余弦变换。 应用 离散余弦变换,尤其是它的第二种类型,经常被信号处理和图像处理使用,用于对信号和图像(包括静止图像和运动图像)进行无损数据压缩。 这是由于离散余弦变换具有很强的"能量集中"特性: 大多数的自然信号(包括声音和图像)的能量都集中在离散余弦变换后的低频部分,而且当信号具有接近马尔可夫过程(Markovprocesses)的统计特性时,离散余弦变换的去相关性接近于K-L变换(Karhunen-Loève变换——它具有最优的去相关性)的性能。 例如,在静止图像编码标准JPEG中,在运动图像编码标准MJPEG和MPEG的各个标准中都使用了离散余弦变换。 在这些标准制中都使用了二维的第二种类型离散余弦变换,并将结果进行量化之后进行熵编码。 这时对应第二种类型离散余弦变换中的n通常是8,并用该公式对每个8x8块的每行进行变换,然后每列进行变换。 得到的是一个8x8的变换系数矩阵。 其中(0,0)位置的元素就是直流分量,矩阵中的其他元素根据其位置表示不同频率的交流分量。 一个类似的变换,改进的离散余弦变换被用在高级音频编码(AACforAdvancedAudioCoding),Vorbis和MP3音频压缩当中。 离散余弦变换也经常被用来使用谱方法来解偏微分方程,这时候离散余弦变换的不同的变量对应着数组两端不同的奇/偶边界条件。 正式定义 形式上来看,离散余弦变换一个线性的可逆函数 其中R是实数集,或者等价的说一个 的方阵。 离散余弦变换有几种变形的形式,它们都是根据下面的某一个公式把n个实数 变换到另外n个实数 的操作。 DCT-I 有些人认为应该将x0和xn−1乘以 ,相应的将f0和fn−1乘以 。 这样做的结果是这种DCT-I矩阵变为了正交矩阵(再乘一个系数的话),但是这样就不能直接和一个实偶离散傅里叶变换对应了。 一个n=5的对实数abcde的DCT-I型变换等价于一个8点的对实数abcdedcb(偶对称)的DFT变换,结果再除以2(对应的,DCT-II~DCT-IV相对等价的DFT有一个半个抽样的位移)。 需要指出的是,DCT-I不适用于n<2的情况(其它的DCT类型都适用于所有的整数n)。 所以,DCT-I暗示的边界条件是: xk相对于k=0点偶对称,并且相对于k=n−1点偶对称;对fm的情况也类似。 DCT-II DCT-II大概是最常用的一种形式,通常直接被称为DCT。 有些人更进一步的将f0再乘以 (参见下面的DCT-III型的对应修改)。 这将使得DCT-II成为正交矩阵(再乘一个系数的话),但是这样就不能直接和一个有半个抽样位移的实偶离散傅里叶变换对应了。 所以,DCT-II暗示的边界条件是: xk相对于 点偶对称,并且相对于 点偶对称;对fm相对于m=0点偶对称,并且相对于m=n点奇对称。 DCT-III 因为这是DCT-II的逆变换(再乘一个系数的话),这种变形通常被简单的称为逆离散余弦变换。 有些人更进一步的将x0再乘以 (参见上面的DCT-II型的对应修改),这将使得DCT-III成为正交矩阵(再乘一个系数的话),但是这样就不能直接和一个结果有半个抽样位移的实偶离散傅里叶变换对应了。 所以,DCT-III暗示的边界条件是: xk相对于k=0点偶对称,并且相对于k=n点奇对称;对fm相对于 点偶对称,并且相对于 点奇对称。 DCT-IV DCT-IV对应的矩阵是正交矩阵(再乘一个系数的话)。 一种DCT-IV的变形,将不同的变换的数据重叠起来,被称为改进的离散余弦变换。 DCT-IV暗示的边界条件是: xk相对于 点偶对称,并且相对于k=''n''−1/2点奇对称;对j类似。 DCTV~VIII 上面提到的DCTI~IV是和偶数阶的实偶DFT对应的。 原则上,还有四种DCT变换(Martucci,1994)是和奇数阶的实偶DFT对应的,它们在分母中都有一个''n''+1/2的系数。 但是在实际应用中,这几种变型很少被用到。 最平凡的和奇数阶的实偶DFT对应的DCT是1阶的DCT(1也是奇数),可以说变换只是乘上一个系数a而已,对应于DCT-V的长度为1的状况。 反变换 DCT-I的反变换是把DCT-I乘以系数 。 DCT-IV的反变换是把DCT-IV乘以系数 。 DCT-II的反变换是把DCT-III乘以系数 ,反之亦然。 和离散傅里叶变换类似,变化前面的归一化系数仅仅是常规而已,改变这个系数并不改变变换的性质。 例如,有些人喜欢在DCT-II变换的前面乘以 ,这样反变换从形式上就和变换更相似,而不需要另外的归一化系数。 计算 尽管直接使用公式进行变换需要进行O(n2)次操作,但是和快速傅里叶变换类似,我们有复杂度为O(nlog(n))的快速算法,这就是常常被称做蝶形变换的一种分解算法。 另外一种方法是通过快速傅里叶变换来计算DCT,这时候需要O(n)的预操作和后操作。 参考 K.R.RaoandP.Yip,离散余弦变换: 算法、优点和应用(DiscreteCosineTransform: Algorithms,Advantages,Applications)(AcademicPress,Boston,1990). A.V.Oppenheim,R.W.Schafer,andJ.R.Buck,时间离散信号处理(Discrete-TimeSignalProcessing),secondedition(Prentice-Hall,NewJersey,1999). S.A.Martucci,对称卷积和离散正弦余弦变换(Symmetricconvolutionandthediscretesineandcosinetransforms),IEEETrans.Sig.ProcessingSP-42,1038-1051(1994). MatteoFrigoandStevenG.Johnson: FFTW,http: //www.fftw.org/.一个免费的C语言库GPL,可以计算DCT-I~IV的1维到多维的任意大小的变换 M.FrigoandS.G.Johnson,"FFTW3的设计和实现,"ProceedingsoftheIEEE93 (2),216–231(2005). 外部链接 离散余弦变换 来自“http: //zh.wikipedia.org/w/index.php? title=离散余弦变换&oldid=19454152” 离散余弦变换(DCTforDiscreteCosineTransform)是与傅里叶变换相关的一种变换,它类似于离散傅里叶变换(DFTforDiscreteFourierTransform),但是只使用实数。 离散余弦变换相当于一个长度大概是它两倍的离散傅里叶变换,这个离散傅里叶变换是对一个实偶函数进行的(因为一个实偶函数的傅里叶变换仍然是一个实偶函数),在有些变形里面需要将输入或者输出的位置移动半个单位(DCT有8种标准类型,其中4种是常见的)。 基本介绍 最常用的一种离散余弦变换的类型是下面给出的第二种类型,通常我们所说的离散余弦变换指的就是这种。 它的逆,也就是下面给出的第三种类型,通常相应的被称为"反离散余弦变换","逆离散余弦变换"或者"IDCT"。 有两个相关的变换,一个是离散正弦变换(DSTforDiscreteSineTransform),它相当于一个长度大概是它两倍的实奇函数的离散傅里叶变换;另一个是改进的离散余弦变换(MDCTforModifiedDiscreteCosineTransform),它相当于对交叠的数据进行离散余弦变换。 主要应用 离散余弦变换,尤其是它的第二种类型,经常被信号处理和图像处理使用,用于对信号和图像(包括静止图像和运动图像)进行有损数据压缩。 这是由于离散余弦变换具有很强的"能量集中"特性: 大多数的自然信号(包括声音和图像)的能量都集中在离散余弦变换后的低频部分,而且当信号具有接近马尔科夫过程(Markovprocesses)的统计特性时,离散余弦变换的去相关性接近于K-L变换(Karhunen-Loève变换--它具有最优的去相关性)的性能。 例如,在静止图像编码标准JPEG中,在运动图像编码标准MJPEG和MPEG的各个标准中都使用了离散余弦变换。 在这些标准制中都使用了二维的第二种类型离散余弦变换,并将结果进行量化之后进行熵编码。 这时对应第二种类型离散余弦变换中的n通常是8,并用该公式对每个8x8块的每行进行变换,然后每列进行变换。 得到的是一个8x8的变换系数矩阵。 其中(0,0)位置的元素就是直流分量,矩阵中的其他元素根据其位置表示不同频率的交流分类。 一个类似的变换,改进的离散余弦变换被用在高级音频编码(AACforAdvancedAudioCoding),Vorbis和MP3音频压缩当中。 离散余弦变换也经常被用来使用谱方法来解偏微分方程,这时候离散余弦变换的不同的变量对应着数组两端不同的奇/偶边界条件。 计算方式 尽管直接使用公式进行变换需要进行O(n2)次操作,但是和快速傅里叶变换类似,我们有复杂度为O(nlog(n))的快速算法,这就是常常被称做蝶形变换的一种分解算法。 另外一种方法是通过快速傅里叶变换来计算DCT,这时候需要O(n)的预操作和后操作。 参考资料 K.R.RaoandP.Yip,离散余弦变换: 算法、优点和应用(DiscreteCosineTransform: Algorithms,Advantages,Applications)(AcademicPress,Boston,1990). A.V.Oppenheim,R.W.Schafer,andJ.R.Buck,时间离散信号处理(Discrete-TimeSignalProcessing),secondedition(Prentice-Hall,NewJersey,1999). S.A.Martucci,对称卷积和离散正弦余弦变换(Symmetricconvolutionandthediscretesineandcosinetransforms),IEEETrans.Sig.ProcessingSP-42,1038-1051(1994). MatteoFrigoandStevenG.Johnson: FFTW,http: //www.fftw.org/.一个免费的C语言库GPL,可以计算DCT-I~IV的1维到多维的任意大小的变换 M.FrigoandS.G.Johnson,"FFTW3的设计和实现,"ProceedingsoftheIEEE93 (2),216–231(2005). 改进的离散余弦变换 改进的离散余弦变换(ModifiedDiscreteCosineTransform,MDCT)是一种与傅立叶变换相关的变换,以第四型离散余弦变换(DCT-IV)为基础,重叠性质如下: 它是应用于处理较大的资料集合,当连续的资料区块中,当前的资料区块跟后续的资料区块有重叠到的情形;即当前资料区块的后半段与下一个资料区块的前半段为重叠的状态。 这样的重叠情形,除了具有离散余弦变换(DiscreteCosineTransform,DCT)的能量压缩特性外,也使这种变换在应用于信号压缩时更引人注目。 因为它有助于避免由于资料区块边界所产生的多余资料。 因此,这种变换可应用于MP3,AC-3,oggvorbis,和AAC的音频压缩等方面。 改进的离散余弦变换是由Princen,Johnson和Bradley承接早前(1986年)Princen和Bradley所提出关于时域混叠消除法(Time-DomainAliasingCancellation,TDAC)的改进的离散余弦变换基本定理,于1987年所提出,详述如下。 至于其他类似的变换还有如以离散正弦变换为基础的改进的离散正弦变换(ModifiedDiscreteSineTransform,MDST)。 以及其他较少使用的变换,例如以其他不同类型的DCT或DCT/DST的组合为基础的改进的离散余弦变换。 在MP3的应用上,改进的离散余弦变换,并不适用于直接处理音频信号,而适用于处理32波段多相正交滤波器(Polyphasequadraturefilter,PQF)阵列的输出端信号。 这样的改进的离散余弦变换输出是由一个混叠削减公式作后置处理,用以减少多相正交滤波器阵列的特殊混叠。 这样的改进的离散余弦变换与滤波器阵列组合,被称作混合滤波器阵列或子带改进的离散余弦变换。 相反地,AAC通常使用一个纯粹的改进的离散余弦变换;仅Sony公司使用的MPEG–4AAC-SSR技术采用了运用改进的离散余弦变换的四波段多相正交滤波器阵列(但也是很少使用)。 自适应听觉变换编码(AdaptiveTRansfeormAcousticCoding,ATRAC)利用运用改进的离散余弦变换的堆叠型正交镜像滤波器(QuadratureMirrorFilter,QMF)。 去相关 词目: 去相关。 英文: decorrelation。 释文: 对多光谱图像进行处理和变换,消除或弱化图像波段之间的相关性。 常用的去相关方法主要是K-L变换和色度空间变换(HIS变换)。 K-L变换将图像变换为互不相关的主成分,对各主成分进行反差增强后反变换回图像色调增强效果会依然保留,使在保持原图像色彩的同时提高图像色彩的饱和度。 这种增强方法称为去相关扩展。 IHS变换是将三波段的合成图像由红、绿、蓝坐标系统变换到亮度(I)、色度(H)、饱和度(S)空间,将红、绿、蓝三通道变换为I、H、S三个互不相关的独立物理量,在IHS空间中独立地对饱和度进行增强,可以有效地改善图像的饱和度,称为饱和度增强。 扩展阅读: K-L变换 KL变换 K-L变换 中文名称: K-L变换英文名称: K-Ltransform 定义: 是由卡尔胡宁(Karhumen)与勒夫(Loeve)分别提出,它是一种图像变换方法。 应用学科: 地理学(一级学科);遥感应用(二级学科) K-L变换是一种特殊的正交变换,它是通过对样本集协方差矩阵求的特征值与特征向量的方式构造正交变换。 利用部分特征值最大的特征向量构造的正交变换可对原信号进行降维重构,重构后的信号与原信号之差为截尾误差时的最佳正交变换。 最佳条件是指在降维数相同条件下,K-L变换的平均截尾误差平方和比任何一个其它正交变换要小。 K-L变换的这种性质对信息压缩有价值,在模式识别中广泛用于特征提取。 Karhunen-Loeve 全称: Karhunen-Loeve 用子波域中部分KL变换来抑制噪声的方法 提高S/N比是地震数据处理的主要任务。 有时野外环境非常坏,例如,沙漠、沼泽地和黄土地区,以致记录器受到很严重的干扰,而接收不到反射波。 为了获得高质量剖面,介绍了一种崭新的滤波法: WKL法。 该法是根据噪声(例如,地面波)的传播特点,利用子波的优点及部分KL变换。 该法的依据是反射波和噪声的传播原则及其频率范围之差。 合成数据和实际数据处理结果证明,该法要优于其它的方法,而且它能明显地增强S/N比及能合理地消除噪声。 K-L变换 1.K-L变换的定义 以矢量信号X的协方差矩阵Ф的归一化正交特征矢量q所构成的正交矩阵Q,来对该矢量信号X做正交变换Y=QX,则称此变换为K-L变换(K-LT或KLT),K-LT是Karhuner-Loeve变换的简称,有的文献资料也写作KLT。 可见,要实现KLT,首先要从信号求出其协方差矩阵Ф,再由Ф求出正交矩阵Q。 Ф的求法与自相关矩阵求法类似。 2.K-L变换的特性 (1)去相关特性。 K-L变换是变换后的矢量信号Y的分量互不相关。 (2)能量集中性。 所谓能量集中性,是指对N维矢量信号进行K-L变换后,最大的方差见集中在前M个低次分量之中(M (3)最佳特性。 K-L变换是在均方误差测度下,失真最小的一种变换,其失真为被略去的各分量之和。 由于这一特性,K-L变换被称为最佳变换。 许多其他变换都将K-L变换作为性能上比较的参考标准。 (4)无快速算法,且变换矩阵随不同的信号样值集合而不同。 这是K-L变换的一个缺点,是K-L变换实际应用中的一个很大障碍。 1.主分量分析(PCA)、K-L变换(Hotelling变换) 一般而言,这一方法的目的是寻找任意统计分布的数据集合之主要分量的子集。 相应的基向量组满足正交性且由它定义的子空间最优地考虑了数据的相关性。 将原始数据集合变换到主分量空间使单一数据样本的互相关性(cross-correlation)降低到最低点。 设是N维向量的数据集合,m是其均值向量: 有了特征向量集合,任何数据x可以投影到特征空间(以特征向量为基向量)中的表示: 相反地,任何数据x可以表示成如下的线性组合形式: 如果用A代表以特征向量为列向量构成的矩阵,则AT定义了一个线性变换: 上述去相关的主分量分析方法可以用于降低数据的维数。 通过略去对应于若干较小特征值的特征向量来给y降维。 例如,丢弃底下N-M行得到的矩阵B,并为简单起见假定均值m=0,则有: 它只是被舍弃的特征向量所对应的特征值的和。 通常,特征值幅度差别很大,忽略一些较小的值不会引起很大的误差。 上述方法是图象数据压缩的数学基础之一,通常被称为PrincipalComponentAnalysis(PCA)或Karhunen-Loeve(K-L)变换。 K-L变换的核心过程是计算特征值和特征向量,有很多不同的数值计算方法。 一种常采用的方法是根据如下的推导: 由于通常s< K-L变换是图象分析与模式识别中的重要工具,用于特征抽取,降低特征数据的维数。 例如,MIT-MediaLab基于特征脸的人脸识别方法。 http: //www-white.media.mit.edu/vismod/demos/facerec/ (以上图片来自于MIT-MediaLabPhotobook/EigenfacesDemo) 2.奇异值分解(SVD) 奇异值分解(SingularValueDecomposition)是矩阵分析中正规矩阵酉对角化的推广。 设矩阵A是的秩为r,它的奇异值是指n阶方阵AHA(或m阶方阵AAH)的正特征值的平方根(AH是A的共轭转置)。 奇异值分解是指如下形式的分解: 对于图象数据而言,任意一个的矩阵A定义的奇异值变换为: 3.DCT与K-L变换的关系 马尔可夫(Markov)过程一个静态随机序列称为一阶Markov序列,如果序列中每个元素的条件概率只依赖于它的前一个元素。 一个的Markov序列的协方差矩阵具有以下形式: 其中,相邻两元素之间的相关系数: 这个协方差矩阵的特征值和特征向量(K-L变换正交矩阵的元素)为: 在ρ趋近1时有 与DCT变换相同。 对于自然景物,通常有。 这时DCT的基向量可以很好地近似K-L变换的基向量。 由于这个原因,在图象压缩算法中常被用来代替K-L变换,如JPEG算法。 尽管DCT在降低谱的相关性方面不如K-L变换有效,但是其好处是它的基函数是固定的,而K-L变换的基函数取决于待变换图象的协方差矩阵。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- KL 学习 总结