pca和KPCA的基本介绍_精品文档资料下载.pdf

pca和KPCA的基本介绍_精品文档资料下载.pdf

《pca和KPCA的基本介绍_精品文档资料下载.pdf》由会员分享，可在线阅读，更多相关《pca和KPCA的基本介绍_精品文档资料下载.pdf（10页珍藏版）》请在冰豆网上搜索。

这些坐标轴经常被称为是主成分。

PCA运算是一个利用了数据集的统计性质的特征空间变换这种变换在无损或很少损失了数据集的信息的情况下降低了数据集的维数。

PCA的基本原理如下给定输入数据矩阵mnX（通常mn）它由一些中心化的样本数据1miix构成其中nixR且10miix（2-1）PCA通过式（2-2）将输入数据矢量ix变换为新的矢量TiisUx（2-2）其中U是一个nn正交矩阵它的第i列iU是样本协方差矩阵11nTiiiCxxn（2-3）的第i个本征矢量。

换句话说PCA首先求解如下的本征问题第二章主成分分析1,.,iiiuCuin（2-4）其中是C的一个本征值iu是相应的本征矢量。

当仅利用前面的P个本征矢量时（对应本征值按降序排列）得矩阵TSUX。

新的分量S称为主分量2。

最大特征值对应的最大特征向量u就是第一个主成分,这个特征向量就是数据有最大方差分布的方向。

第二主成分也就是第二大特征值对应的特征向量数据点沿着这个方向方差有第二大变化且这个特征向量与第一个是正交的。

实际过程中原始数据如果没有经过中心化即式（2-1）不成立则也可以对数据进行标准化处理。

即对每一个指标分量作标准化处理ijjijjAAXS（2-5）其中样本均值11mjijiAAm（2-6）样本标准差211（）1mjijjiSAAm（2-7）得到（）ijmnXx接下来进行以上运算这就是标准的PCA这种标准化方法有效的减少了数据量纲对数据提取的影响3。

2.主成分分析的实现步骤基于上述主成分分析的基本原理可以得出主成分分析的计算步骤如下所示1、将所获得的n个指标（每一指标有m个样品的一批数据写成一个（mn）维数据矩阵1111nmmnaaAaa2、对矩阵A作标准化处理即对每一个指标分量进行标准化处理利用公式（2-5）从而得到（）ijmnXx。

第二章主成分分析3、由式（2-8）计算样本矩阵的相关系数矩阵1（）1TijnnRXXrm（2-8）4、运用Jacobi迭代方法计算R的特征值1,.,n即对应的特征向量1,.,nvv。

5、特征值按降序排序（通过选择排序）得1.n并对特征向量进行相应调整得1,.,nvv。

6、通过施密特正交化方法单位正交化特征向量得到1,.,n。

7、计算特征值的累积贡献率1,.,nBB根据给定的提取效率p如果tBp,则提取t个主成分1,.,t。

8、计算已标准化的样本数据X在提取出的特征向量上的投影YX其中1（,.,）t。

所得的Y即为进行特征提取后的数据也就是数据降维后的数据。

第二章主成分分析第三章基于核的主成分分析1.核方法作为一种由线性到非线性之间的桥梁核方法的相关研究起源于20世纪初叶其在模式识别中的应用至少可以追溯到1964年然而直到最近几年核方法的研究开始得到广泛的重视从而相继提出了各种基于核方法的理论和方法。

核方法是一系列先进性数据处理技术的总称其共同特点是这些数据处理方法都应用了核映射。

核函数方法的基本原理是通过非线性函数把输入空间映射到高维空间在特征空间中进行数据处理其关键在于通过引入核函数把非线性变换后的特征空间内积运算转换为原始空间的核函数计算从而大大简化了计算量4。

从具体操作过程上看核方法首先采用非线性映射将原始数据由数据空间映射到特征空间进而在特征空间进行对应的线性操作如图3-1所示由于采用了非线性映射且这种非线性映射往往是比较复杂的从而大大增强了非线性数据的处理能力。

从本质上讲核方法实现了数据空间、特征空间、和类别空间之间的非线性变换。

设ix和jx为数据空间中的样本点数据空间到特征空间的映射函数为核函数的基础是实现向量的内积变换（,）（,）（）（）ijijijxxKxxxx（3-1）通常非线性变换函数（）相当复杂而运算过程中实际用到的核函数（,）K则相对简单的多这正是核方法迷人的地方。

第二章主成分分析图3-1核方法框架示意图对于核函数必须满足Mercer条件对于任意给定的对称函数（,）ijKxx它是某个特征空间中的内积运算的充要条件是对于任意的不恒为0的函数（）gx满足2（）gxdx有（,）（）（）0Kxygxgydxdy（3-2）式（3-2）给出了函数成为核函数的充要条件。

考虑到核方法的基础是实现了一种由输入空间到特征空间的非线性映射假设输入空间数据为（1,2,）LdixRiN对任意对称、连续且满足Mercer条件的函数（,）ijKxx存在一个Hilbert空间H,对映射:

LdRH有1（,）（）（）FdijnijnKxxxx（3-3）式中Fd是H空间的维数。

常用的核函数有以下几种形式线性核函数（,）iiKxxxx（3-4）P阶多项式核函数（,）（）1piiKxxxx（3-5）核方法由特征空间回到数据空间非线性映射数据空间特征空间由数据空间回到特征空间,ijxxijxx（,）ijKxx非线性操作SVMSVRKPCAKFD（）,（）ijxx（）（）ijxx线性操作分类回归PCAFD第二章主成分分析高斯径向基函数RBF核函数22（,）exp（）iixxKxx（3-6）多层感知器核函数（,）tanh（）iiKxxvxxc（3-7）2.基于核的主成分分析的基本原理假设12,.,Mxxx为训练样本用ix表示输入空间。

KPCA方法的基本思想是通过某种隐式方式将输入空间映射到某个高维空间（常称为特征空间）并且在特征空间中实现PCA5,6。

假设相应的映射为其定义如下:

（）dFxx核函数通过映射将隐式的实现点x到F的映射并且由此映射而得的特征空间中数据满足中心化的条件即1（）0Mx（3-8）则特征空间中的协方差矩阵为11（）（）MTCxxM（3-9）现求C的特征值0和特征向量0VFC（3-10）即有（）（）vxCx（3-11）考虑到所有的特征向量可表示为12（）,（）,.,（）Mxxx的线性张成即1（）Miiivx（3-12）则有1111（）（）（）（）（）（）MMMwwwxxxxxxM（3-13）其中1,2,.,vM。

定义MM维矩阵K第二章主成分分析:

（）（）Kxx（3-14）则式子（3-13）可以简化为2MKK（3-15）显然满足MK（3-16）求解（3-16）就能得到特征值和特征向量对于测试样本在特征向量空间kV的投影为1（）（）（）,（）Mkkiiixxx（3-17）将内积用核函数替换则有1（）（）（,）MkkiiixKxx（3-18）当（3-8）不成立时需进行调整11（）（）（）MvvxxxM1,.,M（3-19）则核矩阵可修正为211,111（）MMMwwwwwwKKKKKMM（3-20）3.基于核的主成分分析的实现步骤基于上述KPCA的基本原理可得KPCA的处理过程如下1、将所获得的n个指标（每一指标有m个样品）的一批数据写成一个（mn）维数据矩阵1111nmmnaaAaa。

2、计算核矩阵先选定高斯径向核函数中的参数再由式（3-14）计算核矩阵K。

3、通过（3-20）修正核矩阵得到KL。

4、运用Jacobi迭代方法计算KL的特征值1,.,n即对应的特征向量1,.,nvv。

5、特征值按降序排序（通过选择排序）得1.n并对特征向量进行相应第二章主成分分析调整得1,.,nvv。

7、计算特征值的累积贡献率1,.,nBB根据给定的提取效率p如果tBp,则提取t个主分量1,.,t。

8、计算已修正的核矩阵X在提取出的特征向量上的投影YKL其中1（,.,）t。

所得的投影Y即为数据经KPCA降维后所得数据。

4.PCA和KPCA的比较主成分分析属于代数特征分析方法是模式识别领域中一种经典的特征抽取和降维方法。

但是PCA的缺点是需要很大的存储空间和计算复杂度。

如果原始空间的维数是n,PCA需要分解一个nn的非稀疏矩阵。

因为PCA是一种线性映射方法降维后的表示是由线性映射生成的它忽略了数据之间高于2阶的相互关系所以抽取的特征并不是最优的这在一定程度上影响了PCA方法的效果7。

核主成分分析是线性PCA的非线性扩展算法它采用非线性的方法抽取主成分即KPCA是在通过映射函数把原始向量映射到高维空间F在F上进行PCA分析8。

KPCA与PCA具有本质上的区别PCA是基于指标的而KPCA是基于样本的。

KPCA不仅适合于解决非线性特征提取问题而且它还能比PCA提供更多的特征数目和更多的特征质量因为前者可提供的特征数目与输入样本的数目是相等的而后者的特征数目仅为输入样本的维数4。

KPCA的优势是可以最大限度地抽取指标的信息但是KPCA抽取指标的实际意义不是很明确计算也比PCA复杂。

PCA的主分量具有如下的特征1、行矢量（）,1,Siip线形无关;

2、用最前面的几个主分量表示原输入其均方逼近误差最小9。

KPCA的特征与特征空间中的PCA的特征是一样的。

其特征如下1、前p（1.pM）个主成分或者是特征向量上的投影与其余p个正交方向相比有较大的方差。

2、通过前p个主分量（在任意p个可能的方向中）描绘F中的观测报告所产生的均方近似误差是最小的。

第二章主成分分析3、主成分之间是线形无关的。

4、前p个主分量相对于输入而言拥有最大的共有信息量。

这表明典型的PCA的性质在特征空间中依然得到保留如最大变化的正交方向、最小的L2-重建误差、相对于输入而言最大的共有信息等9。

5.主动学习在基于核的主成分分析中的应用基于核的主成分分析方法是基于样本的计算所需的时间和内存与输入空间的维数无关但与样本数目却密切相关。

随着样本数量的增多计算的时间复杂度和空间复杂度也随之增加。

事实上各个样本点对降维的贡献是不一样因此可以通过第一主元对应的特征向量11（,）mVvv（其中m为样本的数目）来过滤样本的方法减少样本数目。

具体操作步骤如下1、取该主元特征向量分量11（,）mVvv的绝对值并对所得的绝对值进行降序排序得到11（,）mVvv并记录其对应的样本标号1（,）mAaa。

2、计算1V的各个分量累计所占比重1（,）mDdd若kd大于给定的值提取A中的前k个值并将所得的k个样本编号升序排序得11（,）kAAA以此样本编号对应的样本组合成新的样本数据即1（,）kAAXXXX。

3、对XX执行一次KPCA运算提取出主成分为V计算投影YKKV其中KK为提取出的样本标号1A对应的核矩阵KL（原始数据对应的修正的核矩阵）的行组合而成。

这种方法能简化计算量但如果样本数目太多时上述方法显然不可行。

一是耗费太多的时间二是运算需要占用太多的内存比如128M内存只能完成3000个样本的计算4。

这就需要对样本进行分组训练这种对样本进行筛选方法叫做AKPCA。

设样本数目为N现在将其分成M组1NMN1N为每一组中具有的样本数目设第（1,）