主成分分析法的原理应用及计算步骤76707文档格式.docx

主成分分析法的原理应用及计算步骤76707文档格式.docx

《主成分分析法的原理应用及计算步骤76707文档格式.docx》由会员分享，可在线阅读，更多相关《主成分分析法的原理应用及计算步骤76707文档格式.docx（12页珍藏版）》请在冰豆网上搜索。

二、基本原理

主成分分析是数学上对数据降维的一种方法。

其基本思想是设法将原来众多的具有一定相关性的指标X1,X２,…,XP（比如p个指标），重新组合成一组较少个数的互不相关的综合指标Fm来代替原来指标。

那么综合指标应该如何去提取,使其既能最大程度的反映原变量Xp所代表的信息,又能保证新指标之间保持相互无关（信息不重叠）.

设Ｆ１表示原变量的第一个线性组合所形成的主成分指标，即

由数学知识可知，每一个主成分所提取的信息量可用其方差来度量,其方差Ｖar（F１）越大,表示F1包含的信息越多。

常常希望第一主成分F1所含的信息量最大,因此在所有的线性组合中选取的F１应该是X１,X2,…，XＰ的所有线性组合中方差最大的,故称Ｆ1为第一主成分。

如果第一主成分不足以代表原来p个指标的信息，再考虑选取第二个主成分指标F２,为有效地反映原信息，F1已有的信息就不需要再出现在Ｆ2中,即F2与F1要保持独立、不相关,用数学语言表达就是其协方差Cｏv（F1,　F２）=0，所以Ｆ2是与F1不相关的X1,X2，…,XP的所有线性组合中方差最大的,故称Ｆ２为第二主成分,依此类推构造出的F1、Ｆ2、……、Ｆm为原变量指标Ｘ1、X2……XP第一、第二、……、第m个主成分。

根据以上分析得知：

（1）Ｆi与Fｊ互不相关,即Cov（Ｆｉ,Ｆｊ）　=　0，并有Var（Fｉ）=ai’Σai,其中Σ为X的协方差阵

（2）F1是X1，X2,…，Xp的一切线性组合（系数满足上述要求）中方差最大的，……，即Fm是与Ｆ1,F2,……，Fm－1都不相关的X1，X2,…,XP的所有线性组合中方差最大者。

Ｆ1,Ｆ2,…,Fm（m≤p）为构造的新变量指标,即原变量指标的第一、第二、……、第ｍ个主成分。

由以上分析可见，主成分分析法的主要任务有两点:

（１）确定各主成分Fi（i=1，2,…,ｍ）关于原变量Xj（ｊ＝1，２，…,p）的表达式，即系数

（　i=1,2,…，ｍ；

j＝1,2,…，p）.从数学上可以证明,原变量协方差矩阵的特征根是主成分的方差,所以前m个较大特征根就代表前m个较大的主成分方差值;

原变量协方差矩阵前m个较大的特征值

（这样选取才能保证主成分的方差依次最大）所对应的特征向量就是相应主成分Fi表达式的系数

，为了加以限制,系数

启用的是

对应的单位化的特征向量，即有

＝1。

（２）计算主成分载荷，主成分载荷是反映主成分Ｆi与原变量Xj之间的相互关联程度:

三、主成分分析法的计算步骤

主成分分析的具体步骤如下：

（1）计算协方差矩阵

计算样品数据的协方差矩阵：

Σ=（sij）p⨯p，其中

　i,ｊ=１,２,…,ｐ

（2）求出Σ的特征值

及相应的正交化单位特征向量

　　Σ的前m个较大的特征值λ1≥λ２≥…λｍ〉０,就是前ｍ个主成分对应的方差，

对应的单位特征向量

就是主成分Fｉ的关于原变量的系数，则原变量的第i个主成分Fi为：

Fi＝

X

主成分的方差（信息）贡献率用来反映信息量的大小，

为:

（３）选择主成分

最终要选择几个主成分,即F1,Ｆ2，……，Fm中ｍ的确定是通过方差（信息）累计贡献率G（ｍ）来确定

当累积贡献率大于85%时，就认为能足够反映原来变量的信息了,对应的ｍ就是抽取的前m个主成分。

（4）计算主成分载荷

　主成分载荷是反映主成分Fi与原变量Xj之间的相互关联程度,原来变量Xj（j＝１,2　,…，p）在诸主成分Ｆi（i=1,２,…,m）上的荷载lｉj（i＝1，2，…,m;

j=1,2,…，ｐ）．:

　　在SPSS软件中主成分分析后的分析结果中，“成分矩阵＂反应的就是主成分载荷矩阵.

（5）计算主成分得分

计算样品在m个主成分上的得分:

　　i　=１,2，…,m

实际应用时，指标的量纲往往不同,所以在主成分计算之前应先消除量纲的影响。

消除数据的量纲有很多方法,常用方法是将原始数据标准化，即做如下数据变换:

其中:

，

根据数学公式知道,①任何随机变量对其作标准化变换后，其协方差与其相关系数是一回事，即标准化后的变量协方差矩阵就是其相关系数矩阵。

②另一方面，根据协方差的公式可以推得标准化后的协方差就是原变量的相关系数，亦即，标准化后的变量的协方差矩阵就是原变量的相关系数矩阵。

也就是说,在标准化前后变量的相关系数矩阵不变化.

根据以上论述，为消除量纲的影响，将变量标准化后再计算其协方差矩阵,就是直接计算原变量的相关系数矩阵，所以主成分分析的实际常用计算步骤是:

☆计算相关系数矩阵

☆求出相关系数矩阵的特征值

☆选择主成分　

☆计算主成分得分

总结:

原指标相关系数矩阵相应的特征值ｌｉ为主成分方差的贡献,方差的贡献率为

越大,说明相应的主成分反映综合信息的能力越强，可根据ｌｉ的大小来提取主成分。

每一个主成分的组合系数（原变量在该主成分上的载荷）

就是相应特征值ｌi所对应的单位特征向量.ﻫ

主成分分析法的计算步骤

1、原始指标数据的标准化采集p维随机向量x 

＝（ｘ1,X2，．..,Xｐ）T）n个样品ｘｉ 

＝（xｉ１，ｘi2,。

。

．,xip）Ｔ 

i=１，2，…,ｎ,

　n>

p,构造样本阵,对样本阵元进行如下标准化变换:

其中

得标准化阵Z。

2、对标准化阵Ｚ求相关系数矩阵

　　其中,

　　3、解样本相关矩阵R的特征方程

得p个特征根，确定主成分

　　按

确定m值,使信息的利用率达８5%以上，对每个λj,j＝1,2，。

.。

m，　解方程组Ｒb 

=λｊb得单位特征向量

.

4、将标准化后的指标变量转换为主成分

　U1称为第一主成分，Ｕ2 

称为第二主成分，…,Up 

称为第p主成分。

5、对ｍ个主成分进行综合评价

对m个主成分进行加权求和，即得最终评价值,权数为每个主成分的方差贡献率。

一、主成分分析基本原理

概念：

主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法。

从数学角度来看,这是一种降维处理技术.

思路:

一个研究对象,往往是多要素的复杂系统.变量太多无疑会增加分析问题的难度和复杂性，利用原变量之间的相关关系，用较少的新变量代替原来较多的变量,并使这些少数变量尽可能多的保留原来较多的变量所反应的信息,这样问题就简单化了。

　原理：

假定有n个样本，每个样本共有p个变量，构成一个n×

p阶的数据矩阵，

记原变量指标为x1，ｘ2，…,xｐ，设它们降维处理后的综合指标，即新变量为　　ｚ１,z2，z3，…,ｚm（m≤p）,则

系数lij的确定原则:

①zｉ与zj（i≠j；

i,ｊ＝1，2，…，m）相互无关;

②z1是x1，x2,…,ｘP的一切线性组合中方差最大者，z2是与z１不相关的x１,x2,…,xP的所有线性组合中方差最大者；

zｍ是与ｚ1,z2，……，zm-１都不相关的x1,ｘ２，…xP,　的所有线性组合中方差最大者.

新变量指标z1，z2,…，ｚm分别称为原变量指标x１，x2,…，ｘP的第1,第2，…,第m主成分。

从以上的分析可以看出,主成分分析的实质就是确定原来变量ｘj（ｊ=1，2,…,p）在诸主成分zｉ（ｉ=1,２,…，ｍ）上的荷载liｊ（i＝１,2,…，m；

j=1,2，…,ｐ）.

　从数学上可以证明，它们分别是相关矩阵m个较大的特征值所对应的特征向量。

二、主成分分析的计算步骤

1、计算相关系数矩阵

rij（ｉ,j=1,2，…,p）为原变量xi与ｘj的相关系数,rij=rｊｉ,其计算公式为

2、计算特征值与特征向量

解特征方程　　，常用雅可比法（Ｊacobi）求出特征值，并使其按大小顺序排列　　　　;

分别求出对应于特征值　的特征向量　　　,要求　=1，即

其中表示向量的第j个分量。

3、计算主成分贡献率及累计贡献率

贡献率:

累计贡献率：

一般取累计贡献率达85％—95％的特征值,　　　　所对应的第１、第2、…、第m（m≤p）个主成分。

4、计算主成分载荷

5、各主成分得分

三、主成分分析法在SＰSS中的操作

1、指标数据选取、收集与录入（表１）

2、Ａnalｙｚｅ→DａtaRｅduｃtion　→FacｔorＡnａlｙsis,弹出ＦａｃｔorＡｎaｌysiｓ　对话框:

３、把指标数据选入Ｖariables框,Desｃriｐtiveｓ：

　CoｒrelationMatrix框组中选中Coeｆficients,然后点击Contiｎue，返回Faｃtｏr　Anaｌysis对话框,单击OＫ。

注意:

SPSS在调用FａｃｔorAｎalyze过程进行分析时,SＰＳS会自动对原始数据进行标准化处理，　所以在得到计算结果后的变量都是指经过标准化处理后的变量,　但SPＳS并不直接给出标准化后的数据，如需要得到标准化数据,　则需调用Ｄｅscriptives过程进行计算。

从表3可知GＤP与工业增加值，第三产业增加值、固定资产投资、基本建设投资、社会消费品零售总额、地方财政收入这几个指标存在着极其显著的关系，与海关出口总额存在着显著关系。

可见许多变量之间直接的相关性比较强,　证明他们存在信息上的重叠。

主成分个数提取原则为主成分对应的特征值大于1的前ｍ个主成分。

特征值在某种程度上可以被看成是表示主成分影响力度大小的指标,如果特征值小于1,说明该主成分的解释力度还不如直接引入一个原变量的平均解释力度大,因此一般可以用特征值大于1作为纳入标准。

通过表4（方差分解主成分提取分析）　可知，提取2个主成分,即m=２，从表5（初始因子载荷矩阵）可知ＧDＰ、工业增加值、第三产业增加值、固定资产投资、基本建设投资、社会消费品零售总额、海关出口总额、地方财政收入在第一主成分上有较高载荷，说明第一主成分基本反