主成分分析法的原理应用及计算步骤.docx
- 文档编号:424644
- 上传时间:2022-10-10
- 格式:DOCX
- 页数:15
- 大小:131.44KB
主成分分析法的原理应用及计算步骤.docx
《主成分分析法的原理应用及计算步骤.docx》由会员分享,可在线阅读,更多相关《主成分分析法的原理应用及计算步骤.docx(15页珍藏版)》请在冰豆网上搜索。
主成分分析法的原理应用及计算步骤
一、概述
在处理信息时,当两个变量之间有一定相关关系时,可以解释为这两个变量反映此课题的信息有一定的重叠,例如,高校科研状况评价中的立项课题数与项目经费、经费支出等之间会存在较高的相关性;学生综合评价研究中的专业基础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。
而变量之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。
为了解决这些问题,最简单和最直接的解决方案是削减变量的个数,但这必然又会导致信息丢失和信息不完整等问题的产生。
为此,人们希望探索一种更为有效的解决方法,它既能大大减少参与数据建模的变量个数,同时也不会造成信息的大量丢失。
主成分分析正式这样一种能够有效降低变量维数,并已得到广泛应用的分析方法。
主成分分析以最少的信息丢失为前提,将众多的原有变量综合成较少几个综合指标,通常综合指标(主成分)有以下几个特点:
主成分个数远远少于原有变量的个数
原有变量综合成少数几个因子之后,因子将可以替代原有变量参与数据建模,这将大大减少分析过程中的计算工作量。
主成分能够反映原有变量的绝大部分信息
因子并不是原有变量的简单取舍,而是原有变量重组后的结果,因此不会造成原有变量信息的大量丢失,并能够代表原有变量的绝大部分信息。
主成分之间应该互不相关
通过主成分分析得出的新的综合指标(主成分)之间互不相关,因子参与数据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问题。
主成分具有命名解释性
总之,主成分分析法是研究如何以最少的信息丢失将众多原有变量浓缩成少数几个因子,如何使因子具有一定的命名解释性的多元统计分析方法。
、基本原理
主成分分析是数学上对数据降维的一种方法。
其基本思想是设法将原来众多的具有一定相关性的指标XI,X2,…,XP(比如p个指标),重新组合成一组较少个数的互不相关的综合指标Fm来代替原来指标。
那么综合指标应该如何去提取,使其既能最大程度的反映原变量Xp所代表的信息,又能保证新指标之间保持相互无关(信息不重叠)。
设F1表示原变量的第一个线性组合所形成的主成分指标,即
F1=ailXla2lX2'...'aplXp,由数学知识可知,每一个主成分所提取的信息量可用其方差来度量,其方差Var(F1)越大,表示F1包含的信息越多。
常常希望第一主成分F1所含的信息量最大,因此在所有的线性组合中选取的F1应该是XI,X2,…,XP的所有线性组合中方差最大的,故称F1为第一主成分。
如果第一主成分不足以代表原来p个指标的信息,再考虑选取第二个主成分指标F2,为有
效地反映原信息,F1已有的信息就不需要再出现在F2中,即F2与F1要保持独立、不相关,用数学语言表达就是其协方差Cov(F1,F2)=0,所以F2是与F1不
相关的X1,X2,…,XP的所有线性组合中方差最大的,故称F2为第二主成分,
依此类推构造出的F1、F2、……、Fm为原变量指标X1、X2……XP第一、第第m个主成分。
F2
-ai1X1'ai2X2'...'aipXp
—a?
iXi■a?
2X2・・・a?
pXp
Fm
-am1X1
am2X2...ampXp
根据以上分析得知:
(1)Fi与Fj互不相关,即Cov(Fi,Fj)=0,并有Var(Fi)=ai'工ai,其中工为X的协方差阵
(2)F1是X1,X2,…,Xp的一切线性组合(系数满足上述要求)中方差最
大的,……,即Fm是与F1,F2,……,Fm-1都不相关的X1,X2,…,XP的所有线性组合中方差最大者。
F1,F2,…,F(m
第m个主成分
由以上分析可见,主成分分析法的主要任务有两点:
(1)确定各主成分Fi(i=1,2,…,m)关于原变量Xj(j=1,2,…,p)
的表达式,即系数aij(i=1,2,…,m;j=1,2,…,p)。
从数学上可以证明,原变量协方差矩阵的特征根是主成分的方差,所以前m个较大特征根就代
表前m个较大的主成分方差值;原变量协方差矩阵前m个较大的特征值■i(这样选取才能保证主成分的方差依次最大)所对应的特征向量就是相应主成分Fi
表达式的系数ai,为了加以限制,系数a启用的是i对应的单位化的特征向量,即有ai'ai=1。
(2)计算主成分载荷,主成分载荷是反映主成分Fi与原变量Xj之间的相互关联程度:
P(Zk,x)二.@0,=1,2,川,p;k=1,2,|||,m)
三、主成分分析法的计算步骤
主成分分析的具体步骤如下:
(1)计算协方差矩阵
工=(Sij)pp,其中
计算样品数据的协方差矩阵:
i,j=1,2,…,p
1n
Sij(Xki—Xi)(Xkj—Xj)
nT心
(2)求出工的特征值'i及相应的正交化单位特征向量ai
工的前m个较大的特征值-1—'2—…’m>0就是前m个主成分对应的方差,■i
对应的单位特征向量ai就是主成分Fi的关于原变量的系数,则原变量的第i个
主成分Fi为:
Fi=ai'X
主成分的方差(信息)贡献率用来反映信息量的大小,:
i为:
m
i=1j//.j
i丄
(3)选择主成分
最终要选择几个主成分,即F1,F2,……,Fm中m的确定是通过方差(信息)累计贡献率G(m)来确定
mp
G(m)-、、“
iAk=1
当累积贡献率大于85%寸,就认为能足够反映原来变量的信息了,对应的m就是抽取的前m个主成分。
(4)计算主成分载荷
主成分载荷是反映主成分Fi与原变量Xj之间的相互关联程度,原来变量Xj(j=1,2,…,p)在诸主成分Fi(i=1,2,…,n)上的荷载lij(i=1,2,…,mj=1,2,…,p)。
:
l(Zi,XJ「Hi=1,2川l,m;j=1,2川l,p)
在SPSS软件中主成分分析后的分析结果中,“成分矩阵”反应的就是主成分载荷矩阵。
(5)计算主成分得分
计算样品在m个主成分上的得分:
Fi=a%X1a2iX2…apiXpi=1,2,…,m
实际应用时,指标的量纲往往不同,所以在主成分计算之前应先消除量纲的
影响。
消除数据的量纲有很多方法,据变换:
常用方法是将原始数据标准化,即做如下数
*Xj-Xj
i=1,2,…,n;j=1,2,…,P
x
ijSj
1n
其中:
Xj=—7X
n—
21n
ij,Sj_(Xj
nT◎
~Xj)2
根据数学公式知道,①任何随机变量对其作标准化变换后,其协方差与其相关系数是一回事,即标准化后的变量协方差矩阵就是其相关系数矩阵。
②另一方面,根据协方差的公式可以推得标准化后的协方差就是原变量的相关系数,亦即,标准化后的变量的协方差矩阵就是原变量的相关系数矩阵。
也就是说,在标准化前后变量的相关系数矩阵不变化。
根据以上论述,为消除量纲的影响,将变量标准化后再计算其协方差矩阵,就是直接计算原变量的相关系数矩阵,所以主成分分析的实际常用计算步骤是:
☆计算相关系数矩阵
☆求出相关系数矩阵的特征值-及相应的正交化单位特征向量ai
☆选择主成分☆计算主成分得分
总结:
原指标相关系数矩阵相应的特征值i为主成分方差的贡献,方差的
p
贡献率为,:
i越大,说明相应的主成分反映综合信息的能力越强,y
可根据i的大小来提取主成分。
每一个主成分的组合系数(原变量在该主成分上的载荷)ai就是相应特征值-i所对应的单位特征向量。
主成分分析法的计算步骤
1、原始指标数据的标准化采集p维随机向量x=(x必,…,Xp)T)n个样品x=(Xii,Xi2,...,Xip)T,i=1,2,…,n
n>p,构造样本阵,对样本阵元进行如下标准化变换:
二2X1切2(呵-勺)’
其中7n'}口一1,得标准化阵z。
2、对标准化阵Z求相关系数矩阵
R=斶严=—T
3、解样本相关矩阵
R的特征方程
p个特征根,确定主成分
刀Z巧r.*n
>O.85I
按^确定m值,使信息的利用率达85%以上,对每个入,j=l,2,...,m,解方程组
Rb=jb得单位特征向量。
4、将标准化后的指标变量转换为主成分
=占硏、j=1,2,?
7i
U1称为第一主成分,U2称为第二主成分,…,Up称为第P主成分。
5、对m个主成分进行综合评价
对m个主成分进行加权求和,即得最终评价值,权数为每个主成分的方差贡献率。
一、主成分分析基本原理
概念:
主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法。
从数学角度来看,这是一种降维处理技术。
思路:
一个研究对象,往往是多要素的复杂系统。
变量太多无疑会增加分析问题的难度和复杂性,利用原变量之间的相关关系,用较少的新变量代替原来较多的变量,并使这些少数变量尽可能多的保留原来较多的变量所反应的信息,这
记原变量指标为X
为Z1,Z2,Z3,…,Z
_X11X12…xj
XX21…X22xp,设它们们
降维处理后的综合指标,即新变量
系数Iij的确定原则:
m(m
Xn1iXn2丄iXnp
一乙=l11x1+l12x2+
Z2—121X"!
+l22X2
亠Lx
1pp
亠亠lcx
2pp
样问题就简单化了。
原理:
假定有n个样本,每个样本共有p个变量,构成一个nxp阶的数据矩阵,
j=1,2,l-X艸相互无关;X
mm1八1m2八2m卩
Z2
1Zi与乙(i工j;i,:
-
2乙是X1,X2,…,Xp的一切线性组合中方差最大者,Z2是与乙不相关的X1,X2,…,
,Zm-1都不相关的X1,
Xp的所有线性组合中方差最大者;Zm是与Z1,Z2,
X2,…XP,的所有线性组合中方差最大者。
新变量指标Z1,Z2,…,Zm分别称为原变量指标X1,X2,…,Xp的第1,第2,…,
第m主成分
从以上的分析可以看出,主成分分析的实质就是确定原来变量Xj(j=1,
2,…,p)在诸主成分乙(i=1,2,…,m上的荷载Ij(i=1,2,…,mj=1,2,…,p)。
从数学上可以证明,它们分别是相关矩阵m个较大的特征值所对应的特征向量。
二、主成分分析的计算步骤
1、计算相关系数矩阵
其中eij表示向量ei的第j个分量。
4、
计算主成分载荷
lij=p(Zi,Xj)Wiej(i,j=1,2,L,p)
Z11Z12Z1mI
、主成分分析法在一SPSS中的操作1、指标数据选取、收集与录入(表1)
Znm
_Zn1Zn2
苦1冷褂10牛科卍訂曲妊贍
地诫
GDP
人均GDP
农业
IfltU值
T业
怡加值
第三产业
用加值
BJE9t
产赴资
基本建
设赴蹩
零善总葡
初关出
口总■额
矩方财
政收入
辽F
5458.2
13000
14B83.3
1376.2
2258.4
1315.9
529.0
2258.4
123.7
399.7
山东
10550.0
11643
13900
3502.5
3351.0
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 成分 分析 原理 应用 计算 步骤