偏最小二乘回归方法PLS解剖Word文档下载推荐.docx
- 文档编号:13231218
- 上传时间:2022-10-08
- 格式:DOCX
- 页数:18
- 大小:1.03MB
偏最小二乘回归方法PLS解剖Word文档下载推荐.docx
《偏最小二乘回归方法PLS解剖Word文档下载推荐.docx》由会员分享,可在线阅读,更多相关《偏最小二乘回归方法PLS解剖Word文档下载推荐.docx(18页珍藏版)》请在冰豆网上搜索。
它不再是直接考虑因变量集合与自变量集合的回归建模,而是在变量系统中提取若干对系统具有最佳解释能力的新综合变量(又称成分),然后对它们进行回归建模。
偏最小二乘回归可以将建模类型的预测分析方法与非模型式的数据内涵分析方法有机地结合起来,可以同时实现回归建模、数据结构简化(主成分分析)以及两组变量间的相关性分析(典型性关分析),即集多元线性回归分析、典型相关分析和主成分分析的基本功能为一体。
下面将简单地叙述偏最小二乘回归的基本原理。
2偏最小二乘法的工作目标
2.1偏最小二乘法的工作目标
在一般的多元线性回归模型中,如果有一组因变量Y={y1,…,yq}和一组自变量X={x1,…,xp},当数据总体能够满足高斯—马尔科夫假设条件时,根据最小二乘法,有
=X(XTX)-1XTY
将是Y的一个很好的估计量。
从这个公式容易看出,由于(XTX)必须是可逆矩阵,所以当X中的变量存在严重的多重相关性时,或者在X中的样本点数与变量个数相比显然过少时,这个最小二乘估计都会失效并将引发一系列应用方面的困难。
考虑到这个问题,偏最小二乘回归分析提出了采用成分提取的方法。
在主成分分析中,对于单张数据表X,为了找到能最好地概括原数据的综合变量,在X中提取了第一主成分F1,使得F1中所包含的原数据变异信息可达到最大,即
Var(F1)→max
在典型相关分析中,为了从整体上研究两个数据表之间的相关关系,分别在X和Y中提取了典型成分F1和G1,它们满足
r(F1,G1)→max
F1TF1=1
G1TG1=1
在能够达到相关度最大的综合变量F1和G1之间,如果存在明显的相关关系,则可以认为,在两个数据表之间亦存在相关关系。
提取成分的做法在数据分析的方法中十分常见,除主成分、典型成分以外,常见到的还有Fisher判别法中的判别成分。
实际上,如果F是X数据表的某种成分,则意味着F是X中变量的某一线性组合F=Xa,而F作为一个综合变量,它在X中所综合提取的信息,将满足我们特殊的分析需要。
2.2偏最小二乘回归分析的建模方法
设有q个因变量{y1,…,yq}和p个自变量{x1,…,xp},为了研究因变量与自变量的统计关系,观测n个样本点,由此构成了自变量与因变量的数据表X=【x1,…,xp】n*p和Y=【y1,…,yq】n*q。
偏最小二乘法回归分别在X与Y中提取出t1和u1(也就是说,t1是x1,…,xp的线性组合,u1是y1,…,yq的线性组合)。
在提取这两个成分时,为了回归分析的需要,有下列两个要求:
(1)t1和u1应尽可能大地携带它们各自数据表中的变异信息
(2)t1和u1的相关程度能达到最大
这两个要求表明,t1和u1应尽可能好地代表数据表X和Y,同时自变量的成分t1对因变量的成分u1又有最强的解释能力。
在第一个成分t1和u1被提取后,偏最小二乘法回归分别实施X对t1的回归以及Y对t1的回归。
如果方程达到了满意的精度,则算法终止;
否则,将利用X被t1解释后的残余信息以及Y被t1解释后的残余信息进行第二轮的成分提取。
如此递推,直到能达到一个较为满意的精度为止。
若最终对X共提取了m个成分t1,…,tm,偏最小二乘法回归将通过实施YK对t1,…,tm的回归,然后再表达成YK关于原变量x1,…,xp的回归方程,k=1,…,q。
3计算方法推导
3.1普遍采用的计算推导过程
为了数学推导方便起见,首先将数据做标准化处理。
X经标准化处理后的数据矩阵记为E0=(E01,…,E0P)n*p,Y经过标准化处理后的数据矩阵记为F0=(F01,…,F0q)n*q。
第一步,记t1是E0的第一个成分,t1=E0w1,w1是E0的第一个轴,它是一个单位向量,即||w1||=1;
记u1是F0的第一个成分,u1=F0c1,c1是F0的第一个轴,它是一个单位向量,即||c1||=1。
如果要t1,u1能分别很好德代表X与Y中的数据变异信息,根据主成分分析原理,应该有
Var(t1)→max
Var(u1)→max
另一方面,由于回归建模的需要,又要求t1对u1有最大的解释能力,由典型相关分析的思路,t1与u1的相关度应达到最大值,即
r(t1,u1)→max
因此综合起来,在偏最小二乘回归中,我们要求t1与u1协方差达到最大,即
Cov(t1,u1)=
即求解下列优化问题
max<
E0w1,F0C1>
w1Tw1=1(3-1)
c1Tc1=1
因此,将在||w1||=1和||c1||=1的约束条件下,去求(w1TE0TF0c1)的最大值。
此种情况下我们就可以用拉格朗日算法求其最优解,记
s=w1TE0TF0c1-λ1(w1Tw1-1)-λ2(c1Tc1-1)
对s分别求关于w1、c1、λ1、λ2的偏导,并令之为零,有
E0TF0c1-2λ1w1=0(3-2)
F0TE0w1-2λ2c1=0(3-3)
-(w1Tw1-1)=0(3-4)
-(c1Tc1-1)=0(3-5)
由(3-2)~(3-5)可以推出
2λ1=2λ2=w1TE0TF0c1=<
记ϴ1=2λ1=2λ2=w1TE0TF0c1,所以ϴ1是优化问题的目标函数值。
把式(3-2)和式(3-3)写成
E0TF0c1=ϴ1w1(3-6)
F0TE0w1=ϴ1c1(3-7)
将式(3-7)代入式(3-6),有
E0TF0F0TE0w1=ϴ12w1(3-8)
由式(3-8)可知,w1是矩阵E0TF0F0TE0特征向量,对应的特征值为ϴ12,ϴ1是目标函数值,要求取得其最大值,所以w1是对应于矩阵E0TF0F0TE0最大特征值ϴ12的单位特征向量。
求得轴w1和c1后,即可得到成分
t1=E0w1
u1=F0c1
然后,分别求E0和F0对t1和u1的回归方程
其中,
,
,向量
;
E1,F1*,F1为回归方程的残差矩阵。
第2成分t2的提取,以E1取代E0,F1取代F0,用上面的方法求第2个轴W2和第2个成分t2,有
同样,E1,F1分别对t2做回归,得到
同理可推得第h成分th,h的个数可以用交叉有效性原则进行,h小于X的秩。
如此计算下去,如果X的秩为A,则会有
E0=t1P1T+…+tAPAT
F0=t1r1T+…+tArAT+FA
由于t1,…,tA均可以表示成E01,…,E0P的线性组合,因此,上式可以还原成YK=F0K关于XJ=E0J的回归方程形式
YK=bk1X1+…+bkPXP+FAKk=1,..,q
3.2一种简洁的计算推导过程
3.1中介绍的推导思路是最为常见的,在3.2中将介绍一种更为简洁的计算方法,即直接在E0,…,Em-1矩阵中提取成分t1,…,tm(m<
p)。
要求th能尽可能多地携带X中的信息,同时,th对因变量系统F0有最大的解释能力。
这时无需在F0中提取成分uh,并且在迭代算法中也无需使用其残差矩阵,而始终直接用F0进行计算。
这可以使计算过程大为简化,并且对算法结论的解释也更为方便。
下面讨论成分t1,…,tm(m<
=A,A=R(X))的一种新原则。
在3.1中推导偏最小二乘法回归算法时,第一步的思路是在因变量F0抽取一个成分u1=F0c1,同时在自变量E0中抽取一个成分t1=E0w1,成分的抽取原则是max<
。
在这个原则下得知w1,c1,u1,t1的计算方法如下:
(1)w1是矩阵E0TF0F0TE0最大特征值的特征向量,成分t1=E0w1;
(2)c1是矩阵F0TE0E0TF0最大特征值的特征向量,成分u1=F0c1;
在求得成分u1,t1以后,分别实施E0在t1上的回归,并生成残差矩阵E1,以及F0在t1上的回归,得到残差矩阵F1。
再以E1,F1取代E0,F0进行第二轮成分的提取计算,注意到成分u1,…,um是不参加回归计算的,因此是否可以考虑不提取因变量的成分呢?
为此,用下述原则提取比变量中的成分t2是与3.1中介绍的方法,结果是完全等价的,即
由于F0K是标准化变量,所以
Cov(F0K,E0w1)=
r(F0K,E0w1)
因此,该优化原则是求成分t1=E0w1,使得t1能携带尽可能多的E0变异,同时,t1对因变量F0K(k=1,…,q)的解释能力会综合达到最大值。
由于在目标函数上配上常量(n-1)2不影响其求解,即
(n-1)2
Cov2(F0K,E0w1)=
<
F0K,E0w1>
2
=
w1TE0TF0KF0KTE0w1=w1TE0T(
F0KF0KT)E0w1=w1TE0TF0F0TE0w1
为了求w1采用拉格朗日算法求解,记
s=
2-λ1(w1Tw1-1)=w1TE0TF0F0TE0w1-λ1(w1Tw1-1)
对s求关于w1和λ1的偏导,并令之为零,得
2E0TF0F0TE0w1-2λ1w1=0(3-9)
-(w1Tw1-1)=0(3-10)
由式(3-9)可知
E0TF0F0TE0w1=λ1w1
可见,最优解w1应是矩阵E0TF0F0TE0的一个特征向量,将它代入目标函数,并且由式(3-10)可得
2=w1TE0TF0F0TE0w1=w1T(λ1w1)=λ1
因此λ1矩阵E0TF0F0TE0的最大特征根,w1则是其相应的特征向量。
由此可见,在新的原则下,w1仍然是对应于E0TF0F0TE0最大特征值的特征向量,而这个新的原则完全没有提取到F0成分u1提取。
也就是说,t1=E0w1提取可以不依赖对u1的提取,而这种新的原则又从新的角度说明了t1的意义。
从这个新的原则出发,对c1,u1的计算就可以省略。
不过,在偏最小二乘法回归的一些解释技术中,由于u1可以较好地概括F0中的信息,因此,它常常也是很有用。
4应用举例
下面将通过两个具体的案例分析,以进一步理解偏最小二乘回归的工作过程和它的特点。
4.1应用举例一
应用举例一将采用Linnerud给出的关于体能训练的数据进行典型相关分析。
在这个数据系统中被观测样本点,是某健身俱乐部的20位中年男子。
被观测变量分为两组,第一组是身体特征指标X
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 最小 回归 方法 PLS 解剖