最小二乘法的综述及算例Word文件下载.docx
- 文档编号:22403162
- 上传时间:2023-02-03
- 格式:DOCX
- 页数:11
- 大小:81.65KB
最小二乘法的综述及算例Word文件下载.docx
《最小二乘法的综述及算例Word文件下载.docx》由会员分享,可在线阅读,更多相关《最小二乘法的综述及算例Word文件下载.docx(11页珍藏版)》请在冰豆网上搜索。
),使得这些点与曲线总体来说尽量接近?
(2)若拟合模型为非多项式形式,怎样根据已知的二维数据用最小二乘线性拟合确定其系数,求出曲线拟合函数?
怎样从给左的二维数据岀发,寻找一个简单合理的函数来拟合给泄的一组看上去杂乱无章的数据,正是我们要解决的问题。
2.概念
在科学实验的统汁方法研究中,往往要从一组实验数(兀,儿)(i=1.2,3・・・m)中寻找自变量x与y之间的函数关系y=F(x).由于观测数拯往往不准确,此时不要求戶F(x)经过所有点(心,儿),而只要求在给立心上误差J.=F(x,)(i=l,2,3・・・m)按某种标准
最小。
若记心伉也…5』就是要求向量/的范数阿最小。
如果用最大范数,计算上困难较大,通常就采用Euclid范数作为误差度量的标准。
关于最小二乘法的一般提法是:
对于给上的一组数据(兀•,”•)(i=0.1,…m)要求在函数空间①=span{00®
•…,%}中找一个函数S*(x),使加权的误差平方和问匚=
nt
工0(E)(S(兀)一儿)丄最小,其中,ty(xf)>
=0是[a.b]上的权函数,它表示反应数据(xf,另)f-0
在实验中所占数据的比重。
我们说,S(x)=&
000(x)+a®
(x)+…+an(pn(x)(nvm)这就是一般的最小二乘逼近,
用几何语言说就是曲线拟合的最小二乘法。
注意这里的%(x),•…為(x)是线性无关
在研究两个变量之间的关系时,可以用回归分析的方法进行分析。
当确左了描述两个变量之间的回归模型后,就可以使用最小二乘法估计模型中的参数,进而建立经验方程。
为了通过试验数据来估计参数的值,可以采用许多统计方法,而最小二乘法是目前最常用、最基本的。
1.
3.原理
最小二乘法原理
简单地说,最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小•这里的“二乘”指的是用平方来度呈:
观测点与估计点的远近(在古汉语中“平方”称为“二乘”),“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小.
在我们研究两个变量(X,y)之间的相互关系时,通常可以得到一系列成对的数据(xl,yl.x2,y2...xm,ym):
将这些数据描绘在x-y直角坐标系中,若发现这些点在一条直线附近,可以令这条直线方程如(式1-1)。
Y=aO+alX(式1-1)
其中:
aO、al是任意实数
为建立这直线方程就要确定aO和al,应用《最小二乘法原理》,将实测值Yi与利用(式1-1)计算值(Y=aO+alX)的离差(Yi・Y计)的平方和(£
(Yi-Y计)2〕最小为“优化判据”。
令:
<
P=Z(Yi-Y计)2(式1-2)
把(式1-1)代入(式1-2沖得:
9=Z(Yi-aO-alXi)2(式1-3)
当Z(Yi-Y)平方最小时,可用函数<
p对aO.al求偏导数,令这两个偏导数等于零。
亦即:
maO+(ZXi)al=工Yi(式1-4)
(ZXi)aO+(£
Xi2)al=S(Xi,Yi)(式1-5)
得到的两个关于aO、al为未知数的两个方程组,解这两个方程组得出:
aO=(工Yi)/m-al(^Xi)/m(式1-6)
al=[mZXiYi-(£
Xi£
Yi)]/[mZXi2-(》Xi)2)](式1-7)
这时把aO.al代入(式1-1)中,此时的(式1-1)就是我们回归的元线性方程即:
数学模型。
在回归过程中,回归的关联式是不可能全部通过每个回归数据点(xl,yl.x2.y2...xm.ym),为了判断关联式的好坏,可借助相关系数“R"
统计量“F"
剩余标准偏差“S”进行判断;
“R”越趋近于1越好:
“F”的绝对值越大越好:
“S"
越趋近于0越好。
R=[ZXiYi-m(ZXi/m)(£
Yi/m)]/SQR{[£
Xi2-m(£
Xi/m)2][£
Yi2-m("
Yi/m)2]}(式1-10)*
在(式1-1)中,m为样本容量,即实验次数:
Xi、Yi分别任意一组实验X、Y的数值。
从计算的角度看,最小二乘法与插值法类似,都是处理数据的算法.但从创设的思想看,二者却有本质的不同。
前者寻求一条曲线,使英与观测数据'
'
最接近”,目的是代表观测数拯的趋势:
后者则是使曲线严格通过给左的观测数据,苴目的是通过来自函数模型的数据来近似刻画该函数•在观测数据带有测虽:
误差的情况下,就会使得这些观测数据偏离函数曲线,结果使得与观测数据保持一致的插值法不如最小二乘法得到的曲线更符合客观实际。
最小二乘法公式
£
(X-X平)(Y--Y平)=Z(XY-X平Y-XY平+X平Y平)=£
XY-X平工Y--Y平工X+nX平Y平=ZXY-nX平Y平-nX平Y平+nX平Y平=ZXY-nX平Y平
Z(X-X平)A2=Z(XA2-2XX平+X平A2)=£
XA2-2nX平A2+nX平A2=SXA2-nX平
A2
Y=kX+b:
k=((XY)平一乂平*丫平)/((XA2)平一(X平)A2):
b=Y平一kX平
X平=l/nSXi:
(XY)平=l/nZXiYi
2.什么时候用最小二乘法
在研究两个变量之间的关系时,可以用回归分析的方法进行分析。
当确定了描述两个变量之间的回归模型后,就可以使用最小二乘法估计模型中的参数,进而建立经验方程.
例如,在现实世界中,这样的情形大疑存在着:
两个变量X和F(比如身髙和体重)彼此有一些依赖关系,由X可以部分地决泄F的值,但这种关系又是不确左的.人们常常借助统讣学中的回归模型来寻找两个变量之间的关系,而模型的建立当然是依据观测数据•首先通过试验或调查获得x和F的一组对应关系(%,乙),(抡,Z),…,(弘,匕),然后回答下列5个问题:
1.这两个变疑是否有关系?
(画出散点图,作直观判断)
2.这些关系是否可以近似用函数模型来描述?
(利用散点图、已积累的函数曲线形状的知识和试验数据,选择适当的回归模型,如一元线性模型尸厶二次函数模型产b+btX~\-等)
3.建立回归模型.
4.对模型中的参数进行估计,最小二乘法是这些参数的一种常用估计方法.
5.讨论模型的拟合效果.
在上述第3步中,设所建立的回归模型的一般形式是F=fix丨&
)+£
英中F称为响应变量,x称为解释变量或协变量;
fd|&
)是一个由参数&
决左的回归函数;
是一个不可观测的随机误差.为了通过试验数据来估il•参数0的值,可以采用许多统计方法,而最小二乘法是目前最常用、最基本的.由0的估计值&
决泄的方程;
=fix|&
)称为经验回归方程或经验方程.
教科书中涉及的回归模型是最简单的一元线性模型
丫=bo+Z+£
此时模型的拟合效果可以通过Pearson相关系数
2;
\i-12-1
来描述。
事实上,在线性回归模型中可以证明相关指数等于相关系数的平方.
4.算例
例题一
一组测量数据{(U),i=0J,2,…,m},基于最小二乘原理,求得变量x和y之间的函数关系f(x.A),使它最佳地逼近已知数据。
其中A=(血,如,…,①)是一些待左参数。
为了是问题的提法更有一般性,通常把最小二乘法中的||引;
都考虑为加权平方和,即
m
r-(J
其中,<y(x.)>=0^[a.b]±
的权函数,它表示反应数据(兀,片)在实验中所占数据的比重。
选择参数A使得加权平方和最小,即求满足
inm
工力(旺)(/*(兀)一)[)2=min乞co{xl)(/(%,)->\)\Q(召)x0
(1)
要使
(1)最小,它转换为求多元函数
mn
/(0(),5・・・4)=工血(兀・)[工勺%(七)-/(兀)]2
/=();
=0
的极小点(°
0„-a*)问题。
由求多远函数极值的必要条件,有
—=2^eg)[工勺勺(兀)一/(兀)]狄(兀)=0伙=0入…丿).加人/-0J-0
若记(禺®
)=工负兀)转(兀)孤(兀),
/=<)
则
)=工(旺)三以伙=0人…,h),M)
可改写为
n
力®
®
)幻=以伙=0,1,…/)・
(2)
此方程成为法方程。
它也可以写成矩阵形式
Ga=d.
其中a=(兔),如…心)—d=(〃()a‘…,心)'
(00,00)@0®
)…叽阳「(0,00)@,0)•…(外久)
■(久0。
)(%®
)…(久®
丄
由于%,0…久线性无关,故|G|H0,方程组
(2)存在唯一解
ak=ak(i=123・・・n),
从而得到函数f(x)的最小二乘法解为
S*(X)=qSo(x)+he(x)+…+C叮%(x)
可以证明,这样得到的对于任何多项式形式的5(x),都有
ntin
工6y(x.)[S*(x-)一/(旺)FS工锁兀)*[S(乞)一/a)F(-0i-O
故S*(x)确实所求最小二乘解。
以上法方程是一种实现方法,对于多项式拟合,我们还可以这样求。
设f(x,A)=5+6兀+・・・+5疋,由最小二乘法确泄其系数«
0an,假设每个数据点的
mm
权为1>令0(%%…,5)=》才=工(4)+"
內+…+色丿:
一兀)'
最小,则有:
/-0r-0
竺=2±
斗仏+①+…+色斗一”)=0(j=0,l,2,・・・n)込X
inin
即:
工你#+5屮+…+%广)=1>
/儿J-4)/-()
此方程称为多项式拟合的法方程。
令
则得:
xA=Y^irijA=xHy
例题二
在研究某单分子化学反应速度时,得到下列数据:
i
1
2
3
4
5
6
7
8
J
9
12
15
18
21
24
y:
57.6
41.9
31.0
22.7
16.6
12.2
8.9
6.5
其中战示从实验开始算起的时间」表示时刻板应物的量.
试根据上述数据立岀经验公式y=Ar)•y=kesz
解:
由化学反应速度的理论知,经验公式应取其中为待左常数.对其取对数得Iny=/nr+Ink
令]z=lny,X=T,a=m,b=Ink
Y=aX+b
因此“.b应满足法方程组:
(E铝b+(Y」=工◎山儿
^-1比^-1
V
(工以)a+82>
=Xlny*
^-11
经计算得
1836a+108b=280.994
108a+8b=23.714
解得:
々=-0.104,6=4.364
/.m=-0.104,k=eb=78.57,
所求经验公式为
y=78.57八e
其均方误差为Ji万=0.135
通过计算确定某些经验公式类型的方法:
观测数据:
(兀•,儿•)(2=0,1,…,力)
令△兀.=兀+1-x.yAy2.=儿+i一儿G=1,2,n)
⑴若—心定值,则考虑y=ax+b、
⑵若丄归a定值,则考虑y=axb
△InX]'
转化为Iny=6Injv+Ink用最小二乘
/法确定a.b
⑶若△In儿#定值,则考虑y=砂几
转化为Iny=bx+Ina
5.总结
最小二乘法是指使因变量估计值与实测值间的相对误差平方和为最小。
在研究两个变量之间的关系时,我们可以用回归分析的方法进行分析。
当确定了描述两个变量之间的回归模型后,就可以使用最小二乘法估计模型中的参数,进而建立数学模型,然后通过MATLAB求解模型。
通过本文实例模型(非多项式形式『=)的求解,我们学会了怎样从给泄的二维数据出发,寻找一个简单合理的函数来拟合给圮的一组看上去杂乱无章的数据。
如何巧妙地运用最小二乘法解决数据拟合问题,这不仅对我们在今后的学习有一立的帮助,而且在生产实践、科学实验中也起到了一定的作用。
参考文献
[1]李庆杨主编•数值方法(第4版)[M].华中科技大学出版社,2006.
[2]刘琼茹编.数学实验[M].北京:
髙等教育岀版社,2004年7月.P135-P145.
[3]刘卫国等编注.MATLAB程序设计教程(第一版)[M].北京:
中国水利水电岀版社,2005:
1-300.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 最小二乘法 综述
![提示](https://static.bdocx.com/images/bang_tan.gif)