最小二乘法论文.docx
- 文档编号:10113969
- 上传时间:2023-02-08
- 格式:DOCX
- 页数:35
- 大小:103.84KB
最小二乘法论文.docx
《最小二乘法论文.docx》由会员分享,可在线阅读,更多相关《最小二乘法论文.docx(35页珍藏版)》请在冰豆网上搜索。
最小二乘法论文
最小二乘法论文
学号:
************
HEBEIUNITEDUNIVERSITY
毕业论文
GRADUATETHESIS
论文题目:
最小二乘法及其应用
学生姓名:
***
专业班级:
08数学1班
学院:
理学院
指导教师:
郭小强讲师
2012年5月25日
摘要
摘要
最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识,并在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用。
然而,最小二乘法因其抽象、难懂常常不能被准确理解。
本文探讨了最小二乘法的基本原理及其各种变形的拟合方法,其中包括:
一元线性最小二乘法拟合、多元线性拟合、多项式拟合、非线性拟合和可化为线性拟合的非线性拟合,并且给出了加权最小二乘法的方法,运用实例来展示最小二乘法在实践中的应用,在此基础上给出了几种最小二乘法程序的设计原理。
关键词最小二乘法,线性拟合,曲线拟合,应用实例
-I-
Abstract
Abstract
Leastsquarewasusedtoestimateparametersandidentifysystemofregressionmodel,bythepointoferrorfitting.Andithaswidelyapplicationintheparametersestimate,systemidentification,prediction,forecastingandotherfields.However,theleastsquaremethodbecauseofitsabstractanddifficult,oftencannotbeaccurately
understanding.Theleastsquaremethod’sprincipleandthevariouskindsoffitting
methodssuchasthelinearleastsquarefitting,linearfitting,polynomialfitting,andoflinearfittingandnonlinearfitting,nonlinearfittingandgivesthemethodofweighted
leastsquaresmethod,andtheuseofexamplestoshowtheleastsquaresmethodapplicationinpractice,onthebasisofseveralleast-squaresproceduredesignprinciple.
Keywords:
leastsquaremethod;linearfitting;curvefitting;applicationexamples
-II-
摘要.......................................................................................................................I
ABSTRACT..................................................................................................................II
第1章绪论.............................................................................................................1
第2章最小二乘法.................................................................................................3
2.1最小二乘法的定义................................................................................................................32.2最小二乘法的统计学原理....................................................................................................3第3章最小二乘法应用.........................................................................................5
3.1曲线拟合................................................................................................................................5
3.1.1一元线性拟合................................................................................................................5
3.1.2多元线性拟合................................................................................................................7
3.1.3多项式拟合....................................................................................................................8
3.1.4非线性最小二乘法拟合...............................................................................................8
3.1.5可化为线性拟合的非线性拟合.................................................................................103.2加权最小二乘法.................................................................................................................11
3.2.1加权最小二乘法定义..................................................................................................11
3.2.2加权最小二乘法原理..................................................................................................12第4章应用最小二乘法解决的实际问题.............................................................14
4.1一元线性拟合实例..............................................................................................................144.2多项式拟合实例.................................................................................................................154.3非线性拟合.........................................................................................................................164.4可化为线性拟合的非线性拟合.........................................................................................17第5章最小二乘法程序设计.................................................................................19
5.1程序设计原理......................................................................................................................19
5.1.1一元线性拟合的程序设计原理.................................................................................19
5.1.2多元线性拟合的程序设计原理.................................................................................195.2MATLAB对最小二乘法的实现..............................................................................................20
5.2.1用Matlab实现曲线拟合............................................................................................20
5.2.2实例.............................................................................................................................20
结论.....................................................................................................................23
参考文献.................................................................................................................24
谢辞.......................................................................................................................25
附录.......................................................................................................................26
-III-
第1章绪论
第1章绪论
最小二乘法是一个比较古老的方法,早在十八世纪,首先创立并成功地应用于天文观测和大地测量工作中。
虽然勒让德独立地运用最小二乘法是与高斯同时的,但人们一般都认为高斯在1795年(18岁)首先应用了最小二乘法。
高斯创造了最小二乘法,使他能够用望远镜的观测结果来估算行星的轨道运动。
目前,有三个领域的发展越来越广泛地运用于最小二乘法,对最小二乘法估计理论和实用都带来了深刻的影响。
这三个领域的发展是:
近代统计估计理论的概念、矩阵符号表示法和近代线性代数的概念以及大型快速数字计算机的应用。
在每个领域中,对于最小二乘法的应用,其观测值不可能是完善无误的。
观测精度总是存在一个极限值,超过这个极限值,不是表达量的数学模型失效,就是测量仪器的分辨力失效,或者两者都失效。
超过这个精度极限值,重复观测结果之间不会彼此符合。
例如,如果我们用米标尺和肉眼多次观测工作台的长度,那么极限精度很可能为毫米。
如果我们把测量结果记录到最接近的0.1毫米,那么它们将是不一致的。
我们所希望的精度,往往超过我们所实施的观测的极限精度。
在这种情况下,我们不可能知道我们所观测的物理量的真值。
我们只能对真值做一个估计。
我们希望这个估值是惟一的(即是用某种标准方法来求定估值,当给定同样的观测结果时,这个方法得到同样的估值),而且我们希望知道固执的优度如何。
处理不一致的数据的科学方法叫做统计学,确定唯一估值以及其优度的方法叫做统计估计法,最小二乘法是使不符值的平方和为最小的一种统计估计法。
应当着重指出,还有其他的方法也能得到唯一的估值。
例如,使不符值的绝对值的和为最小的估值法,或使最大的不符值为最小的估值法。
但与最小二乘法相比,这些方法至少有下述三个缺点。
第一,最小二乘法适用于涉及到线性和非线性数学模型的问题,而其他两种方法仅适用于线性问题,其原因在于受到了基本连续性和可微性的限制。
第二,最小二乘法估计与一个统计量(算术平均值)发生关系,这个统计量往往比与其它两种方法关联的两个统计量(它们分别是中位数和中列数)更重要。
最后,最小二乘法普遍的应用于许多领域,使得它成为获得唯一估值的标准方法。
本文将对最小二乘法以及在现在社会生活中应用进行叙述。
第二章介绍最小二乘法定义以及原理,第三章将讨论曲线拟合,第四章将举例来进一步说明最小二乘法在实际中的应用,第五章将分析最小二乘法的程序设计原理,以及用
-1-
河北联合大学理学院
matlab来实现曲线拟合。
本章主要介绍了最小二乘法的背景和统计学与最小二乘法,是我们了解了最小二乘法与统计学其他统计数据方法相比较最小二乘法的优点,最后对本文主要内容进行了介绍。
-2-
第2章最小二乘法
第2章最小二乘法2.1最小二乘法的定义
定义1.1(残差):
。
希望尽可能小,常见方,,,,,,,x,yi,1,2,?
m,iiii法有:
(1)选取,使偏差绝对值之和最小,即,,,x
mm
,,,,,x,y,min,,iiii,1i,1
(2)选取,使偏差最大绝对值最小,即,,,x
,,,,,x,y,miniiimaxmax1,i,m1,i,m
(3)选取,使偏差平方和最小,即,,,x
2mm2称(3)为最小二乘法原则。
,,,,,,x,y,min,,iiii,i,11
定义1.2(最小二乘法):
根据已知数据组,,选取一个近似函数(1,2,,)in,…x,yii,,,使得,x
2mm2,,,,,,,x,y,,iii,,ii11
最小。
这种求近似函数的方法称为曲线拟合的最小二乘法,函数,,称为这组数,x
据的最小二乘函数。
2.2最小二乘法的统计学原理
基本最小二乘法,其统计学原理是:
设统计量与个变量间的依赖关系式为yx,x,?
xl12l
,y,f(x,x,?
x;a,a,?
a)12l01n
其中是方程中需要确定的个参数。
a,a,?
an,101n
-3-
河北联合大学理学院
最小二乘法就是通过个实验点确mmn,,1(,,,,)(1,2,)xxxyim……,,,,iiili12
定出一组参数值
(,,,)aaa…01n
使由这组参数得出的函数值
yfxxxaaa=(,,,,,,,)……iiiln1201
间的偏差平方和与实验值yi
m2saaayy(,,,)()…,,,01ni,1i
取得极小值.
在设计实验时,为了减小随机误差,一般进行多点测量,使方程式个数大于待求参数的个数,即.这时构成的方程组叫做矛盾方程组.通过用最小二mn,,1
乘法进行统计处理,将矛盾方程组转换成未知数个数和方程个数相等的正规方程组,再进行求解得出.aaa,,,…01n
由微分学的求极值方法可知应满足下列方程组:
aaa,,,…01n
y,(1,2,,)in,…0,,ai
这样就实现矛盾方程组向正规方程组的转换。
本章对最小二乘法做了详细的定义,使我们清楚地认识了最小二乘法。
随后又对最小二乘法的统计学原理进行了阐述,使我们更清楚的了解最小二乘法的运算原理。
-4-
第3章最小二乘法应用
第3章最小二乘法应用3.1曲线拟合
3.1.1一元线性拟合
设变量与成线性关系,即.现在已知个实验点xyaax,,mxy,y01ii
求两个未知参数.(1,2,,)im,…aa,01
[方法一]由最小二乘法原理,参数应使aa,01
m2saayaax(,)(),,,,0101ii,1i
取得极小值.根据极小值的求法,和应满足aa01
m,s,2()0,,,,,yaax,01ii,,a,1i,0,,m,s,2()0,,,,,yaaxx,01iii,,a,1i1,
mma1,1axy,,,,0ii,mm,,,11ii,,mmm2,axaxxy,,,,,01iiii,,,,111iii,
这就是含有两个未知数和两个方程的正规方程组.
从中解得,即aa,01
mm,22axymxyxmx()/(),,,,,,1iii
(1),,,11ii
ayax,,01,
其中
mm11,xxyy,,,,,iimm,,11ii
线性相关系数Rlll,/,式中xyxxyy
-5-
河北联合大学理学院
mmm2222,lxymxylxmxlymy,,,,,,,,,,,xyiixxiyyi,,,111iii
相关系数是用来衡量实验点的线性特性.
[方法二]将代入得矛盾方程组xyim,(1,2,,),yaax,,ii01
yaax,,,1011,yaax,,,2012
(2),
yaax,,mm01,
令
y1x,,,,11,,,,y1x22,,,,B,,,A,,,,,
,,,y1xm,,m,,
则
(2)式可写成
a,,0,BA,,,a1,,则有
a,,0TT,ABAA,,,a1,,所以
a,,0TT,1.(),AAAB,,a,,1
TT其中称为结构矩阵,称为数据矩阵,AA称为信息矩阵,AB称为常数矩阵.AB
为了定量地给出与实验数据之间线性关系的符合程度,可以用yaax,,01
相关系数r来衡量.它定义为
mmm
mxyxy,,,,iijiiji,,,111.r,22mmmm,,,,,,,,22mxXmyy,,,,,,,,,,iiii,,,,iiii,,,,1111,,,,,,,,,,,,
r01,,rrr值在中,值越接近1,与的线性关系越好.为正时,直线斜xy
rr率为正,称为正相关;为负时,直线斜率为负,称为负相关.接近于0时,测量数
-6-
第3章最小二乘法应用
据点分散或之间为非线性.不论测量数据好坏都能求出和,所以我们必须有aa01一种判断测量数据好坏的方法,用来判断什么样的测量数据不宜拟合,判断的方法是时,测量数据是非线性的。
称为相关系数的起码值,与测量次数有rr,rn00
关,如图表所示。
表3-1相关系数起码值r0
nnnrrr000
31.00090.798150.641
40.990100.765160.623
50.959110.735170.606
60.917120.708180.590
70.874130.684190.575
80.834140.661200.561
在进行一元线性拟合之前应先求出r值,再与比较,若rr,,则和具rxy00
有线性关系,可求回归直线;否则反之。
3.1.2多元线性拟合
n
设变量与个变量间存在线性关系,.设变量的第次nxyaax,,xyi,j0jj,j1
测量值为,对应的函数值为,则偏差平方和yim(1,2,,),xiji
mmn22saaayyyaax(,,,)()(),,,,,,,,010niijij,,,111iij
为使取极小值,得正规方程组为:
s
mn,s,,,,,,2()0yaax,,ijij0,,aij,,110,mn,,s,,,,,2()0yaaxx,,,ijiji01,a,ij,,11,1
mn,,s,,,,,2()0yaaxx,,ijijin0,,aij,,11n,
-7-
河北联合大学理学院即
nmm,,,maxay,,,,,0,ijji,,,,,111jii,,,,.kn,1,2,,,mnmm,,,()xaxxaxy,,,,,,0ikijikjiki,,,,,,,1111,,jjii,
将实验数据代入上述正规方程组中,即得出未知参数.aaa,,,(,)xy01niji
3.1.3多项式拟合
njj对于次多项式,令,则可转化为线性形式xxjn,,(0,1,2,,)nyax,,jjj,0
nj这是曲线化直.对于个实验点有,代入多元线xx,yaax,,im,1,2,,,iji0jj,j1
性拟合的正规方程:
nmmmnmm,,,maxayxaxxaxy()(),,,,,,,,,,,00ijjiikijikjiki,,,,,,,,,1111111jiiijii,,
可直接得出多项式最小二乘拟合的正规方程:
nmm,,jk,;(0,1,2,,)kn,xaxy,,,,ijiki,,jii011,,,,,
矩阵形式:
0120n,,,,xxxxxya,,,,,,,iiiiii0,,,,,,,12311nxxxxxya,,,,,iiiiii1,,,,,,,23422n,,,,,,,,xxxxxya,,,,,iiiiii2,,,,,,
,,,,,nnnnmn,,,12,,,,,,xxxxxyaiiiiii,,,,,n,,,,,,
m
式中代表,这是一个具有个参数和个方程的线性方aaaa,,,,n,1n,1012n,i,1
程组,可用高斯迭代法求出这些未知参数,得出回归方程。
3.1.4非线性最小二乘法拟合
将非线性关系直接代入偏差平方和表达式中,yfxxxbbb,(,,,,,,,)1212in
-8-
第3章最小二乘法应用采用极小值的求法得出的数值,此方法常常较为繁琐.为此,先将函数bbb,,,1
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 最小二乘法 论文