最小二乘法及其应用Word格式文档下载.docx
- 文档编号:22500865
- 上传时间:2023-02-04
- 格式:DOCX
- 页数:13
- 大小:55.23KB
最小二乘法及其应用Word格式文档下载.docx
《最小二乘法及其应用Word格式文档下载.docx》由会员分享,可在线阅读,更多相关《最小二乘法及其应用Word格式文档下载.docx(13页珍藏版)》请在冰豆网上搜索。
如说人的身高和体重就是一个对应,我们都知道长的高的人不一定就重,同理长的矮的人也不一定就轻.但身高和体重的确存在着一定的关系,而这种关系并非是y=axb所能确定的.那么我们要寻求身高和体重之间的关系
就需要通过数学的方法.首先调查统计得出数据;
其次把数据描绘出来;
然后拟合一条跟已有的图象最接近的曲线,这样就可以相对地将身高和体重之间的关系表示出来.在处理类似的事情中常常用到最小二乘法.
2.2非线性回归最小二乘法
非线性回归的种类很多,常用的有抛物线方程(Y=a・bXcX2)、指
数方程(Y=abx)等。
设已知列表函数yi=f(xj(i=0,1,…,m),并且我们想用一个通常的
n(:
:
m)次多项式
PnX二aoyx...anXn
(1)
去近似它。
问题是应该如何选择a0,印,…,an使pnx能较好地近似列表函
数fx。
按最小二乘法,应该选择ao,ai,...,an使得
m2
(2)
Sa。
,ai,...,an八fX-pnx
i=0
取最小。
注意到S是非负的,且是ao,ai,...,an的2次多项式,它必有最小值。
求S对ao,ai,...,an的偏导数,并令其等于零,得到
m
■-〔%-a。
-a/i-...-anxjxj=0(k=0,1,...,n)
i£
进一步,可以将它们写成
mmmm
二/Xi1"
二a0二xik-ar^x^k1...an二x^kn(k=0,1,n.
=o
引进记号
i=o
i=0i=0
mm
Sk=送Xik和Uk=送yiXik
inin
则上述方程组为
rs)a0+sa打lt+Snan=u,°
s^o+sa卄lt+Sn+an1=u,1川Illi川Mil川lllllil川I胛0+SnW旷川+Snan=Un
⑶
它的系数行列式是
S)
3
III
Sn
Xn舟=
S2
Snd1
*
■*
K
H
F
S1■+
S2n
由s(i=0,1川,2n)的定义及行列式性质,
可以断言
12
Xn十一-Z川,n)).⑷
(n+1)!
此处符号W表Vandermonde亍列式,而是对所有可能的i(\=0,1^|,n)求
和(每个i可以取值Xo,X|,|1(,Xm,并且当\~j时i=j。
由(4)式及
Vandermonde行列式的性质可知,当x0,xjl|,xm互异时,
1
IH
t
」0
一
n
m-0^1JlUn戶
巴2-0
芒2
一1
巴2
^n
式0.
+
巴n-0
巴n
一1
巴n^n
从而,Xn十H0(a0)方程组⑶有唯
解
a,a1
,川,
an,且它们使⑵取极
小值如此,我们应用最小二乘法找到了fx的近似多项式pnx.
在利用最小二乘法组成和式⑵时,所有点X\都起到了同样的作用,但是有时依据某种理由认为中的某些项的作用大些,而另外一些作用小些(例如,一些y\是由精度较高的仪器或操作上比较熟练的人员获得的,自然
应该予以较大的信任),这在数学上表现为用和
ifx\-PnX\(5)
i二0
替代和⑵取最小值•q.0,且-;
^1,^i通常称之为权;
而⑸为加权和.
i£
用多项式Pnx\^a0a1xanxn去近似一个给定的列表函数(即给出
的一组观测值%=fXi时。
需要确定的参数是ao,ai,|)(,an;
而Pnx可以看成是ao,aiJ||,an的线性函数•但是有时在利用观测或实验数据去确定一个经验公式时,往往要确定的函数和待定参数之间不具有线性形式的关系.这样
问题就变得有些复杂•然而,常常可以通过变量替换使其线性化•
最小二乘法原理是用来求解线性方程组的,非线性方程经线性化后方可应用该原理.通常在测量中遇到的问题不一定都是线性问题,必须先把非线性问题线性化,然后求解•例如:
(i)有时,我们希望用如下类型的函数:
s=ptq(6)
去近似一个由一组观测数据(列表)所描绘的函数,其中P和q是待定的两个参数.显然s已非p和q的线性函数.怎样线性化呢?
为此,我们在⑹式两端取对数,得到
Ins二Inpqlnt
记Ins二y,Inp二a。
ai二q,x=Int,贝U(6)式变成
y=a。
aix.
这是一个一次多项式,它的系数ao和ai可以用最小二乘法求得.
(ii)我们经常希望用函数
S=AeCt(7)
去近似一个以给定的列表函数,其中A、C是待定的参数.这时,我们可以(7)的两端取对数:
InS二InACt
记InS二y,InA二a0Q=印,x=t,则(1.7)式变成
y二aoaix
这样仍可用最小二乘法定出a。
®
(从而也就定出了A,C),得到近似函数
S=AeCt
下面列出几种常用的线性处理方法,利用最小二乘法的原理对直线型、抛物线型和指数曲线型的方程的参数估计方法,介绍如下:
(1)直线型
直线方程的一般形式为
Y=abX
令(Y-C)2八(aFX-C)2为最小值,分别为a和b求偏导数,并
令导数等于0,得到联立方程组。
解方程组,即可得到参数的计算公式。
"
a=Y_bX
/n送XY—送X送丫
b=22
.n瓦X2-(瓦X)2
(2)抛物线型
抛物线方程的一般形式为
2
Y=abXcX2
令(^-C)^\(abX-C)2为最小值,分别为a、b、c求偏导数,
Y-na-b.[X-c_X?
=0'
YX2_a'
X_b'
X2_c'
x3=0ZYX2_a送X2_bZX3_c瓦x4=0
(3)指数曲线型指数曲线的一般形式为
Y=abX
取对数,将指数曲线转化成对数直线形式
lgY=lgaXlgb
用最小二乘法估计参数a,b,可有如下方程组
'
lgY二nlgalgb'
X
]二(XIgY)=lga'
XlgbX2
解此方程组,可得参数的对数值,查其反对数,即可得参数值。
3.最小二乘法原理的应用
3.1最小二乘法原理在线性回归中应用
例1.已知2009年3月到2010年4月居民收入与物价信心的满意指数如下图,求出当期物价满意指数x与时间t的曲线拟合。
T
4
5
6
X
29.50
28.20
25.90
21.70
21.90
13.80
解:
t=[123456];
x=[29.5028.2025.9021.7021.9013.80];
plot(t,x,'
o'
);
polyfit(t,x,1)ans=
-2.902933.6600
则所得到的近似方程为
y=-2.9029+33.6600x.
3.2最小二乘法原理在非线性回归中的应用
例2设已知函数f(x)的表列值为
0.2
0.5
0.7
0.85
Y
1.221
1.649
2.014
2.340
2.718
试按最小二乘法构造f(x)的二次近似多项式.解:
下面用Matlab程序来求参数a。
和a2.程序如下:
x=[0.20.50.70.851];
y=[1.2211.6492.0142.3402.718];
plot(x,y,'
2.8
2.6
2.4
2.2
1.8
1.6
1.4
1.2
0.20.30.40.50.60.70.80.91
polyfit(x,y,2)
ans=
0.92480.75531.0346
即所求30=0.9248,a1=0.7553,32=1.0346.
所求的近似多项式为
f(x)=0.92480.7553X1.0346x2.
例3、在某冶炼过程中,根据统计数据的含碳量与时间关系,试求含碳
量y与时间t的拟合曲线
10
15
20
25
30
35
40
45
50
55
y
1.27
2.16
2.86
3.44
3.87
4.15
4.37
4.51
4.58
4.02
4.64
实验程序如下:
t=[0510152025303540455055];
y=[01.272.162.863.443.874.154.374.51
4.584.024.64];
plot(t,y,'
5厂
4.5-
4-
3.5-
3-
2.5-
2-
1.5-
1-
0.5-
0L
01020304050
p=polyfit(t,y,2)
P=
-0.00240.20370.2305
综上,y与t的拟合曲线是
y=-0.0024+0.2037t+0.0.2305t2。
例2设已知如下一组实验数据:
t=2.22.73.54.1
S=65605350
试求一个S二AeCt型的函数去近似它.
60
计算以紧凑的形式表示如下:
X。
x=Int
x2
y=Ins
xy
0.3424
0.1172
1.8129
0.6207
0.4314
0.1861
1.7782
0.7671
0.5441
0.2960
1.7243
0.9382
0.6128
0.3755
1.6990
1.0411
1.9307
0.9748
7.0144
3.3671
S0
S
Uo
U1
由此得方程组
4a01.9307a,=7.0144,
1.9307a0.9748a,=3.3671.
解之得a0=Inp=1.963,p=91.9,q=a^i--0.434从而
0.434
S=91.9t
4.小结
应用最小二乘法的几个问题:
最小二乘法虽然在数据处理方面具有显著的效果,但如果使用不当会导致很大的误差,甚至错误的结果。
因此,在应用时必须注意以下几个问题:
(1)慎重选择拟合关系式。
在实际问题中,适当选择拟合关系式是一项十分谨慎的工作,它将直接影响计算的工作量和结论。
(2)自变量的选择。
在实际工作中,对一组实验x1,y1数据按不同的拟合形式,结果会不一样。
特别注意当两个变量都有一定误差时,应当使用双变量最小二乘法进行处理,否则可以使用单变量最小二乘法。
(3)加权最小二乘法。
此法是应用于实验测量值Y1非等精度的情况下
的拟合方法。
它不同程度的消除误差因素,结果更准确可靠。
设拟合函数为y=f(x),当x值取xi时y的实测值为取“%-f(x,卜mm2
加权偏差平方和s=vwiy「fxi,式中wi为第i个实验点的权
i4i=J
重因子。
选取合适的权重因子Wi可获得高精度的拟合参数。
(4)最小二乘原理在很多领域有着广泛应用,利用MATLAB解非常方便,但一定要组要问题的类型,尤其是数据大且复杂时,来更好的突出Matlab计算出线性参数的最佳估计值,提高了效率和精度。
(5)非线性参数的最小二乘法处理程序可归结为:
首先根据具体问题将非线性问题线性化,列出误差方程;
再按最小二乘法原理,利用求极值的方法将误差方程转化为正规方程;
然后求解正规方程,得到待求的估计量;
最
后给出精度估计。
上面例题利用程序求解组合测量问题,用Matlab进行曲线
的拟合。
致谢:
长江之滨,青山湖畔,是我美丽的校园。
转眼间,我已经在美丽的湖师度过了四个年头。
四年,这是我人生中非常重要的四年,我有幸能够接触到这些不仅传授我知识、学问,而且从更高层次指导我的人生与价值追求的良师。
他们使我坚定了人生的方向,获得了追求的动力,留下了大学生活的美好回忆。
在此,我真诚地向我尊敬的老师们和母校表达我深深的谢意!
这篇论文是在我的导师胡宏昌教授的多次指导下完成的。
从论文的选题
到结构安排,从内容到文字润饰,都凝聚了他大量的心血。
在这篇论文的写作过程中,胡老师不辞辛劳,不惜在百忙的工作学习中抽出时间多次与我就论文中许多核心问题作深入细致地探讨,给我提出切实可行的指导性建议,无论是论文的整体机构,还是论文的文字、排版还是一个标点符号,胡老师都是认真的帮我查看并细心全面地帮我修改。
更重要的是胡老师在指导我的论文的过程中,不顾自己由于长时间在电脑前工作的颈椎的疼痛还依然在我每次过去找他帮我修改论文时,细心的在电脑前为我指出排版的错误,甚至一个标点符号。
胡老师这种一丝不苟的负责精神,使我深受感动。
在此,请允许我向尊敬的胡宏昌老师表示真挚的谢意!
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 最小二乘法 及其 应用
![提示](https://static.bdocx.com/images/bang_tan.gif)