认识最小二乘法Word下载.docx
- 文档编号:18843019
- 上传时间:2023-01-01
- 格式:DOCX
- 页数:14
- 大小:78.82KB
认识最小二乘法Word下载.docx
《认识最小二乘法Word下载.docx》由会员分享,可在线阅读,更多相关《认识最小二乘法Word下载.docx(14页珍藏版)》请在冰豆网上搜索。
的估计值
决定的方程
称为经验回归方程或经验方程.
教科书中涉及的回归模型是最简单的一元线性模型
Y=b0+b1x+
,
是一个不可观测的随机误差
此时模型的拟合效果可以通过Pearson相关系数
来描述。
事实上,在线性回归模型中可以证明相关指数等于相关系数的平方.
2.什么是最小二乘法思想
简单地说,最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小.这里的“二乘”指的是用平方来度量观测点与估计点的远近(在古汉语中“平方”称为“二乘”),“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小.
例如,对于回归模型
若
,…,
为收集到的观测数据,则应该用
来估计
,这里
是
的估计值。
这样点
的估计就是
,它们之间距离的平方就是
进而最小二乘估计量就是使得
(*)
达到最小值的参数.特别当各个
和相应的估计值相等,即
时,最小二乘估计量就是使得
(**)
达到最小值的参数.
如果我们能够在固定解释变量值的前提下观测预报变量,就认为解释变量的观测值和估计值相等,从而可以通过(**)式求最小二乘估计.在实际应用中,人们常忽略“各个
和相应的估计值相等”的条件,而把(**)式的最小值点称为参数
的最小二乘估计量,其原因有二:
其一是不知道最小二乘方法的原理;
或是找不到估计量
的合理数学表达式,也就无法通过(*)式求最小二乘估计量,只好用(**)式的最小值点作为参数的估计.
在教科书中,已知(x1,y1),(x2,y2),…,(xn,yn)是变量X和Y的一组观测数据,要估计的是回归直线方程y=b0+b1x中参数b0,b1的值。
所以这时目标函数为
于是这时的最小二乘法就是寻求b0,b1的值,使在各点处的偏差yi-(b0+b1xi)(i=1,2,…,n)的平方和
达到最小.在这种情形中,有意思的事情是:
估计得到的直线
=b0+b1x一定经过观测数据点的中心(
)(
).
进一步,若观测数据全部落在某一直线上,则这个直线方程的截距和斜率必是模型参数的最小二乘估计量.因此最小二乘法还为我们提供了一种求解方程组的方法.
关于最小二乘估计的计算,涉及更多的数学知识,这里不想详述.其一般的过程是用目标函数对各bi求偏导数,并令其等于0,得到一个线性方程组.高斯当年将其命名为正则方程,并创设了解线性方程组的消元法——高斯消元法.
从计算的角度看,最小二乘法与插值法类似,都是处理数据的算法.但从创设的思想看,二者却有本质的不同.前者寻求一条曲线,使其与观测数据“最接近”,目的是代表观测数据的趋势;
后者则是使曲线严格通过给定的观测数据,其目的是通过来自函数模型的数据来近似刻画该函数.在观测数据带有测量误差的情况下,就会使得这些观测数据偏离函数曲线,结果使得与观测数据保持一致的插值法不如最小二乘法得到的曲线更符合客观实际.
最小二乘法能在统计学中得到应用,也是因为测量误差的存在。
事实上,在高斯等人创立了测量误差理论,对最小二乘法进行了误差分析之后,这种方法才在统计界获得了合法地位,正式成为了一种统计方法.
3.关于最小一乘法
将上述最小二乘法的一般形式改为
目标函数=
就是最小一乘法。
最小一乘法诞生在1760年,比最小二乘法还要早40多年.但是由于当时无法解决的计算问题,最小一乘法在此后的百余年中都没有获得长足的发展.直到1950年,发现了用线性规划求解的方法以及电子计算机的使用,才解决了计算难题.如今,统计理论的发展使最小一乘法在某些应用部门(如数量经济学)显示了优良的性质,正在逐步受到应用界的重视.
有意思的是,有人做过这样的试验:
准备大量的散点图,让一些人各自用目测的方法画直线.结果表明,大多数人目测的结果更接近于最小一乘法而不是最小二乘法获得的直线。
二、最小二乘法的发现史及其在统计学中的地位
发现最小二乘法的动因是天文学和测地学中处理数据的需要.陈希孺先生所著《数理统计学简史》中记载了这样一段历史.在18世纪,天文学和测地学中的一些数据分析问题可以描述如下:
有(m+1)个可以测量的量x0,x1,…,xm,和m个未知的参数β1,β2,…,βm.按照某种理论,它们之间应有线性关系
。
⑴
但是由于实际工作中对x0,x1,…,xm的测量存在误差,而且⑴式只是理论上的近似而非严格成立.也就是说,⑴式左边的表达式实际上不等于0,其真实值与测量有关,可视为一种误差.若进行了n次测量,在实际问题中,n总是大于甚至是远远大于m,目的是多提供一些信息,以便对参数β1,β2,…,βm作出较精确的估计.设在第i次测量中,x0,x1,…,xm分别取值x0i,x1i,…,xmi,则按照⑴式,应有
(i=1,2,…,n)。
⑵
若⑵式严格成立,则只要从上述n个方程中任意挑出m个就可以解出β1,β2,…,βm的值.但⑵式并非严格成立,于是需要设计合适的算法来估计参数的值.
1750年,天文学家梅耶发表了一种方法.他在研究海上航行船只的定位问题时,得到了一个包含3个未知参数的形如⑴式的关系式以及27组观测数据.梅耶把这27个方程分成3组,然后把每组中的9个方程相加,共得到3个方程,这样可以解出3个未知参数.至于分组的方法,梅耶以其中一个系数为准,按各方程中此系数的大小分组:
最大的9个,最小的9个和剩下的9个各成一组.在最小二乘法发现之前,这个方法曾经比较流行,并被冠以梅耶的名字.值得一提的是,梅耶还估计了这种方法的误差,并试图对误差的界限作一个估计.虽然今天看来梅耶的做法有一些错误,但他在那么早的阶段就做出这种努力,是难能可贵的.
1787年,拉普拉斯在研究天文问题时引出了一个形如⑴式的m=4,n=24的方程组.他的求解方法是,先把24个方程编号,然后按下列方式得到需要求解的4个方程.
方程1:
24个方程的和;
方程2:
前12个方程之和-后12个方程之和;
方程3:
编号为3,4,10,11,17,18的方程之和-编号为1,7,14,20的方程之和;
方程4:
编号为2,8,9,15,16,21,22的方程之和-编号为5,6,12,13,19的方程之和。
拉普拉斯没有解释如此组合的原因,这使得他的方法无法应用于类似的问题.
对解决这类问题做过尝试的还有大数学家欧拉,但他的做法显得杂乱无章,缺乏基本的合理性.看来这个问题的解决还需要一点新的思路.1805年,法国数学家勒让德采取了一个新的角度来考虑这个问题.他不再关心如何找出个数等于未知数个数的方程组,而是考虑如何使误差在整体上达到平衡,于是他采取使
的原则去求解β1,β2,…,βm.这一原则使误差不过分集中在几个方程上,而是比较均匀地分布于各方程,从而有助于揭示系统的更接近真实的状态.而勒让德之前的学者的做法对于误差在各方程之间的分布的影响是不清楚的.
后来,最小二乘法逐步渗入到统计数据分析领域,对统计学的发展产生了重大影响.统计史家对此评价很高,有的认为最小二乘法之于统计学,犹如微积分之于数学.有的学者称最小二乘法是19世纪统计学的“中心主题”.最小二乘法之所以能获得如此的显赫地位,主要得益于它与线性模型的联系.勒让德创设最小二乘法是为了解决形如⑴式的线性表达式(如今已发展为线性模型)的,由此导出的也是一个线性的方程组,这使得最小二乘法具有计算简便的特点.但更加重要的是,“线性”的特点使最小二乘法在误差分析方面较之其他方法具有不可替代的优势.在1809年高斯对最小二乘估计进行的误差分析中发现,在线性模型的所有无偏估计类中,最小二乘估计是唯一的方差最小的无偏估计;
进入20世纪后,哥色特、费歇尔等人还发现,在正态误差的假定下,最小二乘估计有较完善的小样本理论,使基于它的统计推断易于操作且有关的概率计算不难进行.与此同时,对最小二乘法误差分析的研究也促进了线性模型理论的发展.如今,线性模型已经成为理论结果最丰富、应用最广泛的一类回归模型.
三、对“用最小二乘法探求回归直线方程”的教学建议
1.体现“过程性”
在本部分内容的教学中,应结合具体问题体现两个过程.一是回归分析的过程,即:
要研究两个定量变量(如年龄和脂肪含量)是否具有某种关系
画散点图,直观判断
用回归直线代表试验数据的趋势
用最小二乘法求得斜率和截距的估计值,得到经验方程
=b0+b1x
用经验回归方程对相应变量进行预测.二是用最小二乘法估计回归直线的过程.这个过程包括两个环节,一是通过让学生自己寻求回归直线,引导他们认识到应该从“整体上”看待这个问题,即“从整体上看,各观测数据点与直线的距离最小”是确定直线的一个合理原则;
二是让学生经历用数学语言刻画“从整体上看,各观测数据点与直线的距离最小”的过程.
2.体现统计思想
对于本部分内容,统计思想主要体现在两个方面.首先建立回归直线的目的,是为了从整体上代表两个变量的观测数据的关系,这与用平均数来代表一个变量的数据是类似的.二是观测值不可能正好落在回归直线上.这是因为回归直线方程y=b0+b1x是线性回归模型Y=b0+b1x+
=y+
的一部分,这里
是误差项.该模型假定,变量x与y有线性关系y=b0+b1x,而凡是不能被该线性关系描述的y的变化都由误差项来承担.由于误差,观测值不可能正好落在这条直线上.如果这个模型有意义的话,这些观测值不会离这条直线太远.而且b0和b1是通过样本估计出来的(通常用
表示),存在随机误差,这种误差也会导致预测结果的偏差.
参考文献:
1.章建跃.数学学习论与学习指导.北京:
人民教育出版社,2001.
2.李勇,张淑梅.统计学导论.北京:
人民邮电出版社,2007.
3.陈希孺.数理统计学简史.长沙:
湖南教育出版社,2002.
4.吴喜之.统计学:
从数据到结论(第二版).北京:
中国统计出版社,2006.
5.GudmundR.Iversen,MaryGergen.吴喜之等,译.统计学基本概念和方法.北京:
高等教育出版社,2000.纽约:
施普林格出版社,1997.
6.中国大百科全书总编辑委员会《数学》编辑委员会.中国大百科全书·
数学.北京:
中国大百科全书出版社.1992
2008-10-06
人教网
一般都是用matlab搞定的,它里面有现成的函数供使用的
典型程序解析:
x=[0.10.20.30.40.50.60.70.80.91];
%inputxidata
y=[1.9783.286.167.087.347.669.569.489.3011.2];
%inputyidata
n=2;
%polynomialorder
p=polyfit(x,y,n)%polyfit的输出是一个多项式系数的行向量(拟合二项式的系数)
ezplot('
-9.8108*x*x+20.1293*x-0.0317'
)%对拟合的函数作图
xi=linspace(0,1,100);
%x-axisdataforplotting
z=polyval(p,xi);
%为了计算在xi数据点的多项式值,调用MATLAB的函数polyval
plot(x,y,'
o'
x,y,xi,z,'
:
'
)%在同一个图形里看他们的拟合程度
典型例题:
对以下数据分别作二次,三次多项式拟合,并画出图形.
x=1:
16;
y=[4,6.4,8,8.4,9.28,9.5,9.7,9.86,10,10.2,10.32,10.42,10.5,10.55,10.58,10.6];
源程序:
二次多项式拟合
x=1:
1:
a=polyfit(x,y,2)
a=
-0.04451.07114.3252
-0.0445*x^2+1.0711*x+4.3252'
)
三次多项式拟合
a=polyfit(x,y,3)
0.0060-0.19632.13462.5952
0.0060*x^3-0.1963*x^2+2.1346*x+2.5952'
)
简介
用连续曲线近似地刻画或比拟
曲线拟合
平面上离散点组所表示的坐标之间的函数关系的一种数据处理方法。
用解析表达式逼近离散数据的一种方法。
在科学实验或社会活动中,通过实验或观测得到量x与y的一组数据对(xi,yi)(i=1,2,…m),其中各xi是彼此不同的。
人们希望用一类与数据的背景材料规律相适应的解析表达式,y=f(x,c)来反映量x与y之间的依赖关系,即在一定意义下“最佳”地逼近或拟合已知数据。
f(x,c)常称作拟合模型,式中c=(c1,c2,…cn)是一些待定参数。
当c在f中线性出现时,称为线性模型,否则称为非线性模型。
有许多衡量拟合优
曲线拟合公式推导
度的标准,最常用的一种做法是选择参数c使得拟合模型与实际观测值在各点的残差(或离差)ek=yk-f(xk,c)的加权平方和达到最小,此时所求曲线称作在加权最小二乘意义下对数据的拟合曲线。
有许多求解拟合曲线的成功方法,对于线性模型一般通过建立和求解方程组来确定参数,从而求得拟合曲线。
至于非线性模型,则要借助求解非线性方程组或用最优化方法求得所需参数才能得到拟合曲线,有时称之为非线性最小二乘拟合。
曲线拟合:
贝塞尔曲线与路径转化时的误差。
值越大,误差越大;
值越小,越精确。
编辑本段意义
线直线化是曲线拟合的重要手段之一。
对于某些非线性的资料可以通过简单的变量变换使之直线化,这样就可以按最小二乘法原理求出变换后变量的直线方程,在实际工作中常利用此直线方程绘制资料的标准工作曲线,同时根据需要可将此直线方程还原为曲线方程,实现对资料的曲线拟合。
编辑本段常用的非线性函数
1.指数函数(exponentialfunction)
Y=aebX(12.29)
对式(12.29)两边取对数,得
将曲线拟合在选定点上
lnY=lna+bX(12.30)
b>
0时,Y随X增大而增大;
b<
0时,Y随X增大而减少。
见图12.4(a)、(b)。
当以lnY和X绘制的散点图呈直线趋势时,可考虑采用指数函数来描述Y与X间的非线性关系,lna和b分别为截距和斜率。
更一般的指数函数
Y=aebX+k(12.31)
式中k为一常量,往往未知,应用时可试用不同的值。
2.对数函数(lograrithmicfunction)
Y=a+blnX(X>
0)(12.32)
0时,Y随X增大而增大,先快后慢;
0时,Y随X增大而减少,先快后慢,见图12.4(c)、(d)。
当以Y和lnX绘制的散点图呈直线趋势时,可考虑采用对数函数描述Y与X之间的非线性关系,式中的b和a分别为斜率和截距。
更一般的对数函数
Y=a+bln(X+k)(12.33)
式中k为一常量,往往未知。
YYYY
XXXX
(a)lnY=lna+bX(b)lnY=lna-bX(c)Y=a+blnX(d)Y=a-blnX
3.幂函数(powerfunction)
Y=aXb(a>
0,X>
0)(12.34)
式中b>
对式(12.34)两边取对数,得
lnY=lna+blnX(12.35)
所以,当以lnY和lnX绘制的散点图呈直线趋势时,可考虑采用幂函数来描述Y和X间的非线性关系,lna和b分别是截距和斜率。
更一般的幂函数
Y=aXb+k(12.36)
编辑本段利用线性回归拟合曲线的一般步骤
(一)绘制散点图,选择合适的曲线类型
一般根据资料性质结合专业知识便可确定资料的曲线类型,不能确
定时,可在方格坐标纸上绘制散点图,根据散点的分布,选择接近的、合适的曲线类型。
(二)进行变量变换
Y’=f(Y),X’=g(X)(12.37)
使变换后的两个变量呈直线关系。
(三)按最小二乘法原理求线性方程和方差分析
(四)将直线化方程转换为关于原变量X、Y的函数表达式
简单地说都属于III类油,具体建议下。
润滑油基础油分类简介
国外各大石油公司过去曾经根据原油的性质和加工工艺把基础油分为石蜡基基础油、中间基基础油、环烷基基础油等。
20世纪80年代以来,以发动机油的发展为先导,润滑油趋向低黏度、多级化、通用化,对基础油的黏度指数提出了更高的要求,原来的基础油分类方法已不能适应这一变化趋势。
因此,国外各大石油公司目前一般根据黏度指数的大小分类,但一直以来没有严格的标准。
API于1993年将基础油分为五类(API-1509),并将其并如EOLCS(API发动机油发照认证系统)中,其分类方法见表-1。
表-1API-1509基础油分类标准
试验方法ASTMD2007ASTMD2270ASTMD2622/D4294/D4927/D3120
类别饱和烃含量/%黏度指数VI硫含量/%(质量分数)
I类<
90%80~<
120>
0.3
II类>
120<
III类>
90%>
IV类聚α-烯烃(PAO)
V类所有非I、II、III或IV类基础油
I类基础油通常是由传统的“老三套”工艺生产制得,从生产工艺来看,I类基础油的生产过程基本以物理过程为主,不改变烃类结构,生产的基础油质量取决于原料中理想组分的含量和性质。
因此,该类基础油在性能上受到限制。
II类基础油是通过组合工艺(溶剂工艺和加氢工艺结合)制得,工艺主要以化学过程为主,不受原料限制,可以改变原来的烃类结构。
因而II类基础油杂质少(芳烃含量小于10%),饱和烃含量高,热安定性和抗氧性好,低温和烟炱分散性能均优于I类基础油。
III类基础油是用全加氢工艺制得,与II类基础油相比,属高黏度指数的加氢基础油,又称作非常规基础油(UCBO)。
III类基础油在性能上远远超过I类基础油和II类基础油,尤其是具有很高的黏度指数和很低的挥发性。
某些III类油的性能可与聚α-烯烃(PAO)相媲美,其价格却比合成油便宜得多。
IV类基础油指的是聚α-烯烃(PAO)合成油。
常用的生产方法有石蜡分解法和乙烯聚合法。
PAO依聚合度不同可分为低聚合度、中聚合度、高聚合度,分别用来调制不同的油品。
这类基础油与矿物油相比,无S、P和金属,由于不含蜡,所以倾点极低,通常在-40℃以下,黏度指数一般超过140。
但PAO边界润滑性差。
另外,由于它本身的极性小,对溶解极性添加剂的能力差,且对橡胶密封有一定的收缩性,但这些问题都可通过添加一定量的酯类得以客服。
除I~IV类基础油之外的其他合成油(合成烃类、酯类、硅油等)、植物油、再生基础油等统称V类基础油。
21世纪对润滑油基础油的技术要求主要有:
热氧化安定性好、低挥发性、高黏度指数、低硫/无硫、低黏度、环境友好。
传统的“老三套”工艺生产的I类润滑油基础油已不能满足未来润滑油的这种要求,加氢法生产的II或III类基础油将成为市场主流。
我国润滑油基础油标准建立于1983年,为适应调制高档润滑油的需要,1995年对原标准进行了修订,执行润滑油基础油分类方法和规格标QSHR001-95,详见表-2。
这种分类方法与国际上
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 认识 最小二乘法