数值计算第6章曲线拟合的最小二乘法19页word资料.docx
- 文档编号:713247
- 上传时间:2022-10-12
- 格式:DOCX
- 页数:16
- 大小:121.26KB
数值计算第6章曲线拟合的最小二乘法19页word资料.docx
《数值计算第6章曲线拟合的最小二乘法19页word资料.docx》由会员分享,可在线阅读,更多相关《数值计算第6章曲线拟合的最小二乘法19页word资料.docx(16页珍藏版)》请在冰豆网上搜索。
数值计算第6章曲线拟合的最小二乘法19页word资料
第6章 曲线拟合的最小二乘法
“教书先生”恐怕是市井百姓最为熟悉的一种称呼,从最初的门馆、私塾到晚清的学堂,“教书先生”那一行当怎么说也算是让国人景仰甚或敬畏的一种社会职业。
只是更早的“先生”概念并非源于教书,最初出现的“先生”一词也并非有传授知识那般的含义。
《孟子》中的“先生何为出此言也?
”;《论语》中的“有酒食,先生馔”;《国策》中的“先生坐,何至于此?
”等等,均指“先生”为父兄或有学问、有德行的长辈。
其实《国策》中本身就有“先生长者,有德之称”的说法。
可见“先生”之原意非真正的“教师”之意,倒是与当今“先生”的称呼更接近。
看来,“先生”之本源含义在于礼貌和尊称,并非具学问者的专称。
称“老师”为“先生”的记载,首见于《礼记?
曲礼》,有“从于先生,不越礼而与人言”,其中之“先生”意为“年长、资深之传授知识者”,与教师、老师之意基本一致。
6.1 拟合曲线
这个工作可让学生分组负责收集整理,登在小黑板上,每周一换。
要求学生抽空抄录并且阅读成诵。
其目的在于扩大学生的知识面,引导学生关注社会,热爱生活,所以内容要尽量广泛一些,可以分为人生、价值、理想、学习、成长、责任、友谊、爱心、探索、环保等多方面。
如此下去,除假期外,一年便可以积累40多则材料。
如果学生的脑海里有了众多的鲜活生动的材料,写起文章来还用乱翻参考书吗?
通过观察或测量得到一组离散数据序列,当所得数据比较准确时,可构造插值函数逼近客观存在的函数,构造的原则是要求插值函数通过这些数据点,即。
此时,序列与是相等的。
宋以后,京师所设小学馆和武学堂中的教师称谓皆称之为“教谕”。
至元明清之县学一律循之不变。
明朝入选翰林院的进士之师称“教习”。
到清末,学堂兴起,各科教师仍沿用“教习”一称。
其实“教谕”在明清时还有学官一意,即主管县一级的教育生员。
而相应府和州掌管教育生员者则谓“教授”和“学正”。
“教授”“学正”和“教谕”的副手一律称“训导”。
于民间,特别是汉代以后,对于在“校”或“学”中传授经学者也称为“经师”。
在一些特定的讲学场合,比如书院、皇室,也称教师为“院长、西席、讲席”等。
如果数据序列,含有不可避免的误差(或称“噪音”),如图6.1所示;如果数据序列无法同时满足某特定函数,如图6.2所示,那么,只能要求所做逼近函数最优地靠近样点,即向量与的误差或距离最小。
按与之间误差最小原则作为“最优”标准构造的逼近函数,称为拟合函数。
图6.1含有“噪声”的数据
图6.2一条直线公路与多个景点
插值和拟合是构造逼近函数的两种方法。
插值的目标是要插值函数尽量靠近离散点;拟合的目标是要离散点尽量靠近拟合函数。
向量与之间的误差或距离有各种不同的定义方法。
例如:
用各点误差绝对值的和表示:
用各点误差按模的最大值表示:
用各点误差的平方和表示:
或 (6.1)
其中称为均方误差,由于计算均方误差的最小值的方法容易实现而被广泛采用。
按均方误差达到极小构造拟合曲线的方法称为最小二乘法。
本章主要讲述用最小二乘法构造拟合曲线的方法。
在运筹学、统计学、逼近论和控制论中,最小二乘法都是很重要的求解方法。
例如,它是统计学中估计回归参数的最基本方法。
关于最小二乘法的发明权,在数学史的研究中尚未定论。
有材料表明高斯和勒让德分别独立地提出这种方法。
勒让德是在1805年第一次公开发表关于最小二乘法的论文,这时高斯指出,他早在1795年之前就使用了这种方法。
但数学史研究者只找到了高斯约在1803年之前使用了这种方法的证据。
在实际问题中,怎样由测量的数据设计和确定“最贴近”的拟合曲线?
关键在选择适当的拟合曲线类型,有时根据专业知识和工作经验即可确定拟合曲线类型;在对拟合曲线一无所知的情况下,不妨先绘制数据的粗略图形,或许从中观测出拟合曲线的类型;更一般地,对数据进行多种曲线类型的拟合,并计算均方误差,用数学实验的方法找出在最小二乘法意义下的误差最小的拟合函数。
例如,某风景区要在已有的景点之间修一条规格较高的主干路,景点与主干路之间由各具特色的支路联接。
设景点的坐标为点列;设主干路为一条直线,即拟合函数是一条直线。
通过计算均方误差最小值而确定直线方程(见图6.2)。
6.2 线性拟合和二次拟合函数
线性拟合
给定一组数据,做拟合直线,均方误差为
(6.2)
是二元函数,的极小值要满足
整理得到拟合曲线满足的方程:
(6.3)
或
称式(6.3)为拟合曲线的法方程。
用消元法或克莱姆法则解出方程:
a=
例6.1下表为P.Sale及R.Dybdall在某处作的鱼类抽样调查,表中为鱼的数量,为鱼的种类。
请用线性函数拟合鱼的数量和种类的函数关系。
13
15
16
21
22
23
25
29
30
31
36
11
10
11
12
12
13
13
12
14
16
17
40
42
55
60
62
64
70
72
100
130
13
14
22
14
21
21
24
17
23
34
解:
设拟合直线,并计算得下表:
编号
x
y
xy
x2
1
2
3
4
5
21
∑
13
15
16
21
22
130
956
11
10
11
12
12
34
344
143
150
176
252
264
4420
18913
169
225
256
441
484
16900
61640
将数据代入法方程组(6.3)中,得到:
解方程得:
=8.2084,=0.1795
拟合直线为:
=8.2084+0.1795
二次拟合函数
给定数据序列,用二次多项式函数拟合这组数据。
设,作出拟合函数与数据序列的均方误差:
(6.4)
由多元函数的极值原理,的极小值满足
整理得二次多项式函数拟合的法方程:
(6.5)
解此方程得到在均方误差最小意义下的拟合函数。
方程组(6.5)称为多项式拟合的法方程,法方程的系数矩阵是对称的。
当拟保多项式阶时,法方程的系数矩阵是病态的,在计算中要用双精度或一些特殊算法以保护解的准确性。
例6.2给定一组数据,如下表。
用二次多项式函数拟合的这组数据。
-3
-2
-1
0
1
2
3
4
2
3
0
-1
-2
-5
解:
设,由计算得下表:
-3
-2
-1
0
1
2
3
4
2
3
0
1
2
5
1
-12
-4
-3
0
-1
-4
-15
-39
9
4
1
0
1
4
9
28
36
8
3
0
-1
-8
-45
-7
-27
-8
-1
0
1
8
27
0
81
16
1
0
1
16
81
96
将数据代入式(6.5),相应的法方程为:
解方程得:
=0.66667,=-1.39286,=-0.13095
∴=0.66667-1.39286-0.13095
拟合曲线的均方误差:
=3.09524
结果见图6.3。
图6.3 拟合曲线与数据序
6.3 解矛盾方程组
在6.2节中用最小二乘法构造拟合函数,本节中用最小二乘法求解线性矛盾方程组的方法构造拟合函数。
给定数据序列,作拟合多项式,如果要求过这些点,那么有矛盾方程组:
即:
(6.6)
我们作一辅助函数
这是自变量为的多元函数,要使达到最小值,采用多元函数求权值的方法,对每一个自变量的偏导数为0。
整理成以为未知数的线性方程组
整理成矩阵形式,其中:
这是一个的对称方程组,称为法方程。
只要非奇异,就可以得出唯一解。
这就是矛盾方程组的最小二乘解。
有什么快捷的方法来求法方程的解?
把矛盾方程组(6.6)写成矩阵形式,其中
容易验证,法方程就是。
例如,拟合直线的矛盾方程组的形式如下:
化简得到与(6.3)相同的法方程:
在线性代数中,我们知道,关于方程组,若秩秩,则方程组无解,这时方程组称为矛盾方程组。
在数值代数中对矛盾方程计算的是在均方误差极小意义下的解,也就是在最小二乘法意义下的矛盾方程的解。
定理6.1将证明,方程组的解就是矛盾方程组在最小二乘法意义下的解。
定理6.1
1.为行列的矩陈,为列向量,秩,称为矛盾方程的的法方程,法方程恒有解。
2.是的解,当且仅当满足,即是法方程的解。
证明:
1)对作行初等变换,使,
∴ 秩
而秩秩秩
∴ 方程组有解而且解惟一存在。
2)设满足,任取,则
由于是任取的,故法方程组的解为极小问题的解。
事实上,对离散数据作次多项式曲线拟合,要计算的极小问题。
这与解矛盾方程组
或
求的极小问题是一回事。
在这里
故对离散数据所作的次拟合曲线,可通过解下列方程组求得:
例6.3给定一组数据,见下表,用二次多项式函数拟合这组数据。
-3
-2
-1
0
1
2
3
4
2
3
0
-1
-2
-5
解:
记二次拟合曲线为,形成法方程:
而
得到:
解方程得:
=0.66667,=-1.39286,=-0.13095
∴ =0.66667-1.39286-0.13095
例6.4给出一组数据,见下表。
用最小二乘法求形如的经验公式。
x
-3
-2
-1
2
4
y
14.3
8.3
4.7
8.3
22.7
解:
列出法方程:
法方程为:
解方程得到:
=10.675,=0.137
拟合曲线为:
10.678+0.137
有些非线性函数经过转换以后可化为线性函数计算。
例如,令,则化拟合曲线为:
。
例6.5求一个形如的经验函数公式,使它能够和下列数据相拟合。
1
2
3
4
5
6
7
8
15.3
20.5
27.4
36.6
49.1
65.6
87.8
117.6
解:
化经验公式为线性形式,对经验公式的两边取自然对数有
由矛盾方程组
得到法方程组
即
解方程组得:
拟合曲线的均方误差为:
计算结果见图6.4。
图6.4拟合曲线图示
例6.6解矛盾方程组
解:
写出法方程组,即
得
解法方程得:
1.5917,0.5899,0.7572。
6.4 权
有的实际问题中,已知数据不一定都是一次观测的结果,对于不同的可能观测次数不同,在矛盾方程组中,一组确定一个方程,而最小二乘解对每个方程来说都还存在误差,这样,把每对都同等看待就不太合理,希望观测次数多的(即可靠性大些的)数据在矛盾方程组中占的比重大些。
为了使问题的提法更有一般性,通常把最小二乘法中偏差平方和改为加权平方和,使最小,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数值计算第6章 曲线拟合的最小二乘法19页word资料 数值 计算 曲线拟合 最小二乘法 19 word 资料