第四章参数的最小二乘法估计.docx
- 文档编号:30339586
- 上传时间:2023-08-13
- 格式:DOCX
- 页数:14
- 大小:27.15KB
第四章参数的最小二乘法估计.docx
《第四章参数的最小二乘法估计.docx》由会员分享,可在线阅读,更多相关《第四章参数的最小二乘法估计.docx(14页珍藏版)》请在冰豆网上搜索。
第四章参数的最小二乘法估计
第四章参数的最小二乘法估计
第四章参数的最小二乘法估计第四章最小二乘法与组合测量1概述最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。
对于从事精密科学实验的人们来说,应用最小乘法来解决一些实际问题,仍是目前必不可少的手段。
例如,取重复测量数据的算术平均值作为测量的结果,就是依据了使残差的平方和为最小的原则,又如,在本章将要用最小二乘法来解决一类组合测量的问题。
另外,常遇到用实验方法来拟合经验公式,这是后面一章回归分析方法的内容,它也是以最小二乘法原理为基础。
最小二乘法的发展已经经历了200多年的历史,它最先起源于天文和大地测量的需要,其后在许多科学领域里获得了广泛应用,特别是近代矩阵理论与电子计算机相结合,使最小二乘法不断地发展而久盛不衰。
本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用,一些深入的内容可参阅专门的书籍和文献。
2最小二乘法原理最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。
对某量x测量一组数据x1,x2, ,xn,假设数据中不存在系统误差和粗大误差,相互独立,服从正态分布,它们的标准偏差依次为:
1, 2, n记最可信赖值为,相应的残差vi xi 。
测值落入(xi,xi dx)的概率。
vi21Pi exp( 2)dx2 i i2根据概率乘法定理,测量x1,x2, ,xn同时出现的概率为P Pi vi211nexp[ ()](dx) n2ii i()显然,最可信赖值应使出现的概率P为最大,即使上式中页指数中的因子达最小,即 ivi22i Min2 o1权因子:
wi 2即权因子wi2,则 i i2[wvv] wvii Min再用微分法,得最可信赖值 wxi 1nii即加权算术平均值 wi 1i这里为了与概率符号区别,以 i表示权因子。
特别是等权测量条件下,有:
[vv] vi2 Min以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的,称之为最小二乘法原理。
它是以最小二乘方而得名。
为从一组测量数据中求得最佳结果,还可使用其它原理。
例如
(1)最小绝对残差和法:
vi Min
(2)最小最大残差法:
maxvi Min(3)最小广义权差法:
maxvi minvi Min以上方法随着电子计算机的应用才逐渐引起注意,但最小二乘法便于解析,至今仍用得最广泛。
3.线性参数最小二乘法先举一个实际遇到的测量问题,为精密测定三个电容值:
x1,x2,x3采用的测量方案是,分别等权、独立测得x1,x2,x1 x3,x2 x3,列出待解的数学模型。
x1=0.3x2=-0.4x1+x3=0.5x2+x3=-0.3这是一个超定方程组,即方程个数多于待求量个数,不存在唯一的确定解,事实上,考虑到测量有误差,记它们的测量误差分别为v1,v2,v3,v4,按最小二乘法原理 v组。
2i Min分别对x1,x2,x3求偏导数,令它们等于零,得如下的确定性方程(x1-0.3)+(x1+x3-0.5)=0(x2+0.4)+(x2+x3+0.3)=0(x1+x3-0.5)+(x2+x3+0.3)=0可求出唯一解x1=0.325,x2=-0.425,x3=0.150这组解称之为原超定方程组的最小二乘解。
以下,一般地讨论线性参数测量方程组的最小二乘解及其精度估计。
一、正规方程组设线性测量方程组的一般形式为:
yi ai1x1 ai2x2 aitxt(i 1,2, ,n)即y1 a11x1 a12x2 a1txty2 a21x1 a22x2 a2txt yn an1x1 an2x2 antxt式中,有n个直接测得值y1,y2, ,yn,t个待求量x1,x2, ,xt。
nt,各yi等权,无系统误差和粗大误差。
固yi含有测量误差,每个测量方程都不严格成立,故有相应的测量残差方程组vi yi aijxj(i 1,2, ,n)j 1tyi实测值xj待估计量,最佳估计值,最可信赖值 axijj 1tj最可信赖的y值。
按最小二乘法原理,待求的xj应满足[vv] v [yi aijxj]2 Min2ii 1i 1j 1nnt上式分别对xj求偏导数,且令其等于零,经推导得[a1a1]x1 [a1a2]x2 [a1at]xt [a1] [a2a1]x1 [a2a2]x2 [a2at]xt [a2] 正规方程组 [ata1]x1 [ata2]x2 [atat]xt [at] 式中,aj,y分别为如下列向量 a1j aj aj 2 anj y1 y y 2 yn [alak]和[ajy]分别为如下两列向量的内积:
[alak]=a1la1k a2la2k anlank[ajy]=a1jy1 a2jy2 anjyn正规方程组有如下特点:
(1)主对角线系数是测量方程组各列系数的平方和,全为正数。
(2)其它系数关于主对角线对称(3)方程个数等于待求量个数,有唯一解。
由此可见,线性测量方程组的最小二乘解归结为对线性正规方程组的求解。
为了便于进一步讨论问题,下面借助矩阵工具给出正规方程组的矩阵形式。
记列向量 y1 x1 y x 2Y X 2 V y xt n 和nt阶矩阵 v1 l1 v l 2 L= 2 vn ln a11a12 a1t A aa a21222t aa a nt n1n2则测量方程组可记为:
AX=Y一般意义下的方程组测量残差方程组记为 L1 L L 2 Ln 当估计出的xj已经是最可信赖的值,则AX是yi的最佳结果。
最小二乘原理记为(L-AX)T(L-AX) Min利用矩阵的导数及其性质有 T VT(VV) 2V ① x x LT (XTAT) 2( )(L-AX) ② x x 2AT(L-AX) 2ATL-2ATAX令 T(VV) 0,得正规方程组的矩阵形式。
xATAX=AL展开系数矩阵ATA和列向量ATL,可得代数形式的正规方程组。
上述①②和矩阵的导数有关,因此,我们来分析矩阵最小二乘法。
二、矩阵最小二乘法1.矩阵的导数设n t阶矩阵。
a11a12 a1t (a) (AA A)Ai aa a2t ij12t 2122) aa a nt nin2n阶列向量(n+1阶矩阵)V和t阶列向量X v1 v V 2 vn x1 x X 2 xt V与X的转置(行向量)记为VT与XT.关于向量X的标量函数。
(X) (x1x2 xt)定义如下几个导数。
(1)矩阵对标量x的导数矩阵内A元素aij是x的函数,对矩阵AX的导数,定义为各元素对x的导数,构成新的导数矩阵。
若aij是变量x的函数,则定义dAdaij ()(E-1)dxdx
(2)标量函数对向量的导数标量函数 ,对列向量X的导数,等于标量函数 对向量X的组成元素xi(i 1~t)的导数组成的列向量(行向量的转置) y y y yT ()(E-2) x x1 x2 xt标量函数 ,对行向量XT的导数,等于标量函数 对向量X的组成元素xi(i 1~t)的导数组成的行向量。
y y y y y ( ) ()T(E-3) xT x1 x2 xt x(3)行(列)向量对列(行)向量的导数VT (v1v2 vn)行向量VT对列向量X的导数等于行向量各组成元素,对列向量各组成元素分别求得 v x 1 v1T v v v V x2 i n vn x1 vn x2 (E-4) x x x x v1 v n xt xt v1 v1 x1 xt V v v v v vnT XT ( xT xT xT) x1 x VT Tt = X vn x v n i xt 关于矩阵的导数有如下性质:
(1)矩阵A和B乘积对标量x的导数d(AB)dx AdBdx dAdxB(E-6)
(2)常数阵的导数为零矩阵。
dAdx 0(E-7)(3)向量关于自身转置向量的导数为单位方阵。
XT X=dXdXT I(E-8)(4)向量与向量转置乘积的导数 (VTV) VT x=2 xV(E-9) (VTV)T XT 2VV XT(E-10)(5)关于常数矩阵与向量乘积的导数(E-5) (XTA) A(E-11) X TT(AX)=A(E-12)T X VTT(VAV)=2AV(E-13) X X TT(VAV)=2VA(E-14) XT XT利用(E-1)、(E-4)、和(E-5)三个定义式,容易证明式(E-6)、(E-7)、(E-8)、和(E-11)、(E-11)成立。
①以下证明式(E-9)注意到式(E-2)和式(E-4)即,标量对列向量求导 T ( )(E-2) x x1 x2 xt vn x1 vn x2 (E-4) vn xt v x 1 v1T v v v V x2行向量对列向量求导 ( n) X X X X v1 x t vn v12v 2vn 1 x x11 2 式(E-9)左 ( vi) x v v 2v1i 2vnn x xt t v1 vn x x v1 1 T 1v V2 2 2V 右 x v v 1 n v x x n t t类似地,可以证得式(E-10)成立。
②再证明式(E-13)注意到VTAV是关于x的标量函数,由式(E-2)知,只需证明 T VT(VAV) 2AV xi xi vn v1 v2 aa a1n 11 x12 x xiii T (AV) 由于V (v1v2 vn) xi v v vin an1 an2 ann x xi xi i vn v1 vn v1 av avav av1111n11111n1 x x x xiiii = v v v vnn an11vn ann 1an1vn vn annvn x axi xi xni a11v1 a1nv1 v v v (i2 n) x1 xi xi anv av nnn 1n VT AV xi VT VTT (AV)所以式(E-13)左 AV+V 2AV 右 xi xi xi2.正规方程设线性测量方程组与基残差方程组分别为AX=Y(E-15)L-AX=V(E-16)式中A为n t阶常数矩阵,L是已知的n阶的测量向量,X为t阶待求向量,(注意l1,l2, ln均是已测量所得),V是n阶残差向量。
由最小二乘原理VTV=(L-AX)T(L-AX) Min求 VTT(VV) 2V(矩阵性质(E-9)式) X X L (XTAT) 2( )(L AX) X X注意到式(E-7)即常数阵的导数为零矩阵。
LT 0 X注意到式(E-11)即 (XTA) A,故 XXTAT () AT X所以 T(VV) 2AT(L-A) X 2(ATL-ATAX)令 (VTV) 0得正规方程组的矩阵形式 XATA X=ATL(E-18)当ATA满秩的情形,可求出X (ATA) 1ATL(E-19)一般地,可从式(E-15)出发,用稳定的数值解法,计算A的广义逆阵A 1得X A 1L(E-20)要进一步去研究此问题,可参阅有关近代矩阵分析及其数值方法的专著3.待求量X的协方差矩阵。
已知测量向量L协方差矩阵。
Dl11Dl12 Dl1n DlDl Dl 2n DL E(L EL)(L EL)T= 2122 Dln1Dln2 Dlnn 式中,Dlii为lii的方差:
Dlii E(li E(li))2 i2Dlij为li与lj的协的方差:
Dlij ij i j这里,假设l1,l2, ,ln为等精度、独立测量的结果,有DL 2I利用式(E-19)待求量X的协方差E(X EX)(X EX)T E[(ATA) 1ATL E((ATA) 1ATL)][(ATA) 1ATL E((ATA) 1ATL)]T (ATA) 1(ATE(L-EL))(L-EL)T[(ATA) 1AT]TT 1TT 1T (AA)ADLA((AA)) (ATA) 1ATDLA(ATA) 1=(ATA) 1AT 2IA(ATA) 1所以DX (ATA) 1 2(E-21)4.最小二乘法解的最佳性可以证明,在等精度、独立和无系统误差的测量条件下,最小二乘法的解具有唯一性、无偏性、有效性和充分性。
证明:
1 .唯一性因测量方程相互独立,且nt,则ATA满秩,式(E-18)有唯一解2 .无偏性对X的估计式(E-19)求数学期望。
E((ATA)-1ATY) (ATA) 1ATEY (ATA) 1ATAx x3 .有效性设另有X的无偏估计X*=GY则有EX GEY GAX X故GA I又DX* D(GY) GGTDY GGTI 2 GGT 2而DX (ATA) 1 2引入单位向量 0 i 1 0 其中第i行为1,其它为0Xi*与Xi的方差分别为 i*2 iGGT iT 2 i*2 i(ATA) iT 2以下证 i*2 i2 i(GGT (ATA) 1) iT i((ATA) 1 (ATA) 1ATGT GA(ATA) 1 GGT) iT i((ATA) 1AT G)(A(ATA) 1 GT) iT CCT 0其中第一等式利用了GA I,C i ((ATA) 1AT G)是一常数,故2。
最后得证X的方差最小,即X的有效性成立。
CCT C4 .充分性y取到了测量样本y1,y2, ,yn中的所有信息,故按(E-18)式求得x的估计量,显然也是充分的。
正是由于最小二乘法的解具有最佳性,所以,最小二乘法在精密测量的各个领域获得广泛应用。
三、精度估计对测量数据的最小二乘法处理,其最终结果不仅要给出待求量的最可信赖值,还要确定其可信赖程度,即估计其精度。
具体内容包含有两方面:
一是估计直接测量结果y1,y2, ,yn的精度;二是估计待求量x1,x2, ,xt的精度。
1.直接测量结果的精度估计对t个未知量的线性测量方程组AX Y进行n次独立的等精度测量,得如果vi服从正态分布,那么[vv] 2服l1,l2, ,ln其残余误差v1,v2, ,vn标准偏差 。
从 2分布,其自由度n-t,有 2变量的数学期望E{[vv]/ 2} n t,以S代 。
即有S n t令t=1,由上式又导出了Bessel公式。
2.待求量的精度估计按照误差传播的观点,估计量x1,x2, ,xt的精度取决于直接测量数据l1,l2, ,ln的精度以及建立它们之间联系的测量方程组。
可求待求量的协方差(见二3)DX (ATA) 1 2矩阵 d11 dT 1(AA) 21 dt1d12d22 dt2 d1t d2t dtt 各元素dij可由矩阵ATA求逆得,也可由下列各方程组分别解得。
[a1a1]d11 [a1a2]d12 [a1at]d1t 1 [aa]d [aa]d [aa]d 0 211122122t1t [ata1]d11 [ata2]d12 [atat]d1t 0 [a1a1]d21 [a1a2]d22 [a1at]d2t 1 [aa]d [aa]d [aa]d 0 212122222t2t [ata1]d21 [ata2]d22 [atat]d2t 0 [a1a1]dt1 [a1a2]dt2 [a1at]dtt 1 [aa]d [aa]d [aa]d 0 21t122t22ttt [ata1]dt1 [ata2]dt2 [atat]dtt 0(5-51) 是直接测量数据的标准差,可按S 待求量xj的方差2 xj djj 2估计n t(j 1,2, ,t)(5-52)矩阵(ATA) 1中对角元素djj就是误差传播系数。
待求量xi与xj的相关系数。
ij dijiijj(i,j 1,2, ,t)现在,可以解决本节开始提出的测量问题例5-1为精密测定1号、2号和3号电容器的电容x1,x2,x3,进行了等权独立、无系统误差的测量。
测得1号电容值C1=0.3,2号电容值C2=-0.4,1号和3号并联电容值C3=0.5,2号和3号并联电容值C4=-0.3。
试用最小二乘法求x1,x2,x3及其标准差。
解:
①列出残差方程组v1 0.3 x1v2 0.4 x2v3 0.5 (x1 x2)v4 0.3 (x2 x3)为计算方便,将数据列表如下:
②按上表计算正规方程组各系数和常数项后,列出正规方程组2x1 0x2 x3 0.80x1 2x2 x3 0.7x1 x2 2x3 0.2解出x1=0.325,x2=-0.425,x3=0.150③代入残差方程组,计算v1 v2 v3 v4 0.025222[vv] v12 v2 v3 v4 0.0025 ④按式(5-51),求出 0.054 3d11=0.75,d22=0.75,d33=1⑤按式(5-52),求出 xj x1 0.0433, x2 0.0433, x3 0.050⑥最后得1号、2号和3号电容器的精密电容值x1 0.325 3 x1,x2 0.425 3 x2,x3 0.150 3 x3也可以用矩阵形式,这里显然:
1 0①A 1 001010 0.3 0.4 0 Y 0.5 1 1 0.3 ②这样可求得AT,ATA,(ATA) 1求逆阵:
则X (ATA) 1ATY③由Y AX V求得Vvi(i 1~4) v2i④ n t⑤由D (ATA) 1,djj可得d11,d22,d33⑥ xj jj⑦写出结果。
4非线性参数的最小二乘法在例5-1中,除了进行4次测量外,又对1号和2号电容器的串联电容x1x2/(x1 x2)进行测量,测得y5,方差仍为 2,那么如何处理呢?
简单的办法是把它线性化。
所谓线性化,就是在未知量的附近,按泰勒级数展开取一次项,然后按线性参数最小二乘法进行迭代求解。
线性化的具体步骤如下:
设测量残差方程组yi i(x1,x2, ,xt) vi取xj的初始近似值Cj记(4-1) j xj Cj则有yi i(x1,x2, ,xt) vi i(C1,C2, ,Ct) (4-2) i 1 1 t vi x1C xtC(4-3)(4-4)令yi’ yi i(C1,C2, ,Ct)ai1 于是得线性化残差方程组 i ,ai2 i,ait i x1C xiC xtCyi’ ai1 1 ai2 2 ait t vi(4-5)作法:
按线性参数最小二乘法解得 j,以至xj,将此xj作为新的Cj,按式(4-2),式(4-3),式(4-4)和式(4-5)进行反复迭代求解,直至 j符合精度要求为止。
例5-2在例5-1的基础上,再增加一次测量串联电容x1x2/(x1 x2),测得y5=0.14。
试用最小二乘法求x1,x2,x3及其标准差解:
先列出测量方程组x1=0.3x2=-0.4x1+x3=0.5x2+x3=-0.3x1x2 0.14(x1 x2)对前4个线性测量方程组,按例5-1求出解,作为初次近似解
(1)
(1)C1
(1) 0.325,C2 0.425,C3 0.150在(0.325,-0.425,0.150)附近,取泰勒展开的一阶近似,y1’ 0.3 0.325 0.025,a11 ‘y2 0.4 0.425 0.025, 1 1,a12 a13 0 x1a21 a23 0,a22 1a31 a33 1,a32 0a41 0,a42 a43 1‘y3 0.5 (0.325 0.150) 0.025,‘y4 0.3 ( 0.425 0.150) 0.025,‘y5 0.14 ( 0.325 0.425) 1.241250.325 0.4252x2a51 18.06252(x1 x2)x12a52 10.5625,2(x1 x2)写出线性化残差方程组a53 0A0 1 01 10 1 0 18.062510.5625整理得正规方程组 0 0 1 1 0 L 0.025
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第四 参数 最小二乘法 估计
![提示](https://static.bdocx.com/images/bang_tan.gif)