一元线性回归的最小二乘估计docx.docx
- 文档编号:30476355
- 上传时间:2023-08-15
- 格式:DOCX
- 页数:10
- 大小:56.63KB
一元线性回归的最小二乘估计docx.docx
《一元线性回归的最小二乘估计docx.docx》由会员分享,可在线阅读,更多相关《一元线性回归的最小二乘估计docx.docx(10页珍藏版)》请在冰豆网上搜索。
一元线性回归的最小二乘估计docx
一元线性回归的最小二乘估计
我们的任务是,在给定X和Y的一组观测值
(X“YJ,(X2,Y2),・・・,(Xn,Yn)的情况下,如何求岀
Yt=a+pXt+ut中oc和卩的估计值,使得拟合的直线为最佳。
直观上看,也就是要求在X和Y的散点图上穿过各观测点画出一条“最佳”直线,如下图所示。
Y=a+pX
Y
*
Xt
图2
残差
拟合的直线Y-a^pX称为拟合的回归线.
对于任何数据点(XtJYt),此直线将£的总值分成两部分。
第一部分是K的拟合值或预测值yt:
/V/V
Yt+
,t=4,2,……,n
第二部分,务代表观测点对于回归线的误差,称为拟合或预测的残差(residuals):
Yt=4,2,……,n
t=4Z……,n
A
即et^Yra-/}Xt
如何决定估计值&和)01
残差平方和
工話二工匕$丿
我们的目标是使拟合出来的直线在某种意义上是最佳的,直观地看,也就是要求估计直线尽可能地靠近各观测点,这意味着应使各残差尽可能地小。
要做到这一点,就必须用某种方法将每个点相应的残差加在一起,使其达到最小。
理想的测度是残差平方和,即
最小二乘法就是选择一条直线,使其残差平方和达到最小值的方法。
即选择应和使得
达到最小值。
运用微积分知识,使上式达到最小值的必要条件为:
dadp
=0
即
誓=工2(—1)(乙—&—施)=0
矿工2(一"")“
(1)
(2)
整理,得:
(4)
»皿+匹乙工砒=边>+处X
AE(x,-x)(yf-y)⑸
■m》x厂亍
(6)
此二式称为正规方程。
解此二方程,得:
工(X,-X)2
'a=Y-^X
样本均值
离差
其中:
Y-'乙,X=工乂:
n
驻二X,—X,
n
yt-yt-y
(5)式和(Q式给出了OLS法计算&和菊
公式,&和慟为线性回归模型Yt=a+pXt+ut
的参数a和卩的普通最小二乘估计量(OLS
=J
estimators)。
这两个公式可用于任意一组观测值数据,以求出截距和斜率的OLS估计值(estimates),估计值是从一组具体观测值用公式计算出的数值。
一般说来,好的估计量所产生的估计值将相当接近参数的真值,即好的估计值。
可以证明,对于CLR模型,普通最小二乘估计量正是这样一个好估计量。
3例子
例1对于第一段中的消费函数,若根据数据得到:
_
n=10,X=23,Y=20
》(J-J)2=64,丫(J-J)(y-K)=37
则胡=
工(乙―x)g・—Y)
工(X厂乂尸
—.58
64
4=0—驱=20—0.58*23=6.70
因而£=6.70+0.58X,
例2设Y和X的5期观测值如下表所示,试估计方程
Yt=a+pXt+ut
序号
1
2
3
4
5
Yt
14
18
23
25
30
%
10
20
30
40
50
解:
我们采用列表法计算。
计算过程如下:
序号
Yt
yt=K-y
Xt=Xt=X
xtyt
x»2
1
14
10
-20
160
400
2
18
20
-4
-10
40
100
3
23
30
1
0
0
0
4
25
40
3
10
30
100
5
30
50
20
160
400
n=5
110
150
0
0
390
1000
1
表
3
EY工x「工X,_150
工yEx工xy艺x2
=3O,Y=^^=—
=22
n5
八
沪woo心9宀"222-0.39叫10.3
Eviews
创建工作文件,输入数据并进行回归:
Createu15
dataxy
Isycx
•B=J,'=J''__!
__
••"P2P2
=比工习+0工"X,+工““J
乙兀
二&>(0工皿+%
乙兀
三、最小二乘法估计量的性质
1.B和◎的均值
P=工―=工g_刃)二工兀z歹工兀
工兀;XX工x;工兀;
y^xt=^Xr-X)=^Xt-^X=nX-nX=O
(a+px.t+九)
+0X»+D“)
1
Vx;
(0I>;+1>必)
即B=0七¥厂八
两边取期望值,有
八Vx(E(比)
——假设(4)
——假设⑴
E(0)=0+^^
=0
这表明P是0的无偏估计量。
八
由d=Y-fiX我们有:
A
E(d)=E(Y-fiX)
二EQ+0乂+«_旗)
A
/+0X+E(“)-XE(B)
=a+pX-Xp
二a
即矗是a的无偏估计量。
2.B和矗的方差
W(3)=E{[3-E“)]2}
=e(3-p)2
-VX.JLl,
由上段结果:
0=0+壬二
根据定义
-由无偏性馆()=0
・・・(P—0)—(峯学)2
=—只7(兀1“1+兀2并2兀““”)2
(»;)
=兀2)亍(Xi“+XiXjAiAj)
两边取期望值,得:
E©_0Y二[工兀2丘@2)+工兀巧班““)]
(乙Im
由于Eg;)*,t=l,2,-,n根据假设(3)
E(〃“)=O,iHj——根据假设
(2)
八CT?
即Var(^)=—
与此类似,可得出:
a2\X?
Var(d)=—^/
nLxt
八Xrr2
CoW忆〃)=_〒■〒
Lxt
3.高斯"马尔柯夫定理(Gauss-MarkovTheorem)
普通最小二乘估计量(OLS估
对于满足统计假设条件
(1)“⑷的线性回归模型=(X+pX|+U|,
=J
计量)是最佳线性'无偏估计量(BLUE)o
或
IfJ
==
对于古典线性回归模型(CLR模型)Yt=a+p+Xt,普通最小二乘估计量(OLS估计量)是最佳线性无偏估计量(BLUE)o
由上段结果,
我们已在前面证明了无偏性,此外,由于:
其中&二吕石
这表明,B是诸样本观测值Yt(t=l,2,...,n)的线性函数,故0是线性估计量。
.
II
II
剩下的就是最佳性了,即0的方差小于等于卩的其他任何线性无偏估计量的方差,我们可以证明这一点,但由于时间关系,从略。
有兴趣的同学请参见教科书(P46-47)
4.阿左的分布
我们在前面列出的假设条件(5)表明,ut~N(0,ct2),t=1,2,・・・,n
即各期扰动项服从均值为0、方差为b2的正态分布。
考虑到假设条件(4),即<为非随机量,则由前面结果:
"0+品〃+工3
其中,
彗明,P是N个正态分布变量吗,%,・・・,%的线性函数,因而亦为正态分扁变量,,即
Bs
类似的有:
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 一元 线性 回归 最小 估计 docx