多元线性回归与最小二乘估计Word文档格式.doc
- 文档编号:13663725
- 上传时间:2022-10-12
- 格式:DOC
- 页数:22
- 大小:1.38MB
多元线性回归与最小二乘估计Word文档格式.doc
《多元线性回归与最小二乘估计Word文档格式.doc》由会员分享,可在线阅读,更多相关《多元线性回归与最小二乘估计Word文档格式.doc(22页珍藏版)》请在冰豆网上搜索。
Y=Xβ+u,(1.4)
为保证得到最优估计量,回归模型(1.4)应满足如下假定条件。
假定⑴随机误差项ut是非自相关的,每一误差项都满足均值为零,方差s2相同且为有限值,即
E(u)=0=,Var(u)=E('
)=σ2I=σ2.
假定⑵解释变量与误差项相互独立,即
E(X'
u)=0.
假定⑶解释变量之间线性无关。
rk(X'
X)=rk(X)=k.
其中rk(×
)表示矩阵的秩。
假定⑷解释变量是非随机的,且当T→∞时
T–1X'
X→Q.
其中Q是一个有限值的非退化矩阵。
最小二乘(OLS)法的原理是求残差(误差项的估计值)平方和最小。
代数上是求极值问题。
minS=(Y-X)'
(Y-X)=Y'
Y-'
X'
Y-Y'
X+'
X
=Y'
Y-2'
Y+'
X.(1.5)
因为Y'
X是一个标量,所以有Y'
X='
Y。
(1.5)的一阶条件为:
=-2X'
Y+2X'
X=0(1.6)
化简得
Y=X'
因为(X'
X)是一个非退化矩阵(见假定⑶),所以有
=(X'
X)-1X'
Y(1.7)
因为(1.5)的二阶条件
=2X'
X³
0(1.8)
得到满足,所以(1.7)是(1.5)的解。
因为X的元素是非随机的,(X'
X)-1X是一个常数矩阵,则是Y的线性组合,为线性估计量。
求出,估计的回归模型写为
Y=X+(1.9)
其中=(…)'
是β的估计值列向量,=(Y-X)称为残差列向量。
因为
=Y-X=Y-X(X'
X)-1X'
Y=[I-X(X'
]Y(1.10)
所以也是Y的线性组合。
的期望和方差是
E()=E[(X'
Y]=E[(X'
(Xβ+u)]
=β+(X'
E(u)=β(1.11)
Var()=E[(–β)(–β)'
]=E[(X'
uu'
X(X'
X)-1]
=E[(X'
s2IX(X'
X)-1]=σ2(X'
X)-1.(1.12)
高斯—马尔可夫定理:
若前述假定条件成立,OLS估计量是最佳线性无偏估计量。
具有无偏性。
具有最小方差特性。
具有一致性,渐近无偏性和渐近有效性。
2.残差的方差
s2='
/(T-k)(1.13)
s2是σ2的无偏估计量,E(s2)=σ2。
的估计的方差协方差矩阵是
()=s2(X'
X)-1(1.14)
3.多重确定系数(多重可决系数)
Y=X+=+(1.15)
总平方和
SST==Y'
Y-T,(1.16)
其中是yt的样本平均数,定义为=。
回归平方和为
SSR=='
-T(1.17)
其中的定义同上。
残差平方和为
SSE==='
(1.18)
则有如下关系存在,
SST=SSR+SSE(1.19)
R2=(1.20)
显然有0<
R2<
1。
R2¿
1,拟合优度越好。
4.调整的多重确定系数
当解释变量的个数增加时,通常R2不下降,而是上升。
为调整因自由度减小带来的损失,又定义调整的多重确定系数如下:
=1-=1-(1.21)
5.OLS估计量的分布
若u~N(0,σ2I),则每个ut都服从正态分布。
于是有
Y~N(Xβ,σ2I)(1.22)
因也是u的线性组合(见公式1.7),依据(1.11)和(1.12)有
~N(β,σ2(X'
X)-1)(1.23)
6.方差分析与F检验
与SST相对应,自由度T-1也被分解为两部分,
(T-1)=(k-1)+(T-k)(1.24)
回归均方定义为MSR=,误差均方定义为MSE=
表1.1方差分析表
方差来源
平方和
自由度
均方
回归
SSR='
-T2
k-1
MSR=SSR/(k-1)
误差
SSE='
T-k
MSE=SSE/(T-k)
总和
SST=Y'
Y-T2
T-1
H0:
β1=β2=…=βk-1=0;
H1:
βj不全为零
F==~F(k-1,T-k)(1.25)
设检验水平为a,则检验规则是,若F<
Fα(k-1,T-k),接受H0;
若F>
Fa(k-1,T-k),拒绝H0。
0Fa(k-1,T-k)-ta(T-k)0ta(T-k)
F检验示意图t检验示意图
7.t检验
H0:
βj=0,(j=1,2,…,k-1),H1:
bj¹
0
t=~t(T-k)(1.26)
判别规则:
若½
t½
£
ta(T-k)接受H0;
>
ta(T-k)拒绝H0。
8.βi的置信区间
(1)全部bi的联合置信区间接受
F=(β-)'
(X'
X)(β-)/s2~Fa(k,T-k)(1.27)
(β-)'
X)(β-)<
s2kFa(k,T-k),它是一个k维椭球。
(1.28)
(2)单个βi的置信区间
βi=±
sta/2(T-k).(1.29)
9.预测
(1)点预测
C=(1xT+11xT+12…xT+1k-1)(1.30)
则T+1期被解释变量yT+1的点预测式是,
=C=0+1xT+11+…+k-1xT+1k-1(1.31)
(2)E(yT+1)的置信区间预测
首先求点预测式C的抽样分布
E()=E(C)=Cb(1.32)
Var()=Var(C)=E[(C-Cb)(C-
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多元 线性 回归 最小 估计