多元线性回归与最小二乘估计.docx
- 文档编号:368473
- 上传时间:2022-10-09
- 格式:DOCX
- 页数:45
- 大小:168.73KB
多元线性回归与最小二乘估计.docx
《多元线性回归与最小二乘估计.docx》由会员分享,可在线阅读,更多相关《多元线性回归与最小二乘估计.docx(45页珍藏版)》请在冰豆网上搜索。
多元线性回归与最小二乘估计
多元线性回归与最小二乘估计
1.假定条件、最小二乘估计量和高斯—马尔可夫定理
多元线性回归模型:
yt=β0+β1xt1+β2xt2+…+βk-1xtk-1+ut(1.1)
其中yt是被解释变量(因变量),xtj是解释变量(自变量),ut是随机误差项,βi,i=0,1,…,k-1是回归参数(通常未知)。
对经济问题的实际意义:
yt与xtj存在线性关系,xtj,j=0,1,…,k-1,是yt的重要解释变量。
ut代表众多影响yt变化的微小因素。
使yt的变化偏离了E(yt)=多元线性回归与最小二乘估计
1.假定条件、最小二乘估计量和高斯—马尔可夫定理
多元线性回归模型:
yt=β0+β1xt1+β2xt2+…+βk-1xtk-1+ut(1.1)
其中yt是被解释变量(因变量),xtj是解释变量(自变量),ut是随机误差项,βi,i=0,1,…,k-1是回归参数(通常未知)。
对经济问题的实际意义:
yt与xtj存在线性关系,xtj,j=0,1,…,k-1,是yt的重要解释变量。
ut代表众多影响yt变化的微小因素。
使yt的变化偏离了E(yt)=β0+β1xt1+β2xt2+…+βk-1xtk-1决定的k维空间平面。
当给定一个样本(yt,xt1,xt2,…,xtk-1),t=1,2,…,T时,上述模型表示为
y1=β0+β1x11+β2x12+…+βk-1x1k-1+u1,经济意义:
xtj是yt的重要解释变量。
y2=β0+β1x21+β2x22+…+βk-1x2k-1+u2,代数意义:
yt与xtj存在线性关系。
………..几何意义:
yt表示一个多维平面。
yT=β0+β1xT1+β2xT2+…+βk-1xTk-1+uT,(1.2)
此时yt与xti已知,βj与ut未知。
(1.3)
Y=Xβ+u,(1.4)
为保证得到最优估计量,回归模型(1.4)应满足如下假定条件。
假定⑴随机误差项ut是非自相关的,每一误差项都满足均值为零,方差σ2相同且为有限值,即
E(u)=0=
Var(u)=E(
')=σ2I=σ2
.
假定⑵解释变量与误差项相互独立,即
E(X'u)=0.
假定⑶解释变量之间线性无关。
rk(X'X)=rk(X)=k.
其中rk(⋅)表示矩阵的秩。
假定⑷解释变量是非随机的,且当T→∞时
T–1X'X→Q.
其中Q是一个有限值的非退化矩阵。
最小二乘(OLS)法的原理是求残差(误差项的估计值)平方和最小。
代数上是求极值问题。
minS=(Y-X
)'(Y-X
)=Y'Y-
'X'Y-Y'X
+
'X'X
=Y'Y-2
'X'Y+
'X'X
.(1.5)
因为Y'X
是一个标量,所以有Y'X
=
'X'Y。
(1.5)的一阶条件为:
=-2X'Y+2X'X
=0(1.6)
化简得
X'Y=X'X
因为(X'X)是一个非退化矩阵(见假定⑶),所以有
=(X'X)-1X'Y(1.7)
因为(1.5)的二阶条件
=2X'X≥0(1.8)
得到满足,所以(1.7)是(1.5)的解。
因为X的元素是非随机的,(X'X)-1X是一个常数矩阵,则
是Y的线性组合,为线性估计量。
求出
,估计的回归模型写为
Y=X
+
(1.9)
其中
=(
…
)'是β的估计值列向量,
=(Y-X
)称为残差列向量。
因为
=Y-X
=Y-X(X'X)-1X'Y=[I-X(X'X)-1X']Y(1.10)
所以
也是Y的线性组合。
的期望和方差是
E(
)=E[(X'X)-1X'Y]=E[(X'X)-1X'(Xβ+u)]
=β+(X'X)-1X'E(u)=β(1.11)
Var(
)=E[(
–β)(
–β)']=E[(X'X)-1X'uu'X(X'X)-1]
=E[(X'X)-1X'σ2IX(X'X)-1]=σ2(X'X)-1.(1.12)
高斯—马尔可夫定理:
若前述假定条件成立,OLS估计量是最佳线性无偏估计量。
具有无偏性。
具有最小方差特性。
具有一致性,渐近无偏性和渐近有效性。
2.残差的方差
s2=
'
/(T-k)(1.13)
s2是σ2的无偏估计量,E(s2)=σ2。
的估计的方差协方差矩阵是
(
)=s2(X'X)-1(1.14)
3.多重确定系数(多重可决系数)
Y=X
+
=
+
(1.15)
总平方和
SST=
=Y'Y-T
(1.16)
其中
是yt的样本平均数,定义为
=
。
回归平方和为
SSR=
=
'
-T
(1.17)
其中
的定义同上。
残差平方和为
SSE=
=
=
'
(1.18)
则有如下关系存在,
SST=SSR+SSE(1.19)
R2=
(1.20)
显然有0 R21,拟合优度越好。 4.调整的多重确定系数 当解释变量的个数增加时,通常R2不下降,而是上升。 为调整因自由度减小带来的损失,又定义调整的多重确定系数 如下: =1- =1- (1.21) 5.OLS估计量的分布 若u~N(0,σ2I),则每个ut都服从正态分布。 于是有 Y~N(Xβ,σ2I)(1.22) 因 也是u的线性组合(见公式1.7),依据(1.11)和(1.12)有 ~N(β,σ2(X'X)-1)(1.23) 6.方差分析与F检验 与SST相对应,自由度T-1也被分解为两部分, (T-1)=(k-1)+(T-k)(1.24) 回归均方定义为MSR= ,误差均方定义为MSE= 表1.1方差分析表 方差来源 平方和 自由度 均方 回归 SSR= ' -T 2 k-1 MSR=SSR/(k-1) 误差 SSE= ' T-k MSE=SSE/(T-k) 总和 SST=Y'Y-T 2 T-1 H0: β1=β2=…=βk-1=0;H1: βj不全为零 F= = ~F(k-1,T-k)(1.25) 设检验水平为α,则检验规则是,若F 0Fα(k-1,T-k)-tα(T-k)0tα(T-k) F检验示意图t检验示意图 7.t检验 H0: βj=0,(j=1,2,…,k-1),H1: βj≠0 t= ~t(T-k)(1.26) 判别规则: 若∣t∣≤tα(T-k)接受H0;若∣t∣>tα(T-k)拒绝H0。 8.βi的置信区间 (1)全部βi的联合置信区间接受 F= (β- )'(X'X)(β- )/s2~Fα(k,T-k)(1.27) (β- )'(X'X)(β- ) (1.28) (2)单个βi的置信区间 βi= ± stα/2(T-k).(1.29) 9.预测 (1)点预测 C=(1xT+11xT+12…xT+1k-1)(1.30) 则T+1期被解释变量yT+1的点预测式是, =C = 0+ 1xT+11+…+ k-1xT+1k-1(1.31) (2)E(yT+1)的置信区间预测 首先求点预测式C 的抽样分布 E( )=E(C )=Cβ(1.32) Var( )=Var(C )=E[(C -Cβ)(C -Cβ)'] =E[C( -β)[C( -β)]']=CE[( -β)( -β)']C' =CVar( )C'=Cσ2(X'X)-1C'=σ2C(X'X)-1C',(1.33) 因为 服从多元正态分布,所以C 也是一个多元正态分布变量,即 =C ~N(Cβ,σ2C(X'X)-1C')(1.34) 构成t分布统计量如下 t= = ~t(T-k)(1.35) 置信区间C ±tα/2(1,T-k)s (1.36) (3)单个yT+1的置信区间预测 yT+1值与点预测值 有以下关系 yT+1= +uT+1(1.37) 其中uT+1是随机误差项。 因为 E(yT+1)=E( +uT+1)=Cβ(1.38) Var(yT+1)=Var( )+Var(uT+1)=σ2C(X'X)-1C'+σ2 =σ2(C(X'X)-1C'+1)(1.39) 因为 服从多元正态分布,所以yT+1也是一个多元正态分布变量,即 yT+1~N(Cβ,σ2C(X'X)-1C'+1) 与上相仿,单个yT+1的置信区间是 C ±tα/2(T-k)s (1.40) 计算举例: (见《计量经济分析》第19-27页,熟悉矩阵运算) 10.预测的评价指标 注意,以下6个公式中的et表示的是预测误差,不是残差。 可以在样本内、外预测。 (1)预测误差。 预测误差定义为 et= -yt,t=T+1,T+2,… (2)相对误差PE(PercentageError)。 PE= t=T+1,T+2,… (3)误差均方根rmserror(RootMeanSquaredError) rmserror= (4)绝对误差平均MAE(MeanAbsoluteError) MAE= (5)相对误差绝对值平均MAPE(MeanAbsolutePercentageError) MAPE= (6)Theil系数(TheilCoefficent) Theil= t=1,2,…,T 以上6个式子中, 表示预测值,yt表示实际值。 Theil的取值范围是[0,1]。 显然在预测区间内,当 与yt完全相等时,Theil=0;当预测结果最差时,Theil=1。 公式中的累加范围是用1至T表示的,当然也可以用于样
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多元 线性 回归 最小 估计