第一部分4 GLS和MLE三大检验汇总.docx
- 文档编号:2087111
- 上传时间:2022-10-26
- 格式:DOCX
- 页数:13
- 大小:200.12KB
第一部分4 GLS和MLE三大检验汇总.docx
《第一部分4 GLS和MLE三大检验汇总.docx》由会员分享,可在线阅读,更多相关《第一部分4 GLS和MLE三大检验汇总.docx(13页珍藏版)》请在冰豆网上搜索。
第一部分4GLS和MLE三大检验汇总
第四章GLS和MLE
一、广义最小二乘法(GLS)
1、回归模型的矩阵表示
总体回归方程可表示为:
也可以写成:
。
当取不同的形式时,也就构成了不同的模型,包括:
线性、非线性和非参数等。
我们这里主要讨论的是线性模型(一元或多元):
其中:
,,
表示样本数量,表示解释变量个数(包含了常数项),当时就是一元线性回归模型。
而表示的是随机扰动项,包含了除了解释变量以外的其他影响因素。
若遗漏变量,则这个变量也将被扰动项所包含。
2、经典假设满足时的残差项的方差协方差矩阵
在无异方差和无自相关的假定下,残差项的方差协方差矩阵是一个对角阵,并且主对角线的元素都相同。
即有:
(
此时OLS估计量是最优线性无偏估计BLUE)
问题的提出:
若扰动项违背球形假定,结果怎样?
(1)
其中Ω是一般的正定矩阵,而不是在古典假设的情况下的单位矩阵。
(1)异方差时
存在异方差时的后果:
OLS估计量是线性无偏估计,但不是最有效的。
处理方法:
第一条思路:
找到最优线性无偏估计。
具体方法加权最小二乘法(WLS),也就是模型变换法;
第二条思路:
存在异方差时OLS估计量是线性无偏,但是原OLS方法得到的方差计算公式有误。
对于系数估计仍采用OLS估计,对于系数的方差估计进行修正。
得到稳健估计量。
具体参见本科课程
(2)自相关时
存在自相关时的后果:
OLS估计量是线性无偏估计,但不是最有效的。
处理方法:
第一条思路:
找到最优线性无偏估计。
具体方法广义差分方法;
第二条思路:
存在自相关时OLS估计量是线性无偏,但是原OLS方法得到的方差计算公式有误。
对于系数估计仍采用OLS估计,对于系数的方差估计进行修正。
得到稳健估计量。
具体参见本科课程(利用广义差分方法处理,具体参见本科课程)
(3)同时存在异方差和自相关时
存在异方差、自相关时的后果:
OLS估计量是线性无偏估计,但不是最有效的。
处理方法:
第一条思路:
找到最优线性无偏估计。
具体方法广义最小二乘(GLS);
第二条思路:
存在异方差、自相关时OLS估计量是线性无偏,但是原OLS方法得到的方差计算公式有误。
对于系数估计仍采用OLS估计,对于系数的方差估计进行修正。
得到稳健估计量。
3.GLS
GLS的思想十分简单,就是通过对总体方差协方差矩阵的分解,将回归的残差转变成满足古典假定的残差,然后使用OLS估计。
由于是一个正定的对称矩阵,由矩阵代数的知识,我们知道存在一个满秩矩阵P,使得。
在古典回归方程两边同乘,得到:
或者写成:
(其中)
可以看出
,
显然变换后的模型满足古典假定,因此可以用OLS对该式进行估计。
得到如下结果:
4、FGLS(可行的GLS)
FGLS是GLS在实际问题中的应用。
显然,如果方差协方差矩阵是已知的,那么GLS就是最优的估计方法。
但是,在实际的问题中,往往是未知的。
这就要求我们必须先对矩阵进行估计,得到,然后再按照上述GLS的方法对回归模型进行估计。
二、最大似然估计(MLE)
一个关于最大似然估计的实例(打猎的例子)
1、引子
利用来自泊松分布的10个观测值,估计相关的参数。
已知泊松分布的密度函数是:
θ为参数,X为观察值。
Poisson分布,X所有的可能取值为0,1,2……。
取各值的概率既和x有关,也和参数θ有关。
思考问题:
现得到10个观测值,5,0,1,1,0,3,2,3,4,1,估计其参数。
解答:
似然函数
具体的:
该似然函数给出由具有未知参数θ的泊松分布生成数据时,观察到特定样本的概率。
什么样的的θ使这个样本最为可能。
考虑最大化这个函数。
由于对数函数是单调递增的,而且便于处理,因此通常最大化lnL(θ),即最大化对数似然函数。
又因为
2、极大似然函数及其估计的基本原理
(1)MLE估计的原理
似然函数的定义:
从总体中经过N次随机抽取得到样本容量为N的样本观测值,在任一次随机抽取中,样本观测值都以一定的概率出现,各样本的抽取是独立的,因此容易得到样本的联合密度函数。
似然函数——样本观测值的联合概率函数(联合密度函数)
似然函数的表示:
设总体的概率密度函数为,其类型是已知的,但含有未知参数,观测值的联合密度函数为:
样本的似然函数——,包含有未知参数。
对数似然函数——
原理:
极大似然估计的原理就是寻找参数估计量,使得似然函数达到最大,就称为极大似然估计量。
求解的方法:
通过取对数以及一阶条件可以求得该参数估计值。
最大化的必要条件是
一般来说似然函数是非线性的,必须采用迭代计算的方法求参数的极大似然估计值。
极大似然估计量(MLE)具有一致性和渐近有效性。
(2)例2,经典线性回归模型的最大似然估计量
线性回归模型的MLE
yt=0+1xt1+2xt2+…+k-1xtk-1+ut,t=1,2,…,T,
进行极大似然估计。
假定utN(0,2),则yt也服从正态分布。
ytN(E(yt),2),
其中E(yt)=0+1xt1+2xt2+…+k-1xtk-1。
若yt是相互独立的,则对于样本(y1,y2,…,yT),似然函数是
L(y1,,y2,…,yT|,2)=f(y1)f(y2)…f(yT),
其中表示未知参数0,1,…,k-1的集合。
正态分布:
f(xt)=
每个yt的概率密度函数为:
f(yt)=exp[].
取对数后:
lnf(yt)=].
对于样本(y1,y2,…,yT),对数似然函数为
logL=f(yt)
=-log2-log2--E(yt)]2.
=-log2-log2--0+1xt1+2xt2+…+k-1xtk-1]2
分析:
对logL极大化,等同于使平方和-E(yt)]2极小化,即选择使
--xt1-xt2-…-xtk-1)2=
极小化。
上式中表示残差。
这种估计方法恰好与OLS法相同,所以在这个例子中的MLE估计量与OLS估计量完全相同,即=。
(具体的,是对数似然值对于每个求偏导数,并等0。
)
与OLS法不同的是极大似然估计法在估计的同时,还得到ut方差的估计量。
对(lnL)求2的偏导数并令其为零。
=-+-E(yt)]2=0.
用代替上式中E(yt)中的得
=T-1
3、极大似然估计的性质
若似然函数满足正则条件,极大似然估计量有下列渐进性质:
M1、一致性:
M2、渐进正态:
,
M3、渐进有效:
是渐进有效的,且达到一致估计量的克拉美-劳下界:
M4、不变性:
若是的ML估计,是连续函数,则的ML估计是。
这四个性质特别是最后两个性质,估计量达到了最小方差,即ML估计量是有效估计量。
同时若要估计参数的函数,无需重新估计模型,为估计参数函数提供了便利。
ML估计量大样本性质好,但在小样本的条件下,ML估计并不一定是最佳的。
三、基于MLE的三大检验
(回顾,基于OLS的检验:
t检验,模型整体显著性F检验,F检验(多个系数同时为零,线性约束检验)。
下面介绍三种常用的检验方法,这三种检验所用统计量都是利用极大似然估计法计算的。
似然比(LR)检验:
需要计算受约束,不受约束的模型
沃尔德(W)检验:
需要计算不受约束模型
拉格朗日(lagrange)乘数(LM)检验:
需要计算受约束模型
1、似然比(LR)检验
(1)思想:
思想:
如果约束条件成立则相应约束模型的极大似然函数值LR与非约束模型的极大似然函数值LUR应该是近似相等的。
因为加上这样的约束不应该引起似然函数最大值的大幅度降低。
实质:
比较有约束条件下的似然函数最大值与无约束条件下似然函数最大值。
方法:
构造似然比。
似然比定义为有约束条件下的似然函数最大值与无约束条件下似然函数最大值之比。
以似然比为基础可以构造一个服从卡方分布统计量
(2)LR检验步骤
①H0:
约束条件成立
H1:
约束条件不成立
②计算非约束模型的极大似然函数(数值大,因没有约束模型的RSS小)
Lur=L(,)
其中和分别是无约束模型的(参数集合)和的极大似然估计。
③计算约束模型的极大似然函数(数值小,因约束模型的RSS大)
Lr=L(,)
其中和分别是约束模型的和2的极大似然估计。
④定义似然比(LR)统计量为
括号内是两个似然函数之比(似然比检验由此而得名)。
可以证明在零假设:
约束条件成立条件下LRm),其中m表示约束条件个数。
⑤判别
用样本计算LR统计量,并与临界值相比
若LR<2(m),则接受零假设,约束条件成立。
若LR>2(m),则拒绝零假设,约束条件不成立。
2、WALD检验
(1)思想
原理:
测量无约束估计量与约束估计量之间的距离。
如果约束是有效的,那么在没有约束情况下估计出来的估计量应该渐进地满足约束条件,因为MLE是一致的。
例如:
要检验。
进行无约束估计,得到无约束估计量。
以无约束估计量为基础可以构造一个Wald统计量(具体形式参见Greene),这个统计量也服从卡方分布;
优点:
是只需估计无约束模型。
当约束模型的估计很困难时,此方法尤其适用。
W检验由沃尔德(Wald1943)提出,适用于线性与非线性约束条件的检验。
(2)一个简单例子
比如对如下模型:
yt=1x1t+2x2t+3x3t+vt
检验线性约束条件2=3是否成立。
分析,计算无约束估计量:
Ho
H1
W检验只需对无约束模型进行估计(因为对约束估计量和来说,必然有-=0)。
如果约束条件成立,则无约束估计量-应该近似为零。
如果约束条件不成立,则无约束估计量-应该显著地不为零。
关键是要找到一个准则,从而判断什么是显著地不为零。
首先需要知道(-)的抽样分布。
依据经典回归的假定条件,(-)服从均值为(2-3),方差为Var(-)的正态分布。
通常Var(-)是未知的,使用的是Var(-)的样本估计量,
定义W统计量为,
W1=N(0,1)
在约束条件成立条件下,W渐进服从N(0,1)分布。
等价的:
N(0,1)
(3)Wald检验的一般形式
多个约束条件的情形。
f()=0,其中f()表示由约束条件组成的列向量。
用表示施加约束条件后对参数集合的估计。
若把代入上式,则上式一定成立。
表示未施加约束条件时参数的估计。
当把无约束估计值代入上式时,通常上式不会成立。
W统计量定义如下,
W=f()'[Var(f())]-1f()
其中f()是用代替后的f()表达式,Var(f())是f()的估计的方差协方差矩阵。
在约束条件成立条件下,W=f()'[Var(f())]–1f()渐近服从m)分布。
W=f()'[Var(f())]-1f()m).
其中m表示被检验的约束条件的个数
(4)WALD检验步骤
①H0:
约束条件成立
H1:
约束条件不成立
②计算非约束模型的参数估计
③把无约束模型的参数估计带入约束条件,并计算WALD统计量
W=f()'[Var(f())]-1f()
在H0成立时,上述统计量服从自由度为m(约束条件的个数)的卡方分布
④判别
用样本计算WAL
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第一部分4 GLS和MLE三大检验汇总 第一 部分 GLS MLE 检验 汇总