多元回归模型docx.docx

多元回归模型docx.docx

《多元回归模型docx.docx》由会员分享，可在线阅读，更多相关《多元回归模型docx.docx（23页珍藏版）》请在冰豆网上搜索。

多元回归模型docx

多元线性回归分析

多元回归分析

多元回归分析是研究因变量对两个或两个以上解释变量的统计依赖关系。

多元回归模型是具有两个或两个以上解释变量的回归模型。

多元线性回归分析

很少有经济现象能够只用一个解释变量来解释。

比如：

消费水平、股票价格、工资水平、破产率、新生婴儿死亡率等等。

因此，要解释这些复杂经济现象或经济相关现象，那么在建立回归模型的时候必须纳入多个解释变量，以充分反映多种因素对因变量的影响。

多元回归模型的一般形式

总体回归函数的随机形式

E=01+Pl2i+卩3X31++0kXki+W

总体回归函数的确定形式

+0kXki

E（E|X2"・・,XJ=A+02X2,+03X3,+

0丿称为偏回归系数）（partialregressioncoefficient）

表示在其他解释变量保持不变的情况下，X）每变化/个单位时，因变量的均值如何变化。

0丿体现了

X）对Y的均值的“直接”或“净”的影响。

二元回归实例

研究美国非农业未偿还抵押贷款余额与个人收入和抵押贷款费用的关系。

口Y：

美国非农业未偿还抵押贷款余额（亿美元）。

□X2:

个人收入总水平（亿美元）。

口X3:

抵押贷款费用（％）

Y=01+02%2+03X3+%

02度量了当抵押贷款费用不变时，个人收入每变化一个单位会引起未偿还抵押贷款的均值变化多少个单位。

03度量了当个人收入不变时，抵押贷款费用每变化一个单位会引起未偿还抵押贷款的均值变化多少个单位。

+

9

X

+

人

II

+

9

X

2

2

+

X

3

2

+

+

+

2

+

9

X

3

+

1^21X31…

丫2

1X22X32…

Y=

•

•

x=

•••

•••

•

九

nxl

•••

_1X2n…

■■

W|

02

m2

p=

•

■

Il■—

•

•

-nxk

•

A.

kx\

•

Un

MB

/IX1

Xk2

Xkn

矩阵X称为“数据矩阵"，是由k-l个解释变量的n组观测值加上n个常变量1构成。

回归模型的矩阵形式：

Y二X•卩z

〃虽然未知，但却是定值

经典正态线性回归模型

基本假定

假定一：

线性回归模型是指对参数而言为线性。

Y=01+02*2+03*3++Pk^k+U假定二：

在重复抽样中，

仪2，兀,……，笛禺取值是固定的（非随机）

假定三：

随机干扰项的条件均值为零！

E（ui）=0

假定四：

随机干扰项的条件方差恒定！

畑側）二E»j一E（u.）］2=E（u.2）二十假定五：

随机干扰项之间无自相关性！

coV（均，匕•）=0（心j）

假定六：

随机干扰项吗和解释变量£不相关！

cov（绚,X〃）=0j=2,3,,k

假定七：

回归模型的设定是正确的!

不存在设定偏误！

假定八：

观测次数“必须大于或等于待估计参数的个数!

n>k

假定九：

（x2,x3,……，蜀鮒取值要有变异性！

（X2,X3,……勺值不可以全是相同的。

假定十：

没有完全的多重共线性！

解释变量之间没有完全的线性关系。

X矩阵的列向量线性无关

正态假定：

随机干扰项服从正态分布。

样本回归模型

样本回归函数的随机形式

£=Pl+^2X2i+83X31++BkXjd+认

样本回归函数的确定形式

£=A+A*力+念x$+……+BkX竝

岛为偏回归系数q丿•的估计量。

£为Y的条件均值的估计量，也是样本拟合值。

必为残差。

x-A+^2X21+^3X31++pkxkx+必

/X/\/X/X

<丫2=01+02%22+03X32++炕％£2+%2

/\Z\/X/X

乙=01+PlX2n七卩3X3n+……+PkXkn+^n

Zzxl_Xnxk・0kx\+况〃xl

回归分析的任务：

八八

根据样本数据去确定合适的估计量01，02,……，炕，用以估计未知但确定的总体回归系数A“2，……H

最小二乘原理

构造合适的估计量，使得残差平方和最小。

OLS估计量的推导

RSS=±u^=±（Y.-Y^=i^-^+%X2,+...+&xjT

z=lz=li二1

最小化MS的一阶条件：

=0-（A+A^2z+•••+PkXki^~0=0

i=l

+^2X2i+…+PkXki）1-X2i）=0

=°工2[w-（A+p2X2j+...+以xJ]（-X/）=0

i=l

Ek-fe+B2X21

i=l

工k一伉+^2X2i+-

i=l

工k_伉+^2X2i+«

i=l

场=0

场X厂0（j・

+•••+归）]=o

..+pkxkifx2i）=o

..+&x』xj=o

2,3,……裁）

工（3;+B2X21

i=l

）n

i=l

n（\n

工（A+p2x2i+...+B庄Jx2°=Eyix2i

i=li=l

P0+P2工X22+

2=1

nn

i=li=l

nu

B1》X川B迂Xz/ki

i=li=l

..+念工X位二工E

i=li=l

n

ZYiX2i

i=J

n

.+久工X/X2,=

i=l

itn

+…十屹xm孔

i=\i=J

nnn

+AZ%2匚+…+氏工xk,二工匕

i=\i=\i=l

nnnn

AsX2i+厶工X：

+…+P^XkiX2i=工匕X?

Z=1Z=1i~\i=J

■<:

nn

介工X怂・+p2Z；X2”,+・・・+

i=\i=\

nn

心工X"工匕小

/=!

i=l

nnn

乞Xki乞X2H……艺

z=lz=li=\

n

Z^z

1=1

Z^2ixki...

i=i

n

...工x右

i=\_

1

1……

1■

_1

X?

]・・・

Xk\

X21

X22

…X2“

1

X22…

X^2

X

•

••

•

■

■

Xk\

Xk2-

...x如

•

1

••

2n…

Xs

•

n

/=1

丈X务

i=l

n

Sx竝

/=!

Zxg

i=\

n

n

ZX2Z

/=!

=X'X

斤2X2i

i=i

nn

/

/=1Z=1

n

》Xki

i=\

n

Zxgi

i=\

A

卩\

A

角

1

X21

1.

X22

nn

》Xki力X2血•

i=\i=\

n

IX

i=\

1■

X2”

丫2

X贓

X

■

■

xxB

XY

用矩阵形式推导xxp=xy

RSS=工彳:

=（必，込，…，心）xf

RSS=uu

Y=xp+〃=>E二y_Xp=>zZzi=（Y_Xp）（y_Xp）

rss二uu=yy-yxB-砍『+pxxp

根据矩阵代数的求导规则可推导出:

-xy+xxp=o=xxB=X’Y

X邓=XW

如果（XX尸存在，那么可解得：

P=（XX尸XY

T（XX尸存在的充分必要条件:

XX满秩，也即秩为心

T矩阵XX的秩为£的必要条件：

X的秩为k（从而解释变量不存在共线性）O

T矩阵X的秩为£的必要条件：

n>£（样本容量不少于待估计参数个数）。

最小二乘估计量的决定式

0£

P=（XX）—，X丫

/

在满足X%为满秩方阵的条件下容易求得（XX尸XY

三变量模型回归系数的OLS估计量

八■/\■八「「

厂B\=Y-卩必2-卩3X3

「（工”）・（2爲）-（工）•&兀2內J

偏回归系数的含义

□偏回归系数体现的是解释变量对因变量的净影响或直接影响。

□一元回归模型中的回归系数体现的是解释变量对因变量的总影响，包括直接影响和间接影响。

验证偏回归系数的含义

考虑三变量模型:

Y=A+"2X2+03X3+%

1、估计回归模型得到=

2、做X2对X3的回归，把得到的残差记为為3该残差体现了解释变量笛不受X3影响的部分

3、做Y对X3的回归，把得到的残差记为必3该残差体现了因变量Y不受X3影响的部分

4、做心对禺3的一元回归，回归系数体现了X2对Y的

净影响，正好等于多元回归中X?

的回归系数估计值念。

T做Y对心3的一元回归，回归系数估计值也等于念。

最小二乘估计量的优良性质

高斯一马尔可夫定理

在经典线性回归模型的假定条件下，最小二亲估计量，在所看无偏奴性倍鼻量中，具有最小方差，也就是说，它们是最优线性无偏石计量。

最优线性无偏估计量（BLUE）

Best1inearunbiasedestimator同时满足“线性”、“无偏”、“方差最小”三个优良性质的估计量。

OLS估计量的精度

方差和标准差

OLS估计量的方差的矩阵表达形式

可以证明：

Var-cov（^）=

b?

为随机干扰项的同方差

P的方差协方差矩阵:

巾厂-C內（P）

0（0/）

_COU（p2，Pl）

AC/\/\—

cov（Pj,p2）...cov（J3],卩J

M厂（02）・•・COU（02亦）

三变量模型OLS估计量方差的代数公式

_宀/

_fc4）-（S4）-（Z^）2■（1-4S4-

Var-cov（^）=a2（XX）1"£阶矩阵

OLS估计量的方差协方差矩阵对角线上的元素就是相应的回归系数估计量的方差，方差的正平方根即是标准差。

其他位置上的元素，是回归系数估计量的协方差。

第j行第j列元素即为0」的方差，

第2•行第7列元素即为0,•与0•的协方差，

第丿•行第「列元素即为0丿•与0•的协方差，

Q与d的协方差=角与Q的协方差

Var-cov^）=a2（XX）1

在已知随机干扰项的同方差b2的条件下,容易得到上述方差协方差矩阵，

由该阵可得到»

从而可得b/=Jvar（Rj）

随机干扰项的方差通常是未知的，因此，回归系数估计量真正的方差协方差矩阵也就不能确定。

通常用模型的回归标准误去替代随机干扰项的标准差，则可以得到回归系数估计量的样本方差协方差矩阵。

根据此矩阵，可以得到回归系数估计量的样本方差和样本标准误。

用&2二企替代是/的无偏估计量）

n-k

得到方差协方差矩阵的样本估计值产（XX尸

df=n-k=样本容量—待估计参数个数

OLS估计量的概率分布

AP；~Ej

0•服从正态分布二＞亠®〜N（0J）%

根据数理统计学定理：

［〉〜tn_k

Se（0j）

知道了统计量的概率分布，并且根据样本数据能够计算出具体的统计值，从而可以很方便地进行回归系数的区间估计和假设检验。

检验一：

回归系数显著性检验

检验单个回归系数的显著性。

%：

卩j=0

检验方法与双变量模型的回归系数显著性检验没有本质区别，但需要特别注意t统计量的自由度个数。

df=n-k=样本容量-待估计参数个数

检验二：

回归模型的拟合优度检验

工£=TSS（总平方和）

工阶=ESS（解释平方和）

工时=7?

SS（残差平方和）

定义，二

-称为“多兀判疋系数

TSS

“判定系数”的含义和性质

□判定系数度量了因变量的总变异在多大比例上可以由回归模型来解释，体现了回归模型对样本观测值的拟合优度，在一定程度上反映了模型的优良程度。

□判定系数在0到I之间。

校正的判定系数

，有这样的性质：

解释变量个数增加，则疋一定增加。

但是尺2的增加并不能说明模型变得更好了。

因此，在比较因变量相同但是解释变量不同的模型时,

必须引入改进的判定系数。

考虑自由度因素，得到可=1-囂:

［彳

该系数称为经过调整的判定系数（校正的判定系数）

斤2二1_（1_疋）^^

n-k

比较不同的判定系数一定要注意前提条件有二:

检验二：

方程显者性检验（F检验）

口把模型作为一个整体进行假设检验，检验模型中因变量与解释变量之间的线性关系是否显著成立。

□检验方案：

H。

：

02=03=；0k=。

H\：

02、03・・几不全为零

该种形式的零假设称为“联合假设”

当02=03=•••=0k成立时’模型完全由截距项来解释，解释变量不能解释因变量的任何变异，此时，R2=0o因此，该检验等同于检验判定系数是否为零。

检验思路：

方差分析

对TSS的组成部分进行研究叫做方差分析。

F值越大，说明解释变量联合对因变量的解释程度越高,从而总体存在线性关系的可能性越高。

因此，给定显著性水平％如果F>Fa（k-l,n-k）那么拒绝原假设“方程总体不存在线性关系”，从而认为回归模型中因变量与解释变量的总体线性关系是显著成立的。

F检验的拒绝域

1—oc

FkY）

oc1

拒绝域

容易证明：

F=ESS/（k-l）

RSS/（n-k）（l-R2）/（n-k）

可见：

检验：

角=03=・••=0k=°等同于检验Ho：

r2=o尺2如果比较高自然是好事情，但应用中不必过分苛求7?

2,最重要的是考察模型的经济关系是否显著成立，也即方程总体线性关系是否显著。

多元回归模型假设检验的一般方法

□检验回归系数的某个线性约束是否成立。

⑴Ho：

02=03=…=0k=0

⑵H°：

02+0厂C

（3）H°:

0严

⑷日0：

04=05=C（5）矶：

04=05

⑴H°：

02=••-=Pk=0（，）检验方程总体线性关系是否显著。

（2）H°:

02+03=c⑵比如检验生产是否规模报酬不变。

（3血:

0严⑶检验某个回归系数是否为c,比如:

⑷Ho：

04=05=C价格弹性是否为-厶

（5）H0•.卩4=05回归系数是否为0等等。

（4\=0时，表示检验解释变量瓦和X5是否不影响

模型解释能力，也即检验解释变量Xq和X5是否可以从模型中去掉。

（5）比如可以用来检验工资收入与其它收入的边际消费倾向是否一样。

丫=01+02电+03*3++Pk^k+u

02+03=1

把约束条件02+03=/施加到原模型，得到：

Y=+02%2+（/-02）X3+P4X4++f3kXk+u

等价变换之后得到新模型（受限模型，受约束模型）：

丫-耳二01+02区-兀）+04%4+十0kXk+%

以（丫-X3X乍为因变量，对&2-X3）X"做回归。

容易证明，RSSr>RSSV,如果约束条件真的成立，那么受约束回归的MSr应该等于不受约束回归的腦因此，如果恣尺跟RSS”的差距足够大，那么表明：

约束条件02+03=/显著不成立！

构造检验统计量

宀佥冒）~%十,f）

给定显著性水平色

如果F>Fa（kv-kR,n-ku）

那么拒绝原假设

从而认为此约束是不成立的！

fJRS"RSS竝呱—kRzk"磁加-灯）'U心u）

（RSSR-RSSjm（、约束条件个数

RSS"（n-k））m=kv-kR

当受约束回归和不受约束回归的因变量都一样时，有:

对模型总体线性关系是否成立的检验只是模型线性约束检验的一个特例

f_ESS©_1）_，/伙一1）卩-仗SSr-RSSu'm

~RSS/（n-k）~（l-R2）/（n-k）RSSy/in-k）

Hq：

炖=03=••-=Pk

一共有上-』个约束条件，所以m=k-L

无约束模型：

丫=0]+02乂2+03兀+……+0kXk+u

有约束模型：

Y=px+u

有约束回归由于没有解释变量，所以ESSr=0

从而RSSr=TSS-ESSr=TSS,因此可得：

F_（RSSr-RSSu）/m_（TSS-RSS〃）/（k-7）_ESS〃/（k-7）-RSSu/（n-k）~RSSuh_町-RSSy/^n-k）

Eviews软件提供了参数线性约束是否显著成立的检验方法。

Wald检验。