线性回归方程中的相关系数r.docx
- 文档编号:1975334
- 上传时间:2022-10-25
- 格式:DOCX
- 页数:17
- 大小:46.65KB
线性回归方程中的相关系数r.docx
《线性回归方程中的相关系数r.docx》由会员分享,可在线阅读,更多相关《线性回归方程中的相关系数r.docx(17页珍藏版)》请在冰豆网上搜索。
线性回归方程中的相关系数r
10.1线性回归
10.1.1线性回归的慕本槪念
线杵冋归分桁足描述一个I川变眾(或称为响应变dependentvariable)Y个或多个口变y;(mdependent^riable)X间的线件依«关系。
根抑;口变域数廿的不同町分为一兀线件何归(只有一个白变肚)和多元线性阿归(有M个或两个以上f勺口变肚)。
—元线性回归;
1.一元线性冋归的基木槪念
R线回旷1分析的仟务就足根据若干个观测(Xi,yi)i=12..n找出描述两个变呈x、yZ何关系的H线冋川方Ry*-a+bx,其中厂足变虽y的佔ilffh求起线冋川方Sy*-a-bx,实肛上是用冋归H线拟合敕点图中的各观测点。
常用的方法是最小一乘法。
也就是使该直线>丿乞点的纵向乖厲距离最小.即使实测值y9回归H线之苯的半方和达到放小•也称为剩余(残垒)平方札囚此求冋归方程的问题.归根到底就是求対取得耐小值时,和b的问题。
a称为截即,b为阿归直线的轩率,也称冋归系数。
2.一兀线性回归方程的假设理论
徳IN数学家尚斯提出了、个假设理论.满足这些假设的级性冋川模型称为古典线性模型:
(1)正念性假设。
假设随机谋兀项tio;从均值为冬、方总为6?
的正态分布。
(2)等方差件假设。
它锻设对于所有的应、"的条件方差同为&2,ft6为常数。
即Vai(f,/xi)=G\
⑶独立件假设。
即枣均值假设.它假设在给定冷的条件下.5的条件期卑值为枣,LIPE(ti)=0e
(4)无自柑关性。
假设随机误绘项J的逐次观察值互不相关。
即Co"“£尸Xi弄j)・
(5)c与x的不相关竹4假设或机谋总项■与相应的口变虽人对因变Idy的影响相互
独立。
换言之,两者对因变呈y的影响是可以区分的。
即CoMj,^)=0.
3・一元线性回归方程的检验
根拥原始数据.求出冋归方程后就需要对冋归方程进行检验。
检验的絵设是总体冋归系数为0。
另外要检验回归方程对因变竝的预测效果如何。
(1)I口I归系数的显若件检验
•对仅率的检验,假设是:
总体回归系数为0°
•对戳距的检验,假设足:
总体回归方程裁距a=0,
(2)R‘判定系数
在判定一个线性回归直线的拟合优度的好坏时,卍系数足一个車娈的刈定指标。
从公式可以得到判定系数等于冋归平方和在总平方和屮所占的比率•即R2体现了冋归模型所能解乳的因变虽变界性的门分比。
如果R?
=0.775.则说明变址y的变并中有77.5%是由变/x引起的。
当R‘=l时,表示所有的观测点全部落在回归直线上.当R0时,表示自变呈与因变呈无线性关系。
为了尽町能准确的反应模型的拟合度,SPSS输出中的AdjustedRSquare是消除了口
变红个貌影响的衣的條止值、
(3)方羞分析
休规丙变臥观测恆9均值之问的殆芹的懾签t方和ss^t由曲个部分组成的.即冋旷IhIIISSr,它们反应了口变直X的重翌程度:
残差平方和£窑,它反应了戛验戻標M及其他慰外因紊时实验结来的影响“表示为:
ss^svss^这两部分除以各口的口由度.需刮它们的均方,统计屋*回归均方/残差均方。
当F值成人时.拒绝接堡b=0的假设。
(4)Durbiu-Watson检验
杵对回归模吃的谩断中,有一个非常重要的回H模型假设需耍诊断,那就是回IH模熨中的谋羞项的如来溟曲项不翁立,那么对回归模型的任何佔计与假设所作出的结论鄱是不可靠的*
其聲数称育%或6D的取值范由足WDB•它的统订啓畐义如下:
•当残托与口变星耳.为独立时,D^2*
•当相邻两虑的竝扯为止相关时.D<2.
•当相邻两点的残差为负和关时,DA2°
{力哦2;国爪法・A也伯暉标系中,4预测也为区]横轴.以y与之间冈创谀工:
自为洪轴,或宁牛化嫌片与拟和佈或一牛门变谥为纵柚h绘wtr的散点如果敬点r现出明显的规律性,则认为存崔自相关性或看罪线性或者4常数方差的问翹。
这样需要对数冈更试或口变城进行变换'如果敌点呈现随机分布I斜率为爭,则认対口相关行在的可能性不大,独立性假设成立*
多元线世冋归
1.赛元绒tt回归的臥本概念
根据第个口叱站的最优給合建立回归方程来预测因变2的回归分析称为塞几回归分析。
爭元回归分析的模型为:
y*=b&+bixl+t>2x2+..+bnxii*
其屮尸多为根掷:
所有白变靖尤计笄出的估计恢,%为常数项.b!
、抵…叽称为y对阪于3逐…百的偏回归系数“催回归««*示假设在其他所百口处H不变的悄况叭某一个n变鼠空化引起冈变諂变化的比率。
g兀线性冋归模製也必如淆足--兀线性冋归中所述的假址理论'
2,多元线件回归分析中的多数
(1)龔柑关系炕K农相关系飲表tk口变址瓦与具他的闵殳以总之何线性相关密叨桂幔的楕标.8:
相关系数使用亍母R左示°
超相黄系如的取俏范圉在0〜1之间*苗值越接近h表示負线性关系越强,iftJtffi越接近山我示线性关系越弟*
(2)R2判定系辿与经调恪的判定系数
与一无回归方程和同,在琴兀冋归屮也便用判定系数/来解胖冋阳模型中口变览的变异在冈变皐变异中所占叱率,
但是,判定系憂的值施肴琲入冋归方程的口变呈的个数(或用木幹皐的大小u)的增加而增大.因此,为了消除门变址的个数以及样本呈的天小对判定系数的騒响,引进r经调刘的判泄系盜(Adju船dRSqiwr
)»
线性回归方程中的相关系数r
r=刀(Xi-X的平均数)(Yi-Y平均数”根号下[刀(Xi-X平均数)A2*刀(Yi-Y平均数)A2]
为区一賈)也一F)
t-l
R2就是相关系数的平方,
R在一元线性方程就直接是因变量自变量的相关系数,多元则是复相关系数
判定系数RA2
也叫拟合优度、可决系数。
表达式是:
RA2=ESS/TSS=1-RSS/TSS
该统计量越接近于1,模型的拟合优度越高。
问题:
在应用过程中发现,如果在模型中增加一个解释变量,R2往往增大
这就给人一个错觉:
要使得模型拟合得好,只要增加解释变量即可。
――但是,现实情况往往是,由增加解释变量个数引起的R2的增大与拟合好坏无关,R2需
调整。
这就有了调整的拟合优度:
R1A2=1-(RSS/(n-k-1))/(TSS/(n-1))
在样本容量一定的情况下,增加解释变量必定使得自由度减少,所以调整的思路是:
将残差
平方和与总离差平方和分别除以各自的自由度,以剔除变量个数对拟合优度的影响:
其中:
n-k-1为残差平方和的自由度,n-1为总体平方和的自由度。
总是来说,调整的判定系数比起判定系数,除去了因为变量个数增加对判定结果的影响。
R=R接近于1表明Y与X1,X2,…,Xk之间的线性关系程度密切;
R接近于0表明Y与X1,X2,…,Xk之间的线性关系程度不密切
相关系数就是线性相关度的大小,1为(100%)绝对正相关,0为0%,-1为(100%)绝
对负相关
相关系数绝对值越靠近1,线性相关性质越好,根据数据描点画出来的函数-自变量图线越
趋近于一条平直线,拟合的直线与描点所得图线也更相近。
如果其绝对值越靠近0,那么就说明线性相关性越差,根据数据点描出的图线和拟合曲线相
差越远(当相关系数太小时,本来拟合就已经没有意义,如果强行拟合一条直线,再把数据
点在同一坐标纸上画出来,可以发现大部分的点偏离这条直线很远,所以用这个直线来拟合
是会出现很大误差的或者说是根本错误的)。
分为一元线性回归和多元线性回归
线性回归方程中,回归系数的含义
一元:
YA=bX+ab表示X每变动(增加或减少)1个单位,Y平均变动(增加或减少)b各单位
多元:
YA=b1X1+b2X2+b3X3+a在其他变量不变的情况下,某变量变动1单位,引起y平均变动
量
以b2为例:
b2表示在X1、X3(在其他变量不变的情况下)不变得情况下,X2每变动1
单位,y平均变动b2单位
就一个reg来说y=a+bx+e
总误差就是TSS
所以TSS=RSS+ESS
判定系数也叫拟合优度、可决系数。
表达式是
TSSTSS
该统计量越接近于1,模型的拟合优度越高。
问题:
在应用过程中发现,如果在模型中增加一个解释变量,R2往往增大
这就给人一个错觉:
要使得模型拟合得好,只要增加解释变量即可。
――但是,现实情况往往是,由增加解释变量个数引起的R2的增大与拟合好坏无关,R2
需调整。
这就有了调整的拟合优度
RSSR-1)
在样本容量一定的情况下,增加解释变量必定使得自由度减少,所以调整的思路是:
将
残差平方和与总离差平方和分别除以各自的自由度,以剔除变量个数对拟合优度的影响:
其
中:
n-k-1为残差平方和的自由度,n-1为总体平方和的自由度。
总是来说,调整的判定系数比起判定系数,除去了因为变量个数增加对判定结果的影响。
顺便补充一下:
记倔必巧总离差平「方和
ESS二工恵-亍丫凹归平方和
亦S二工也剩余平方和
一般做回归的时候要求拟合优度(实际值与拟合值相关系数的平方)越高越好,可以通过增加解释变量来实现,可是解释变量多了后很多解释变量的系数T检验不显著了,而且增加很多变量后模型的自由度就减少了,这些情况狂的存在往往使得模型预测不精确;修正拟合优度就是将残差平方和跟总离差平方和分别除以各自的自由度,这样就剔除了变量个数对其影
响了。
首先有一个恒等式:
TSS=ESS+RSS
即总偏差平方和=回归平方和+残差平方和
通常情况,我们都是讨论解释变量对总效应的贡献,使用一个叫拟合优度”(或者叫判定系
数”)的指标
其定义为:
回归平方和/总偏差平方和=ESS/TSS=(TSS-RSS)/TSS=(923-325)/923
如果说随机误差对总效应的贡献,那可以直接RSS/TSS
因为1-(TSS-RSS)/TSS就可以化为RSS/TSS
(3)睜阶相关系故、部分柳黃与闻相关系数
•这里的零阶相关系故{ZexXhZ)计隽所右口变昆与卩・1变讪之刖的劲单相关关系。
•部分tU关(PartCaireladoii}表不;di排除了耳他口变址对氟的鄆晌ti*当一个口变虽进入冋归方程模型后.圮相关系数的平方増加诂。
•傭和关系数(Partial(Tandniion)表示:
在排除了其他变養的囂晌后,白变W加与因变盘y之何的相关和度。
部分相关系数小于偏郴关系烈哺叩去系数也可以用来作为筛选口变呈的措标,即通过出较偏相关系数的大小来判别哪些变虽对肉变址具育较大的影响力*
3・赛朮线性回归分折的检验
it立了多兀回卩」方暮需要逍厅显为性檢验’以価认世立的敌学模艷見否很好的拟合了原始数据”即该回归方程是否右效「利用残毘分祈,确宦同旧方程是否违反了假茂理论.对各口变域进行1检验’具假设是总体的回IH方程口变詁委故或常数项为必以便在回归方程中探窗帖丙变鱼y值预洌更有效的自变直、以便确定好学榄型足否有效“
(1)方差分析
与元冋归方程的检验相同,參元回口方程也采用方畫分析方法对回归方程进行检验,检验的假设是总体的冋归系数均为0或鸟祁为非仇它足对轅牛阿归方称的显著件倚嵋,悭曲统计皐F址行槪验"原理与一兀凹归的方社分折
(2)偏回归系数与常数项的柿睫
椅验的假设址:
冬白变剧叫归系数为(h常数项为零。
它怏用的统计虽呈仃
"倆冋归系数;偏冋归系数的标准遢,
(3)方琴齐性椅验
SPSS中pearson(皮尔逊相关系数)看r值还是P值,确定相关性
p值是检验值,
两个值都要看,r值表示在样本中变量间的相关系数,表示相关性的大小;是检验两变量在样本来自的总体中是否存在和样本一样的相关性。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 线性 回归 方程 中的 相关系数
![提示](https://static.bdocx.com/images/bang_tan.gif)