第6章 非参数检验.docx
- 文档编号:11215267
- 上传时间:2023-02-25
- 格式:DOCX
- 页数:40
- 大小:318.35KB
第6章 非参数检验.docx
《第6章 非参数检验.docx》由会员分享,可在线阅读,更多相关《第6章 非参数检验.docx(40页珍藏版)》请在冰豆网上搜索。
第6章非参数检验
第6章非参数检验
非参数检验是统计分析方法的重要组成部分,它与参数检验共同构成统计推断的基本内容。
两者的主要区别是:
参数检验要求假定总体服从某种分布,对总体分布中一些未知的参数,例如总体均值、总体方差等进行统计推断,其统计量的分布也是利用总体分布基础上,综合统计量的构造推导出来的,SPSS进行参数检验时,通常是假设总体服从正态分布,统计量通常服从t分布;非参数检验是对总体分布不做假定,直接从样本从发掘总体的信息,推断总体的分布,由于该方法在推断总体分布时没有涉及总体分布的参数,因此命名为“非参数”检验。
非参数检验在近年发展非常迅速,提出了很多非参数检验的新方法、新模型。
其应用的范围越来越广,能够处理的问题也越来越多,因此,掌握好非参数方法,对于掌握统计推断和提高读者的统计应用能力都是非常重要的。
SPSS提供丰富的非参数检验方法和模型,这些方法和模型主要集中在【Analysis】菜单下的【NonparameticTests】子菜单中(见图6-1),其中前4个菜单是单样本非参数检验的方法,后4个菜单两独立样本、两配对样本、多独立样本和多配对样本的非参数检验菜单,后面我们将对这些菜单进行详细的说明。
下面,先让我们从非参数检验与参数检验的区别开始了解非参数检验。
图6-1非参数检验的常用菜单
6.1参数方法和非参数方法的比较
第5章,我们已经比较系统介绍了参数检验,通过第5章的学习,我们了解了参数方法的一般特点:
参数方法总是首先假设总体服从某一分布,在此分布的基础上构造样本统计量,推导出样本统计量的分布,然后利用样本统计量对总体的一些参数例如均值进行推断。
非参数方法和参数方法是不同的,下面我们就通过第5章的例子来说明两者的不同。
6.1.1引例
在第5章例5-1中,我们利用单样本的t检验对四川省2007年人均可支配收入是否等于8500元进行了验证,验证结果是人均可支配收入显著高于8500元,在此例题中我们假设四川省人均可支配收入服从正态分布,从而才推导出样本t统计量服从自由度为20的T检验。
然而,四川省人均可支配收入真的是正态分布吗?
如果总体不是正态分布,那么前面我们的所有检验结果都不能成立,那么此时我们该如何处理呢?
下面我们对四川省人均可支配收入的正态性进行检验,检验的方法选择前面的Q-Q图方法,具体操作留给读者完成,结果见图6-2和图6-3:
图6-2人均可支配收入正态Q-Q图检验图6-3人均可支配收入Q-Q图检验残差图
从图6-2中我们可以看出,数据基本服从正态分布,但是从图6-3中可以看出,数据的残差有一定的问题,数据并不是严格服从正态分布,如果对检验要求不是非常严格,可以认为总体近似服从正态分布,用单样本t检验完成均值检验,但是如果对检验严格要求,在总体不完全服从正态分布的条件下,将不能采用非参数检验,而应该采用非参数检验的方法。
从上面的例子中,读者可能已经自行总结出参数方法和非参数方法最本质的区别了:
参数方法需要事先假定总体的分布,非参数方法则不需要假定总体的分布,而是直接用样本来推断总体的分布。
下面我们再详细来看看两种方法的区别。
6.1.2参数方法和非参数方法的区别
除了从是否需要假定总体的分布来区别参数方法和非参数方法以外,我们还可以从很多方面来区分两种方法的不同。
首先,从应用范围来看,非参数方法的应用范围要大于参数方法,因为对于随机变量而言,我们了解的分布永远都是少数,大量非常见、非规则的分布是不宜用参数方法来研究的,甚至有些分布都不能写出分布函数或密度函数,只能靠计算机迭代推导其取值概率,而非参数分布不需要假定总体分布,直接从样本出发,因此任何分布都可以用非参数的方法进行研究,这也决定了非参数方法更广的应用范围。
第二,研究的对象和目标不同,由于参数方法假定了总体的分布,因此其研究目标就是总体的参数,一旦总体的参数全部确定了,总体的分布也就确定了;而非参数的方法直接从样本推导总体的分布,因此非参数方法的目标是总体的分布或者两个总体的分布是否相同。
第三,研究的统计量有所不同,非参数方法中常常采用秩来构造统计量,而且通常要求样本数较大,而参数检验很少用到秩来构造统计量,无论样本数大小都能对总体进行推断。
第四,两者的效率有差距,参数方法由于直接假定总体的分布,当总体真实分布就是假定分布或者与假定分布差异不大时,参数方法的准确性很好,效率较高,而非参数方法由于从样本出发,推导出的总体分布可能与真实的总体分布有一定差距,因而效率较低;但是,当假定的分布不是总体的真实分布时,非参数方法效率要高于参数方法。
非参数方法的最大缺点就是效能较低,但是经过近些年的不断发展,非参数方法的效能不断提高,根据国际上的一项研究,有些方法的效能大约在参数方法的95%左右,因此,并非低到不能接受。
例如,在例5-1中,由于样本量比较小,适宜使用参数方法,如果使用非参数方法容易受到随机因素对样本的影响,而导致估计结果不准确,当然,从图6-2和图6-3来看,使用参数检验总体的均值基本可以接受,效果比较好。
下面我们具体讨论什么时候使用参数方法,什么时候该使用非参数方法。
6.1.3参数检验和非参数检验的应用条件
从上面的讨论中,我们已经了解了参数方法和非参数方法的一些特点,具体到参数检验和非参数检验,其各自的特点决定了适用条件,下面具体介绍两类方法的分类和应用条件。
非参数方法大致可以分为两类:
1.分布类型检验方法:
也称为拟合优度检验方法,即从样本出发检验拟合总体的分布,并检验样本拟合的分布与某理论分布是否有显著的差异,这是检验样本是否服从某一分布的常用方法。
单样本非参数检验的多种方法例如分布比例卡方检验法、二项分布检验法、常用分布K-S检验法包括第3章列联表分析中的卡方检验等都属于这一类方法。
2.分布位置检验方法:
用于检验样本所在总体的分布位置/形状是否相同,我们平时所说的非参数检验方法大多属于这一类方法,其核心是用样本排序后的位置来判断总体间是否有差异。
特别是SPSS中提供的独立样本和配对样本的检验方法都属于这一类方法。
从以上非参数方法的分类中,我们可以发现非参数方法的应用条件:
第一、检验样本是否服从某一分布;第二、对样本和总体比例的拟合优度进行检验;第三、当总体分布未知时通过样本比较两个总体的分布是否相同;第四、样本数据不确定或样本是分类数据时。
当要进行上述三种情形的检验时,需采用非参数检验。
对于参数检验的应用条件第5章已经说明得比较清楚了,这里再强调一下:
参数检验是检验总体中某一参数,不涉及总体的分布的检验。
参数检验既可以应用与大样本情形,也可以应用于小样本情形。
6.2单样本非参数检验
下面进入单样本非参数检验的内容,这部分方法主要是对单个总体分布的检验,根据总体是否连续分为离散总体的单样本非参数检验和连续总体的非参数检验;前者主要包含离散总体分布比例的卡方检验和二项分布检验,后者主要包括常用分布的K-S检验,最后的样本随机性游程检验适用与两种总体。
6.2.1单样本分布比例的卡方检验
这里的卡方检验与第3章列联表分析中用于判断行、列是否独立的卡方检验不同,这是一个单总体的非参数检验,是检验样本频数和总体的理论比例是否有显著差异,而第3章中的卡方检验可以视为双总体的。
虽然两者的应用场合不同,但是两者的基本思想有相通之处。
都是通过总体的情况计算期望频数,看期望频数和样本频数的差异,通过这个差异来构造统计量从而完成假设检验。
理解这种思想有利于读者更好的掌握这类统计方法,下面我们就结合例子具体来说明这种检验的思想和步骤:
例6-1从历史的经验看,某市各区县人口分布服从5:
3:
2:
5:
4:
2:
3:
3:
3的比例,现于2007年调查该市各区县的总人口和农业人口数据(见光盘数据6-1.sav),要求验证该市各区县人口分布是否服从此比例。
在本例题中要求验证总体的分布,我们可以如下考虑,首先假设总体分布服从此比例,计算照此比例每一区县的理论人口数,然后将样本的实际人口数和理论人口数比较,如果两者差异不显著,则可以认为总体分布就是这个比例,而如果两者差异显著,则认为样本提供了总体分布不是这个比例的证据,应该拒绝总体服从该分布的原假设。
至于如何才是差异显著,需要根据构造统计量的P值来决策。
此假设检验的具体步骤为:
第一步:
提出原假设,是对分布的比例的检验,因此原假设可以写成:
,其中
代表总体比例,是未知的,而
是根据待检验的5:
3:
2:
5:
4:
2:
3:
3:
3比例计算而出的。
即:
第二步:
如果总体分布与待检验比例无显著差异,则观测样本落入各个子集中的观察频数服从一个多项分布,当分组区间较多时近似服从卡方分布,基于这一分布,从样本数和期望数出发可以构造如下统计量:
,其中
分别代表实际样本频数和期望频数。
在原假设为真(即总体分布等于待检验比例)的条件下,此统计量服从自由度为9-1=8的卡方分布。
第三步:
SPSS会根据样本观测值自动计算统计量的观测值,并根据统计量的分布自动计算统计量观测值发生的概率(P值)。
第四步:
根据P值和我们事先确定的显著水平,就能够作出假设检验的决策了。
接下来我们来完成该检验的SPSS操作:
由于数据中列出了每个地区的人口即频数,因此首先要进行一个数据加权的操作,数据加权的操作这里省去,由读者自行完成。
Step1:
选择【Analyze】菜单→【NonparametricTests】菜单→【Chi-Square】菜单
在如图6-4所示的对话框中,将要检验的变量“地区编号(regionid)”选入检验变量框,对话框下方的ExpectedRange选项框组是指定要检验的区县,默认用数据确定即检验全部的区县。
图6-4卡方检验主对话框
Step2:
选择总体待检验的比例
数据总体待检验的比例,默认是各组相等,都为1/9,如想更改,选择“Value”单选框,指定比例,在指定比例时注意不能任意更改比例的顺序,因为这是与各区县的顺序一一对应的,输入完一个数值点击
按钮添加到下面的框中,选择一个已经输入的比例,修改Value框中的数值再点击
按钮可以改变已有比例的值,还可以选择一个已经输入的比例,点击
删除该比例。
Step3:
进行其他选项设置
点击
按钮进入图6-5子对话框,用于设定是否需要计算确切概率,以及具体的计算方法,共有三种选项,分别是:
计算近似概率、采用蒙特卡罗方法计算确切概率和直接计算确切概率,和图3-21选项相同,设置完成后点击
返回主对话框,点击
进入如图6-6子对话框,用于输出描述统计量和四分位数,选择完成后点击
返回主对话框,点击
完成操作。
图6-5Exact子对话框图6-6Option子对话框
下面来看检验的分析结果,表6-1显示了各区县期望频数和实际样本频数以及两者的差,从表中我们看到期望频数和实际样本频数差异较大,说明可能总体的分布并不是待检验的分布,具体检验统计量及概率见表6-2
表6-1地区编号
ObservedN
ExpectedN
Residual
1
64
123.8
-59.8
2
59
74.3
-15.3
3
69
49.5
19.5
4
128
123.8
4.2
5
93
99.1
-6.1
6
70
49.5
20.5
7
109
74.3
34.7
8
64
74.3
-10.3
9
87
74.3
12.7
Total
743
从表6-2中,我们看出卡方检验统计量的值为68.484,其标注a说明表6-1没有单元格的期望频数低于5,期望频数最低的单元格期望频数为49.5。
从检验的概率看,P值接近于0,说明统计量观测值的发生是一个小概率事件,从而我们要拒绝原假设,认为总体的分布并不是待检验的比例。
表6-2TestStatistics
地区编号
Chi-Square
68.484a
df
8
Asymp.Sig.
.000
a.0cells(.0%)haveexpectedfrequencieslessthan5.
Theminimumexpectedcellfrequencyis49.5
6.2.2单样本的二项分布检验
单样本的二项分布检验主要用于检验一个总体中的比率是否等于待检验值p,通过检验样本是否服从一个参数为p的二项分布,即可得到总体的比例是否为p。
下面的例子能够帮助我们理解二项分布检验。
例6-2对于一个行业,行业中企业的盈利比例是一个非常重要的指标,如果一个行业中大多数企业都能盈利,即企业盈利比例大,则说明这个行业发展性好,是一个朝阳行业;相反,如果企业盈利比例小,则说明行业前景堪忧。
据统计,某地区某行业调查的505家企业中盈利的有382家,亏损的有123家,检验该行业企业盈利比例是否低于0.8。
对于本例题,其实只是检验总体的企业盈利比例,而从总体中抽取的企业中盈利企业数目服从二项分布,如果总体的假设为真,那么样本盈利企业数就服从参数为0.8的二项分布,据此可以计算样本盈利企业数发生的概率,如果概率大于显著水平,则不能拒绝原假设;相反如果计算出的概率是一个小概率事件,则样本提供了充分的理由拒绝原假设,即总体的企业盈利比例低于0.8。
需要提醒的是SPSS的二项分布检验一般是检验概率低于待检验值的单边情况,如果是大于需要转化为反面来完成,例如,如果本题是检验盈利比例大于0.8的话就要转化为非盈利比例低于0.2来完成。
本例的数据录入非常简单,定义两个变量“盈利类型(type)”和“企业数目(num)”,输入两个案例,注意输入的顺序,SPSS计算的是第1项的概率,因此要在第1行输入盈利企业个数,见光盘6-2.sav
对于二项分布检验的SPSS操作,也很简单,由于这里给出的是每种类型的频数,因此也要进行数据加权的操作,加权变量是“企业数目(num)”,加权的操作留给读者完成。
本书直接进入二项分布检验操作:
Step1:
选择【Analyze】菜单→【NoparametricTests】菜单→【Binomial】菜单
在图6-7所示的二项分布主对话框中,将待检验变量“盈利类型(type)”选入TestVariableList框中。
图6-7二项分布主对话框
Step2:
指定待检验概率
在对话框下方的TestPropotion:
文本框中指定待检验的总体概率,此处填写0.8。
对于左边DefineDichotomy单选组框,主要是用于对样本进行分类,如果检验变量本身就是按照0-1二分组的,则可选默认选项;反之,就要指定一个分界值Cutpoint来将样本分成两类。
需要说明的是:
SPSS默认这里采用的是数据的单一组织形式,即一行只表示一个样本,如果要使用频数组织方式,即一行表示一类样本,则需要用该类样本数对行进行加权,以后凡是遇到频数组织方式的,大多要如此处理。
选择完成后,点击
完成操作。
注意,这里的
和
两个按钮功能和图6-5、6-6完全相同,此处就不在赘述了。
接下来我们来看二项分布的结果,从表6-3结果我们可以看出,观测到的概率为0.8,待检验的概率是0.8,注释a表明此处原假设为盈利比例大于0.8,根据SPSS计算的近似概率P值0.01,我们认为样本观测值的发生是一个小概率事件,应该拒绝原假设,即认为企业盈利比例小于0.8。
表6-3BinomialTest
Category
N
ObservedProp.
TestProp.
Asymp.Sig.(1-tailed)
盈利类型
Group1
盈利
382
.8
.8
.010a,b
Group2
非盈利
123
.2
Total
505
1.0
a.Alternativehypothesisstatesthattheproportionofcasesinthefirstgroup<.8.
b.BasedonZApproximation.
注释b表明此处的概率P值是按照大样本近似计算的单尾概率,当样本量较少时,SPSS会给出精确计算的单尾概率值ExactSig(1-tailed),也可以通过图6-5Exact子对话框指定计算精确概率,当两个概率都给出时应该以精确概率为准。
6.2.3单样本常用分布K-S检验
上面的例子都是针对离散总体的,当总体的分布是连续分布时,要检验总体分布就需要采用单样本K-S检验,它是用前苏联数学家柯尔莫哥诺夫和斯米诺夫(Kolmogorov-Smirnov)名字命名的一种非参数检验方法,该方法能够利用样本数据推断总体是否服从某一理论分布,也是一种拟合优度的检验方法,适合探索连续性总体的分布。
例如,收集一批企业从成立到退出市场竞争的时间,就可以用于推断企业的生存时间是否服从指数分布或者正态分布。
单样本K-S检验的原假设是:
假设总体的分布与指定的理论分布没有显著差异,SPSS提供的理论分布包括正态分布、指数分布、均匀分布和泊松(Poisson)分布。
统计量D的构造此处由于比较复杂,就不列出了,有兴趣的读者可参考相关书籍。
当总体分布与待检验理论分布差异不显著时,样本统计量D的值应该较小;相反,如果统计量观测值很大,即检验概率P值小于显著水平
,我们就要拒绝原假设,认为总体分布与待检验的理论分布差异显著。
在SPSS中,将给出D统计量的近似分布P值,根据P值我们就能进行假设检验了。
看下面的例子:
例6-3检验四川省2007年人均固定资产投资额是否服从正态分布(数据见光盘5-1.sav)。
在本例中,检验的总体是四川省2007年人均固定资产投资额,待检验的分布是正态分布,虽然Q-Q图中也能看出总体分布与待检验的理论分布是否有差异,但是图只能给我们已知直观的感觉,而无法从统计量的角度给一个是否显著差异的结论,因此K-S检验能给出检验概率,是一种量化的方法。
对于本例,原假设是总体分布与总体分布没有显著差异,下面就是SPSS操作过程,
Step1:
选择【Analyze】菜单→【NonparametricTests】菜单→【1-SampleK-S】菜单
在图6-8的对话框中,将待检验变量“人均固定资产投资(rjkdzc)”选入检验变量框TestVariableList中,在左下角选择要检验的分布“Normal”,点击
按钮进入图6-5对话框,指定计算精确概率。
点击
完成操作。
图6-8单样本K-S检验主对话框
SPSS分析结果如下:
表6-4One-SampleKolmogorov-SmirnovTest
人均固定资产投资
N
21
NormalParametersa,,b
Mean
.4919
Std.Deviation
.39201
MostExtremeDifferences
Absolute
.280
Positive
.280
Negative
-.197
Kolmogorov-SmirnovZ
1.284
Asymp.Sig.(2-tailed)
.074
ExactSig.(2-tailed)
.060
a.TestdistributionisNormal.
b.Calculatedfromdata.
表6-4给出单样本K-S检验的结果,首先计算样本数N、样本均值Mean和样本方差Std.Deviation,并把这些量作为总体值代入检验的总体分布中;接着是最大差异列表,即给出理论值和实际值的最大差值,分别给出最大差异绝对值、正值和负值;最后是检验Z统计量和P值,这里给出两个P值,应该以精确P值(ExactSig.(2-tailed))为准进行统计决策。
结果显示P=0.06,如果确定显著水平为0.06,则样本观测值的发生不是一个小概率时间,不能拒绝原假设,即总体的分布和正态分布没有显著的差异。
6.2.4单样本独立性的游程检验
在经济和金融应用中,常常需要判断一种现象的发生与否是否随机,这可以利用非参数检验的游程检验来完成。
游程检验通过对样本变量值的分析,实现对总体的变量值出现是否随机进行检验。
例如,判断一段时间内股市的上涨和下跌是否是随机的,如果以1表示当天股市上涨,0表示下跌,那么经过一段时间记录以后,将会得到一个以1、0组成的变量值序列,这时就可以基于此数据分析股市的上涨下跌是否随机的问题。
总体随机性的游程检验正是解决这种问题的有效方法,它的原假设是:
总体不同样本值出现是随机的,其基本思路是记录总体样本值的游程,所谓游程,是指总体样本总变量值改变的次数,也可以理解为样本序列中连续不变的序列的数目。
例如“101101100001000111100”序列中,1和0交替变换了10次,即连续不变的序列是“1”、“0”、“11”、“0”…共有10个,即游程为10。
当样本出现是随机时,那么在序列中,许多个1或许多个0连续出现的可能性将不大;另外,0和1频繁交替出现的概率也不大。
因此,游程太少或者太多都表明总体样本出现是不随机的。
SPSS单样本总体随机性检验中,利用游程数构造检验统计量,游程r是一个具有独特抽样分布的统计量,如果假设m和n分别代表序列中出现1和0的个数,当m、n较大时,游程r的均值为:
方差为:
原假设为真时,在大样本下,游程近似服从正态分布,即
SPSS将自动计算Z统计量的观测值,并依据正态分布给出对应的概率P值,根据P值,我们就能进行统计决策了。
请看下面的例子
例6-4对于2007年12月3日到2008年1月31日42个交易日的涨跌情况,1为上涨,0为下跌,请检验这段时间内股票的涨跌是否随机。
本例适合用总体随机性检验来完成,计算42个交易日的流程,通过流程数目来计算这两个月内股票的涨跌是否随机。
本例的原假设是股票涨跌在这两月内是随机的。
下面来看SPSS操作:
Step1:
选择【Analyze】菜单→【NonparametricTests】菜单→【Runs】菜单
在图6-9的对话框中,将检验变量“updown”选入检验变量框TestVariableList中,在左下角的分割点复选框组中选择分组点,由于本例是用0和1编码的,因此用中位数或均值或任意0和1之间的数都可以。
同时在Exact子对话框中利用MontCarlo方法计算确切概率。
设置完成后点击
完成操作。
图6-9总体随机性游程检验主对话框
下面是SPSS分析计算的结果:
表6-5RunsTest
updown
TestValuea
1
Cases 17 Cases>=TestValue 25 TotalCases 42 NumberofRuns 21 Z .000 Asymp.Sig.(2-tailed) 1.000 MonteCarlo Sig.(2-tailed) Sig. 1.000b 99%ConfidenceInterval LowerBound 1.000 UpperBound 1.000 表6-5显示了游程检验的结果,依次是待检验值、大于和小于待检验值的样本数,总样本数、游程、Z统计量的值,近似概率P值、蒙特卡罗方法计算的精确概率P值和P值的99%置信区间。 P值大约为1,说明游程检验的Z统计量观测值发生不是小概率事件,不能拒绝原假设,即应该认为在这两个月中,股票的上涨下跌
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第6章 非参数检验 参数 检验
![提示](https://static.bdocx.com/images/bang_tan.gif)