第4章样本描述与数据准备.docx
- 文档编号:23505777
- 上传时间:2023-05-17
- 格式:DOCX
- 页数:21
- 大小:259.44KB
第4章样本描述与数据准备.docx
《第4章样本描述与数据准备.docx》由会员分享,可在线阅读,更多相关《第4章样本描述与数据准备.docx(21页珍藏版)》请在冰豆网上搜索。
第4章样本描述与数据准备
第4章样本描述与数据准备
样本数据采集到以后,不能立即用于数据分析,因为样本可能存在错误数据、缺失数据或者异常数据,或者采集的数据不符合要求,不具有代表性,这些情况会直接影响到分析结果的准确性和准确性。
所以,进行数据分析以前,需要首先了解一下样本数据的基本特征,并对缺失值和异常值等进行适当的处理。
第一节样本的描述
一、基本数学知识
样本数据采集到以后,常用一些统计量描述原始数据的集中程度和离散状况,对数据的总体特征进行归纳。
(1)描述中心趋势的统计量
算术平均数:
样本数据的总和除以数据个数得到算术平均数,算术平均数是描述样本数据中心趋势最常用的统计量,因为具有计算简便、稳定的优点。
中位数:
将样本数据(假设有
个数)按照升序或者降序排列,如果
为奇数,则数列中间的数为中位数;如果
为偶数,则中位数为居中两数的均值。
中位数不如算术平均数稳定,即在同一总体中取相同大小的不同样本时,中位数的变化比算术平均数大。
但是中位数不受极值的影响,因而在经济统计中应用较多。
众数:
样本数据中出现频数最大的那个数称为众数。
众数容易理解,但是不容易确定,与中位数一样,不受极值的影响。
截尾平均数:
将样本数据进行排序后,按照一定的比率去掉两端的某些数,对剩下的数据求平均值,得到截尾平均数。
常用的截尾平均数有5%截尾平均数,即两端去掉5%的数据以后剩余的数求平均数。
截尾平均数与算术平均数相比,较少受极值的影响。
几何平均数:
个非负数
的几何平均数可以表示为:
几何平均数应用于任何两个相邻数之比为常数或者接近常数的数据资料。
调和平均数:
个数
的调和平均数可以表示为:
其它中心趋向的度量还有某种四分数、十分数和百分数的平均值。
其中,分位数是随机变量的一种数字特征,假设连续型随机变量
的密度函数是
,给定常数
,若
满足:
则称
为
的分位数。
(2)描述离散趋势的统计量
仅仅利用描述中心趋势的统计量,不能够反映整个数据集合的分布状况,具有不同分布的数据可能具有相同的算术平均数、中位数或者众数等。
因此,还需要统计量来反映数据与描述中心趋向统计量之间的离散状况。
这样的统计量主要包括以下几种:
极差:
极差是样本数据中最大值与最小值的差值,极值舍弃了最大值与最小值之间的数据信息,仅仅依靠端点值来确定,因而稳定性差。
平均差:
样本数据中各数据与均值之间差值的平均数称为平均差。
平均差应该为0,用它可以检验平均值的准确性。
平均绝对差:
样本数据中各数据与均值之间的差值的绝对值的均值称为平均绝对差。
标准差:
方差的平方根称为标准差,标准差是最常用的反映数据离散趋势的统计量。
(3)偏度与峰度
偏度:
偏度是反映数据分布不对称的一个数字特征,其公式:
式中,
,
为变量
的
阶中心矩。
当数据为正态分布时偏度为0。
峰度:
峰度是以正态分布为标准描述该分布密度的形状为陡峭还是平坦的一个数字特征,计算公式为:
当数据呈现正态分布时,峰度为0。
二、SPSS实现
用鼠标指向Analyze菜单条中的DescriptiveStatistics选项,打开响应的子菜单,该子菜单中提供了多个过程来实现样本数据的描述。
下面分别进行介绍。
(1)频数分析过程
该过程就是通过数据频数分析来达到整理数据的目的,利用该过程,得到一系列描述数据分布状况的统计量。
对话框介绍
在DescriptiveStatistics子菜单中单击Frequencies选项,打开Frequencies对话框,如下图所示;
变量名列表框:
对话框左侧的变量名列出了当前数据文件中所有的变量的变量名。
Variable(s):
在变量名列表框中单击文件名之后,单击对话框中间的箭头按钮,将变量名移到该列表框中。
选定变量名后,将对选定变量的数据进行频数分析。
Displayfrequencytables:
选定此项,将在查看器中显示频数分析表,否则只显示直方图,不显示频数表。
Statistics按钮:
单击该按钮,打开Frequencies:
Statistics对话框,如下图所示,该对话框中各个选项的意义如下:
1.PercentileValues方框:
选择方框内的选项,计算并显示分位数。
※Quartiles核选框计算并显示四方位数。
※CutPoints核选框在后面的窗口中输入数值,假设为
(
为2到100之间的整数字),则计算并显示
分位数。
※Percentile(s)核选框在后面的窗口中输入数值,可以有选择的显示百分位数。
在窗口中可以输入0到100之间的数字,输入后,单击Add按钮,将对应的百分位数添加到方框内的列表框中,利用Change按钮和Remove按钮,可以对列表框中的选项进行修改和删除。
2.CentralTendency方框:
选择该方框内的选项,计算并显示描述中心趋势的统计量。
※Mean核选框计算并显示样本数据的均值;
※Median核选框计算并显示样本数据的中值;
※Mode核选框计算并显示样本数据的众数;
※Sum核选框计算并显示样本数据的累加和。
3.Valuesaregroupmidpoints核选框:
假设数据已经分组,而且数据取值为初始分组的中点,选择此项,计算百分位数统计量和数据的中位数。
4.Dispersion方框:
选择方框内的选项,计算并显示描述数据离散趋势的统计量。
※Std.deviation核选框计算并显示标准差
※Variance核选框计算并显示方差
※Range核选框计算并显示极差
※Minimum核选框计算并显示样本数据的最小值
※Maximum核选框计算并显示样本数据的最大值
※S.E.mean核选框计算并显示均值的标准误差
5.Distribution方框:
设置描述数据分布的统计量
※Skewness核选框显示样本数据的偏度和偏度的标准误差
※Kurtosis核选框显示样本数据的峰度和峰度的标准误差
Charts按钮:
单击该按钮,打开Frequencies:
Charts对话框,如下图所表示
1.ChartType方框:
在该方框内进行选择,确定图形输出类型。
※None为默认选项,选择此项,不生成和显示图形;
※Barchar(s)单选项,生成和显示条形图;
※Piechar(s)单选项,生成和显示饼图;
※Histogram(s)单选项,生成和显示直方图;
※Withnormalcurve核选项,选择Histogram(s)单选项后,本核选框变的可以用,选择此项,在生成和输出直方图时添加正态曲线。
2.ChartValues方框:
在Barchar(s)和Piechar(s)选择之后,该项目变得可以用。
选择此项目,确保生成图形时候的条形或扇区面积的度量。
※Frequencies单选项:
为默认选项,用分类变量不同取值对应的个数作为度量;
※Percentage单选项:
用分类变量不同取值对应的个数占总个数的百分比作为度量。
Format按钮:
单击该按钮,打开Frequencies:
Format对话框,如下图所示。
利用该对话框,设置频数分析表的输出格式。
1.Orderby方框:
该方框中的选项设置表中的数据的排列顺序。
※Ascendingvalues单选框为默认选项,按照变量的大小进行顺序排列;
※Descendingvalues单选框按照变量的大小进行降序排序;
※Ascendingcounts单选框按照变量值出现的频数作升序排列;
※Descendingcounts单选框按照变量值出现的频数作降序排列。
2.MultipleVariables方框:
如果Frequencies方框中Variable(s)列表框中有多个变量名,选择该项,可以确定表格的显示方式。
※Comparevariables单选框,为默认选项。
将对应于各个变量的统计量显示在一张单独的表中;
※Organizeoutputbyvariable单选框,将对应于各变量的统计量分别列示显示。
3.Suppresstableswithmorethanncategories核选框:
选择此项,在后面的窗口中输入数值,确定频数输出的范围,即输出数据的组数不得大于窗口中输入的数值。
默认时该数值为10。
(2)数据描述过程
对话框说明
在DescriptiveStatistics子菜单中单击Descriptive…选项,打开Descriptives对话框,如下所表示。
该对话框中各个选项的意义如下:
在左边的变量名列表中选中变量名后,用箭头按钮移到variable(s)列表框中,将对variable(s)列表框中的数据的分布特征进行描述。
Savestandardizedvaluesasvariables核选框:
选择该框,对Variable(s)中的数据进行标准化,然后将标准化后的数据保存到一个变量中,变量名字为原变量名字前面添加字母z.新生成的变量和数据保存到当前数据文件中并显示在数据编辑器的最后一列。
Options按钮:
单击该按钮,打开Descriptive:
Options对话框,如下所示。
1.Mean核选框,Sum核选框,Dispersion方框内的选项和Distribution内的选项的意义参见前面的Statistics对话框的内容。
2.DisplayOrder方框:
该方框内的选项设置描述表格中数据的显示顺序。
※VariableList单选框为默认选项,按照数据文件的先后顺序排列;
※Alphabetic单选框按照变量的字母排序排列;
※Ascendingmeans单选框按照变量均值的升序排列;
※Descendingmeans单选框按照变量均值的降序排列。
(3)数据探察过程
对话框说明
在DescriptiveStatistics子菜单中单击Explore选项,打开Explore对话框,如下图形所示:
变量名列表框:
该列表框中列出了当前数据文件中的所有变量名字;
Dependent列表框:
在该列表框中输入变量名,对应变量为因变量;
FactorList列表框:
在该列表框中输入变量名,对应变量为分组变量;
LabelCases列表框:
在该列表框中输入变量名,对应变量为标识变量;
Display方框:
选择该方框中的选项,确定显示内容。
·Both单选项:
为默认按钮,选择此项,输出统计表格和图形;
·Statistics单选项:
选择此项,输出统计表格;
·Plots单选项:
选择此项,输出图形;
Statistics按钮:
单击此项,打开Explore:
Statistics对话框,如下图形所示。
1.Descriptive核选框选择此项,将生成Descriptive表,表中显示样本数据的描述统计量,包括平均值,中位数,5%调整平均数,标准误差,方差,标准差,最大值,最小值,极差,四分位数,峰度,偏度以及误差等等。
默认时选择此项。
在后面的ConfidenceIntervalfor窗口中输入数值,确定平均值的置信区间,默认为95%。
2.M-estimators核选框选择此项,将计算并生成稳健估计量。
关于文件估计量的内容将在后面参数估计一章中介绍。
3.Outliers核选框选择此项,输出5个最大值和5个最小值,作为异常嫌疑值。
在后面的相应部分详细介绍。
4.Percentiles核选框选择此项,计算并显示指定的百分位数以及四分位数,指定的百分位数包括5%,10%,15%,25%,50%,75%,90%和95%等。
Plots按钮:
单击该按钮,打开Explore:
plots对话框,如下所示。
、
1.Boxplots方框在Explore对话框中的Dependent列表框中输入多个变量名(因变量),在该方框中选择此项,确定箱形图的生成方式。
※Factorlevelstogether核选框,为默认选项,将为每个因变量创建一个箱形图,在每个箱形图内根据分组变量的不同水平创建箱形单元。
※Dependentstogether核选框,将为每个分组变量创建一个箱形图,在每个箱形图内为不同因变量用不同颜色创建箱形单元。
※None不创建箱形图。
2.Descriptive方框选择该方框,生成茎叶图和直方图。
※Stem-and-leaf核选框,生成茎叶图,默认此项;
※Histogram核选框,生成直方图。
3.Normalityplotswithtests核选框:
生成正态Q-Q概率图和无趋势正态Q-Q概率图。
4.SpreadvsLevelwithLeveneTest方框,应用此项,必须先在Explore对话框中输入分组变量。
Options按钮:
单击该按钮,打开Explore:
Options对话框。
该对话框设置了缺失数据的处理方法,在MissingValues方框中进行选择。
1.Excludecaseslistwise单选框,为默认选项,对所有数据中剔除带有缺失数据的样本;
2.Excludecasespairwise单选框,在当前样本中对所有数据中剔除带有缺失数据的样本,在其它分析过程中可能包括缺失值。
3.Reportvalues单选框,将分组变量中的缺失值单独分为一组,并用频数表输出。
第二节数据列表与报表输出
采集到的原始数据往往都是随机的,杂乱无章的。
无法一下子从中看出什么规律来,对原始数据进行列表整理,可以使数据更容易阅读和检查。
此外,SPSS还提供了多种报表输出功能。
一、分层报表过程
分层报表过程对分类变量的不同取值对应的统计量分别建立报表。
对话框说明
在Reports子菜单中单击OLAPCubes…选项,打开OLAPCubes对话框,如图所示。
该对话框中各个选项的意义如下:
SummaryVariable(s)列表框:
在该列表框中输入变量名,对应变量作为综述变量;
GroupingVariable(s)列表框:
在该框中输入变量名,对应变量作为分组变量;
Statistics按钮:
单击该按钮,打开OLAPCubes:
Statistics对话框,在该框中设置选项,确定需要计算和显示的统计量,各个统计量选项的意义如下:
Sum数据累加值
NumberofCases个案数
Mean算术平均数;
StandardDeviation标准离差
Median中值
GroupedMedium组中值
Std.ErrorofMean均值的标准误差
Minimum最小值
Maximum最大值
Range极值
percentofTotalSum某类数据的总和占全部数据总合的个数
percentofTotalN某类数据对应的个案数占总个案的百分数
PercentofSumin各综述变量对应的某分类变量的数据之和占数据总和的百分数
PercentofNin各综述变量对应的某分类变量的数据对应的个案数占总个案的百分数
Title按钮:
单击该按钮,打开OLAPCubes:
Title对话框,在该对话框中的Title窗口和Caption窗口中分别输入分层报表的标题和注释内容。
二、个案列表过程
利用该过程,可以对原始数据中各个案的数据进行收集整理。
对话框说明
在Analyze菜单中的Reports子菜单中单击CaseSummarize…选项,打开SummarizeCases对话框,该对话框中各选项的意义如下:
Variable(s)列表框:
用箭头按钮从变量名列表框转移一个或多个变量名到该列表框中,确定对哪些变量的个案数据列表。
Grouping列表框:
该窗口输入变量名,对应变量作为分组变量;
DisplayCases:
选择此项,将在列表窗口中显示全部的单个个案对应的统计量,否则只显示各分组对应的统计量。
Limitcasesto核选框:
选择此项,在后面的窗口中输入数值,确定最多在列表中显示多少个个案。
默认时为100。
Showonlyvalidcases核选框:
选择此项,只显示有效数据对应的个案。
Showcasenumbers:
核选框,选择此项,显示个案号;
Statistics:
单击该按钮,打开SummaryReport:
Statistics对话框,如下图所示。
Options按钮:
单击该按钮,打开对话框,如图所示
三、行综述报表过程
对话框说明
在Reports子菜单中单击ReportSummarizeinRows…选项,打开Report:
SummarizeinRows对话框,如下图所示。
该对话框意义如下:
DataColumns方框:
在该方框内的列表框中输入变量名,然后单击Format按钮,打开Report:
DataColumnFormatforsalary对话框,如下所示。
ColumnTitle列表框:
在该列表框中输入变量的列表题。
不输入,则输出变量标签或者变量名。
Columntitle下拉式列表框:
在该控件中进行选择,确定标题的对齐方式。
ValuePositionwithinColumn方框:
在框内进行选择,确定变量值在列表中的位置。
四、列综述报表过程
第三节发现异常嫌疑值
异常值是指观测数据中存在的过大过小的值,可能只是数据中内在的随机变异性的一种极端的表现,也可能是因为试验过程中出现操作错误或者条件改变所导致。
对于前一种异常值,必须予以保留并与其它数据一起参与统计过程;对于后一种数据,必须予以舍弃或修正。
因此,一个过大或过小的值是否是真正意义上的异常值,需要先进行判别。
判别的方法是,如果数据服从正态分布(需要检验是否符合正态分布),检验的方法有奈尔检验,格拉布斯检验和荻克逊检验等。
异常值的检验请参见后面的假设检验。
本节介绍如何发现可能的异常值。
根据异常值的定义,原始数据中可能异常的是对数据进行排列以后位于数列两端的值,SPSS提供了多种方法来实现异常值的探察。
一、利用统计过程发现异常嫌疑值
在Explore:
Statistics对话框中,选择Outliers核选框时候,将在生成的结果中显示当前变量不同水平对应的5个最大值和5个最小值,分别对它们进行检测,可以确定它们是否为异常值。
二、利用箱形图发现异常嫌疑值
在Explore:
Plots对话框中的Boxplots方框内进行选择,或者直接从Graphs菜单条中选择Boxplots。
。
。
选项,并打开对话框进行设置,都可以生成箱形图。
Factorslevelstogether单选项,为默认选项,将为每个因变量创建一个箱形图形。
Dependentstogether单选项,为每个分组变量创建一个箱形图形。
None:
不生成工资
第四节缺失值的替换
当存在缺失值时候,有的过程将不能够运行。
因此,需要先想办法将这些缺失值填补起来,这需要用到SPSS的ReplaceMissingValues功能选项。
执行如下操作:
单击Transform菜单中的ReplaceMissingValues…选项,打开ReplaceMissingValues…对话框,如下图所示:
在左边列表框中选择并单击一变量名,单击向右箭头按钮,将该变量移动到NewVariable(S)列表框中。
在NameandMethod方框中可以定义新变量的变量名和求缺失值的方法
Seriesmean为默认选项,用所选变量的所有值的均值来代替缺失值
Meanofnearbypoints选择此项,用附近各点的值的均值来代替缺失值
Medianofnearlypoints选择此项,用附近各点的值的中值代替缺失值
Linearinterpretation选择此项,用某一缺失值的前一值和后一值的线性插值来代替缺失值
Lineartrendatpoint选择此项,在对原始数据进行线性回归的基础上,用线性预测缺失值
第五节数据的标准化
一、基本数学原理
对于具有不同量级或不同单位的数据,在进行数理统计之前,往往需要进行处理,使得数据在更平等的条件下进行分析。
目前进行数据处理的方法大致3种,即标准化,极差标准化和正规化。
标准化:
假设
为原始观测值,
为数据均值,
为标准差,则标准化后的观测值
为:
极差标准化:
为最大值,
最小值,
为数据均值,则极差标准化后的观测为:
正规化:
计算公式为:
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 样本 描述 数据 准备
![提示](https://static.bdocx.com/images/bang_tan.gif)