SPSS学习系列09 缺失值处理.docx

SPSS学习系列09 缺失值处理.docx

《SPSS学习系列09 缺失值处理.docx》由会员分享，可在线阅读，更多相关《SPSS学习系列09 缺失值处理.docx（22页珍藏版）》请在冰豆网上搜索。

SPSS学习系列09缺失值处理

09.缺失值处理

空缺值（用“.”表示）和输入错误值，都属于缺失值范畴。

输入错误值需要做“数据检验”来发现：

（1）【分析】——【描述统计】——【描述】和【频率】

（2）【图形】——【旧对话框】——【箱图】

观察极小、极大值、频率、异常值等来判断。

例如，性别“男=1，女=2”，若极大值出现3，则是输入错误值；箱线图或3σ原则发现的异常值，则要先改成缺失值。

缺失值的处理方法通常有四种。

一、删除有缺失值的个案

删除有缺失值的个案，或在具体统计分析时的【选项】——【缺失值】框选择某种处理方法：

①按列表排除个案——只要任何一个变量含有缺失值，就要剔除出所有因变量或分组变量中有缺失值的观测记录；

②按对排除个案——同时剔除带缺失值的观测量及与缺失值有成对关系的观测量（对照分析）；

③使用均值替换——使用该变量的均值替换缺失值。

二、替换缺失值

SPSS提供了5种简单替换缺失值的方法：

（1）序列均值——该变量的有效观察值的平均数；

（2）临近点的均值——该缺失值前后n个观察值的平均数；

（3）临近点的中位数——该缺失值前后n个观察值的中位数；

（4）线性插值——该缺失值前后观察值建立插值直线确定【同取n=1的

（2）】；

（5）点处的线性趋势——以编号为自变量用线性回归法预测值。

现有数据文件：

1.【转换】——【替换缺失值】，打开“替换缺失值”窗口，将变量“统计成绩”选入【新变量】框；

2.【名称和方法】框，设定新变量名称“统计成绩_1”，方法选“序列均值”

3.点【确定】，得到

注意：

若某个案的缺失值较多最好删除该个案，而不是替换其缺失值。

三、缺失值分析

SPSS中更高级的处理缺失值的方法是缺失值分析，它能够

（1）缺失值的描述和快速诊断：

用灵活的诊断报告来评估缺失值问题的严重性，用户可以观察到它们在哪些变量中出现，比例是多少，是否与其它变量取值有关，从而得知这些缺失值出现是否会影响分析结论。

（2）得到更精确的统计量：

提供了多种方法用于估计含缺失值数据的均值、相关矩阵或协方差矩阵，通过这些方法计算出的统计量更加可靠。

（3）用估计值替换缺失值：

使用EM或回归法，用户可以从未缺失数据的分布情况中推算出缺失数据的估计值，从而能有效地使用所有数据进行分析，来提高统计结果的可信度。

【缺失值分析】实例操作，使用SPSS20自带的实例文件：

telco_missing.sav

1.【分析】——【缺失值分析】，打开“缺失值分析”窗口，将变量“婚姻状况、教育程度、退休、性别”选入【分类变量】，将变量“服务月数、年龄、现在住址居住年数、家庭收入、现职位工作年数、家庭人数”选入【定量变量】

注意：

最大类别（最大分类数）默认为25，超过该数目的分类变量将不引入分析。

2.点【描述】，打开“描述统计”子窗口，用来设置要显示的缺失值描述统计量。

勾选“单变量统计量”，勾选【指示变量统计量】框的“使用有指示变量形成的分组进行的t检验”和“为分类变量和指示变量生成交叉表”，点【继续】

3.点【模式】，打开“模式”子窗口，用来设置显示输出表格中的缺失数据模式和范围。

勾选“按照缺失值模式分组的表格个案”；

因为“教育程度”、“退休”和“性别”中的缺失模式似乎影响数据，“家庭收入”含有大量缺失值，将这些变量选入【附加信息】；

其它保持默认，点【继续】

4.回到原窗口，勾选【估计】框中的“EM”和“回归”，其它默认设置。

点击【EM】或【回归】按钮可以修改其设置

注意：

若要保存替换缺失值之后的数据，需要勾选“保存完成数据”：

创建新数据集并命名，或写入新数据文件。

另外，默认使用所有变量进行分析，若要选择部分变量，可点【变量】按钮修改。

点【确定】，得到输出结果：

单变量统计

N

均值

标准差

缺失

极值数目a

计数

百分比

低

高

tenure

968

35.56

21.268

32

3.2

0

0

age

975

41.75

12.573

25

2.5

0

0

address

850

11.47

9.965

150

15.0

0

9

income

821

71.1462

83.14424

179

17.9

0

71

employ

904

11.00

10.113

96

9.6

0

15

reside

966

2.32

1.431

34

3.4

0

33

marital

885

115

11.5

ed

965

35

3.5

retire

916

84

8.4

gender

958

42

4.2

a.超出范围（Q1-1.5*IQR，Q3+1.5*IQR）的案例数。

提供了数据的一般特征，给出了所有分析变量缺失数据的频数、百分比，定量变量的均值、标准差、极值数目。

income（家庭收入）有最多具有缺失值（17.9%），也有最多的极值；而age（年龄）有最少缺失值（5%）。

估计均值摘要

tenure

age

address

income

employ

reside

所有值

35.56

41.75

11.47

71.1462

11.00

2.32

EM

36.12

41.91

11.58

77.3941

11.22

2.29

回归

35.77

41.68

11.59

74.3174

10.99

2.32

估计标准差摘要

tenure

age

address

income

employ

reside

所有值

21.268

12.573

9.965

83.14424

10.113

1.431

EM

21.468

12.699

10.265

87.54860

10.165

1.416

回归

21.188

12.534

9.935

84.71430

10.242

1.423

使用EM法和回归法进行缺失值的估计和替换后，总体数据的均值和标准差的变化情况，其中“所有值”为原始数据特征，另两行分别是采用EM法、回归法得到的统计参数。

单个方差t检验a

tenure

age

address

income

employ

reside

address

t

.4

.3

.

3.5

1.4

1.0

df

202.2

192.5

.

313.6

191.1

199.5

#存在

819

832

850

693

766

824

#缺失

149

143

0

128

138

142

均值（存在）

35.68

41.79

11.47

74.0779

11.20

2.34

均值（缺失）

34.91

41.49

.

55.2734

9.86

2.21

income

t

-5.0

-8.3

-3.9

.

-5.9

3.6

df

249.5

222.8

191.1

.

203.3

315.2

#存在

793

8

792

#缺失

175

174

157

0

163

174

均值（存在）

33.93

40.01

10.67

71.1462

9.91

2.39

均值（缺失）

42.97

49.73

14.97

.

15.93

2.02

employ

t

-1.0

-.4

-.7

.5

.

-.3

df

110.5

110.2

97.6

114.9

.

110.9

#存在

877

881

766

741

904

874

#缺失

91

94

84

80

0

92

均值（存在）

35.34

41.69

11.37

71.4953

11.00

2.31

均值（缺失）

37.70

42.27

12.32

67.9125

.

2.37

marital

t

.0

1.8

1.2

-.8

.9

-2.2

df

148.1

149.5

138.8

121.2

128.3

134.2

#存在

856

862

748

728

805

857

#缺失

112

1

9

均值（存在）

35.56

42.00

11.61

70.3887

11.10

2.28

均值（缺失）

35.57

39.85

10.43

77.0753

10.17

2.61

retire

t

-.6

-.4

-.4

.3

.

.2

df

95.4

94.4

84.0

93.2

.

99.0

#存在

888

893

777

751

904

885

#缺失

80

82

73

70

0

81

均值（存在）

35.44

41.70

11.42

71.3356

11.00

2.32

均值（缺失）

36.89

42.29

11.96

69.1143

.

2.30

对于每个定量变量，由指示变量（存在，缺失）组成成对的组。

a.不显示少于5%个缺失值的指示变量。

通过单个方差t检验有助于标识缺失值模式可能影响定量变量的变量。

按照相应变量是否缺失将全部记录分为两组，再对所有定量变量在这两组间进行t检验。

判断数据是否完全随机缺失（表示缺失和变量的取值无关）。

例如，似乎年纪较长的响应者更不可能报告收入水平。

当income缺失时，平均age为49.73，与之相比，当income未缺失时为40.01。

实际上，income的缺失似乎影响多个定量（刻度）变量的平均值。

此指示数据可能并未完全随机缺失。

类别变量相对于指示变量的交叉制表

marital

总计

未婚

已婚

缺失

SysMis

address

存在

计数

850

390

358

102

百分比

85.0

85.5

83.4

88.7

缺失

%SysMis

15.0

14.5

16.6

11.3

income

存在

计数

821

380

348

93

百分比

82.1

83.3

81.1

80.9

缺失

%SysMis

17.9

16.7

18.9

19.1

employ

存在

计数

904

418

387

99

百分比

90.4

91.7

90.2

86.1

缺失

%SysMis

9.6

8.3

9.8

13.9

retire

存在

计数

916

423

392

101

百分比

91.6

92.8

91.4

87.8

缺失

%SysMis

8.4

7.2

8.6

12.2

不显示少于5%个缺失值的指示变量。

观察marital（婚姻状况）表，指示变量的缺失值数量在marital类别之间似乎变化不大。

一个人结婚与否似乎并不影响任何定量（刻度）变量的数据缺失情况。

例如，85.5%未婚者报告address（当前地址居住年限），83.4%已婚者报告相同变量。

差异很小并且很可能是巧合。

ed

总计

未完成中学学历

中学学历

社区学院

大学学位

研究生学位

缺失

SysMis

address

存在

计数

85

86

56

30

百分比

85.0

83.2

85.7

88.4

81.9

87.5

85.7

缺失

%SysMis

15.0

16.8

14.3

11.6

18.1

12.5

14.3

income

存在

计数

821

3

50

29

百分比

82.1

79.1

81.8

83.3

85.0

78.1

82.9

缺失

%SysMis

17.9

20.9

18.2

16.7

15.0

21.9

17.1

employ

存在

计数

9

204

60

30

百分比

90.4

90.8

90.7

89.9

89.9

93.8

85.7

缺失

%SysMis

9.6

9.2

9.3

10.1

10.1

6.3

14.3

marital

存在

计数

885

193

278

148

184

52

30

百分比

88.5

98.5

99.3

74.7

81.1

81.3

85.7

缺失

%SysMis

11.5

1.5

.7

25.3

18.9

18.8

14.3

retire

存在

计数

916

7

60

30

百分比

91.6

91.8

92.5

90.9

91.2

93.8

85.7

缺失

%SysMis

8.4

8.2

7.5

9.1

8.8

6.3

14.3

不显示少于5%个缺失值的指示变量。

观察ed（教育程度）的交叉制表。

如果对象至少接受过大学教育，婚姻状况响应更可能缺失。

未接受大学教育的对象中至少98.5%报告婚姻状况。

另一方面，那些拥有大学学位的人中只有81.1%报告婚姻状况。

对于那些曾接受大学教育但未获学位者，数量更少。

retire

总计

是

否

缺失

SysMis

address

存在

计数

850

744

33

73

百分比

85.0

85.0

80.5

86.9

缺失

%SysMis

15.0

15.0

19.5

13.1

income

存在

计数

821

732

19

70

百分比

82.1

83.7

46.3

83.3

缺失

%SysMis

17.9

16.3

53.7

16.7

employ

存在

计数

904

864

40

0

百分比

90.4

98.7

97.6

.0

缺失

%SysMis

9.6

1.3

2.4

100.0

marital

存在

计数

885

777

38

70

百分比

88.5

88.8

92.7

83.3

缺失

%SysMis

11.5

11.2

7.3

16.7

不显示少于5%个缺失值的指示变量。

在retire（退休）中可看到更大差异。

那些退休者与那些未退休者相比更不可能报告其收入。

退休客户中只有46.3%报告收入水平，而那些未退休者报告收入水平的百分比为83.7。

gender

总计

男

女

缺失

SysMis

address

存在

计数

850

363

456

31

百分比

85.0

78.6

91.9

73.8

缺失

%SysMis

15.0

21.4

8.1

26.2

income

存在

计数

821

381

406

34

百分比

82.1

82.5

81.9

81.0

缺失

%SysMis

17.9

17.5

18.1

19.0

employ

存在

计数

904

412

457

35

百分比

90.4

89.2

92.1

83.3

缺失

%SysMis

9.6

10.8

7.9

16.7

marital

存在

计数

885

400

445

40

百分比

88.5

86.6

89.7

95.2

缺失

%SysMis

11.5

13.4

10.3

4.8

retire

存在

计数

916

420

461

35

百分比

91.6

90.9

92.9

83.3

缺失

%SysMis

8.4

9.1

7.1

16.7

不显示少于5%个缺失值的指示变量。

gender（性别）的另一差异明显。

男性与女性相比，地址信息经常缺失。

虽然这些差异可能是巧合，其似乎不可能。

数据似乎并非随机完全缺失。

制表模式

案例数

缺失模式a

完整数，如果...b

incomec

edd

retired

genderd

age

reside

tenure

ed

gender

retire

employ

marital

address

income

未完成中学学历

中学学历

社区学院

大学学位

研究生学位

是

否

男

女

475

475

76.5853

99

63

12

201

274

109

X

584

.

27

35

19

17

11

95

14

47

62

16

X

X

687

.

5

9

0

1

1

12

4

12

4

87

X

562

54.4368

21

27

9

24

6

85

2

66

21

13

X

488

56.

0

4

9

60

X

535

77.2167

1

2

27

24

6

59

1

35

25

16

X

491

47.8125

17

X

492

76.2353

2

7

3

4

1

17

0

7

10

18

X

493

54.111

16

X

X

660

.

37

X

X

520

59.4595

9

不显示少于1%个（10个或更少）案例的模式。

a.以缺失模式排列变量。

b.完整案例数，如果未使用该模式（用X标记）中缺失的变量。

c.在各个唯一模式处的均值

d.在各个唯一模式处的频率分布

制表模式显示个别个案中多个变量的数据是否往往缺失，有助于判断数据是否联合缺失。

在超过1%的个案中存在三种模式的联合缺失数据。

变量employ（当前工作年限）和retire（退休）与其它变量对相比更容易缺失。

这并不奇怪，因为retire和employ记录类似信息。

如果您不知道对象是否退休，您很可能也不知道其当前工作年限。

平均income（家庭收入）似乎因缺失值模式的不同变化很大。

实际上，在marital（婚姻状况）缺失时，6%个案的平均Income更高。

（当tenure（服务月数）缺失时其更高，但此模式只占1.7%个案。

）请记住，那些接受更高水平教育者更不可能响应婚姻状况相关问题。

您可以在ed（教育程度）频率中看到此倾向。

通过假定那些接受更高水平教育者赚更多钱并且更不可能报告婚姻状况，我们可能解释income的增加。

注：

下表脚注中的：

【Little的MCAR检验】用来检验数据是否完全随机缺失（原假设为：

是完全随机缺失）。

EM估计统计量

EM均值a

tenure

age

address

income

employ

reside

36.12

41.91

11.58

77.3941

11.22

2.29

a.Little的MCAR检验:

卡方=179.836，DF=107，显著性=.000

EM协方差a

tenure

age

address

income

employ

reside

tenure

460.893

age

135.326

161.261

address

111.341

85.440

105.372

income

547.182

451.109

300.533

7664.75710

employ

113.359

86.871

48.051

525.81159

103.326

reside

-1.107

-4.538

-3.098

-14.60886

-1.916

2.006

a.Little的MCAR检验:

卡方=179.836，DF=107，显著性=.000

EM相关性a

tenure

age

address

income

employ

reside

tenure

1

age

.496

1

address

.505

.655

1

income

.291

.406

.334

1

employ

.519

.673

.461

.591

1

reside

-.036

-.252

-.213

-.118

-.133

1

a.Little的MCAR检验:

卡方=179.836，DF=107，显著性=.000

回归估计统计量

回归均值a

tenure

age

address

income

employ

reside

35.77

41.68

11.59

74.3174

10.99

2.32

a.将随机正态变量添加到各个估计。

回归协方差a

tenure

age

address

income

employ

reside

tenure

448.925

age

127.960

157.107

address

104.772

81.387

98.710

income

521.577

413.579

261.781

7176.51298

employ

115.751

86.757

49.026

504.78905

104.906

reside

-1.105

-4.369

-2.782

-9.63351

-1.736

2.026

a.将随机正态变量添加到各个估计。

回归相关性a

tenure

age

address

incom