第二章原始数据的处理方法docWord格式.docx
- 文档编号:22165237
- 上传时间:2023-02-02
- 格式:DOCX
- 页数:16
- 大小:147.42KB
第二章原始数据的处理方法docWord格式.docx
《第二章原始数据的处理方法docWord格式.docx》由会员分享,可在线阅读,更多相关《第二章原始数据的处理方法docWord格式.docx(16页珍藏版)》请在冰豆网上搜索。
数据白化处理的方法主要有:
(1)直接采用距样点最近观测站的多年平均值。
例如海水温度和盐度等,可采用多年来的观测平均值或近几天的平均值。
(2)根据各个因素指标的等值线图,利用插入法计算其数值。
如表层水温、盐度、海底地形等指标,各代表样点不完全有现成的准确观测值,可在“等水温线图”、“等盐度图”、“地形等高线图”上,利用插值法计算出其白化值。
(3)结合实际情况和数据特征,确定合理的数据。
如反映海洋环境质量的指标有有机质、含氮量、含磷量等。
在使用时,我们不可能把所有的因子都输入模型,为了计算上的方便,可以归结为一个综合指标。
即用该区域内最新资料,查出各样点的各项因素指标,然后用“极差变换”的方法求出变换后的数据,相加即可得到一个综合性数字。
这样,可解决各因素间量纲不同和数量级大小相差悬殊的问题。
(4)对经济指标进行预测。
海洋经济的分类划区应当有相对的稳定性,同时应用的综合指标又应反映海洋经济的动态特征,所以,在使用相应的指标数据时,就需要先对指标数据进行发展预测,然后根据预测值进行分类划区。
预测的方法很多,常用的是灰色系统GM(1,1)模型和指数递增率模型。
(5)采用具有相同权数的相对数值。
根据统计学原理,各个个体应该是等权的,但实际上各种统计对象个体不等积,不等形,也即存在着不等权问题。
例如,各样点的海域面积、人口产量、产值等指标,绝对值差别很大,无疑是不等权的。
如果用特定范围内海域比重、人口密度、单位平均产量、人均产值等相对数来表示,便可以解决各样点同项因素不等权的问题。
二、常用的几种数据变换方法
由于原始数据存在着上述特点,进行统计分析建立数学模型有一定的困难和限制,因此需要根据所建数学模型的类别,对原始数据进行变换。
变换的目的主要是:
(1)使指标数据尽可能呈正态分布;
(2)统一变量指标间的量纲;
(3)使两变量指标的非线性关系变换为线性关系;
(4)用一组新的、指标数量较少的、相互独立的变量,代替一组有相互联系的原始变量指标。
不同的数学模型对指标变量的要求不同。
大多数的多元统计分析,要求变量总体上服从多元正态分布,且要求量纲一致。
如判别分析要求变量呈正态分布;
回归分析则要求因变量呈正态分布,要求各自变量与因变量之间有密切的相关关系。
而聚类分析则要求各变量量纲一致,变量间互相独立。
因此,数据的变换一定要根据数学模型的要求,有的放矢地进行。
常用的变换方法主要有:
(一)标准化变换
计算公式为:
=
(i=1,2,…,N样点数;
j=1,2,…,P变量数)
式中:
为变换后的数据;
Xij为原始数据;
为第j变量的算术平均值,即
;
Sj为变量j的标准差,即Sj=
。
变换后的各变量数据平均值为0,方差为1,呈标准正态分布,各变量间有了统一的量纲,而两个变量在变换前后的相关程度不变。
从几何意义上讲,标准化变换相当于座标原点移至重心(即平均值)位置,标准化变换适用于量纲不同且数量级大小不一的连续性数据。
我们现在以陈新军的博士学位论文《渔业资源可持续利用评价》实证分析中有关数据进行说明。
1978-1984年东海区渔业资源可持续利用系统的资源环境子系统如下:
年份
1978
1979
1980
1981
1982
1983
1984
X1
2.64
2.72
2.73
2.63
2.54
X2
63.19
59.12
46.48
51.06
48.18
38.6
41.03
X3
43.6
41.1
56.9
58.5
62.2
64.5
67.7
X4
69.785
59.446
51.047
43.156
36.684
29.152
24.835
X5
2.609
2.244
1.547
1.479
1.435
1.299
1.258
X6
1.178
1.05
1.038
0.956
0.935
0.875
0.891
其中:
X1为渔获物的营养级,单位为级;
X2为优质鱼类产量占海洋捕捞产量的比重,单位为%;
X3为非选择性渔具捕捞产量占海洋捕捞产量的比重,单位为%;
X4为单位机动渔船的平均捕捞产量,单位为吨/艘;
X5为机动渔船每吨位的平均捕捞产量,单位为吨/船吨位;
X6为机动和非机动渔船每千瓦的平均捕捞产量,单位为吨/千瓦。
在资源环境子系统中,各评价指标的单位不一样,因此需要进行初值化。
现分别求出序列X1、X2、X3、X4、X5和X6的平均值及其标准差。
则数据变换为:
其他数据变换类同。
则获得经过变换后的资源环境子系统的各个序列:
X’1
-0.29
0.86
1.00
-0.43
-1.71
X’2
1.51
-0.36
0.15
-0.17
-1.23
-0.96
X’3
-1.25
-1.49
0.05
0.21
0.57
0.79
1.11
X’4
1.53
0.90
0.38
-0.11
-0.50
-0.97
X’5
1.75
-0.51
-0.77
-0.85
X’6
1.71
0.55
0.44
-0.31
-1.05
-0.90
(二)极差变换
Xjmax为第j变量原始数据的最大值;
Xjmin为第j变量原始数据的最小值。
极差变换后的数据有了统一的量纲,其最大值为1,最小值为0,所有数据变化在0~1之间。
变换前后两两变量之间的相关程度不变,其几何意义相当于把座标原点移至最小值位置。
极差变换适用于量纲不同、数量大小不一的连续型的原始数据的变换。
同样以上述例子进行分析。
先求出各个指标的最大值和最小值。
它们分别为:
X1max=2.73X1min=2.54
X2max=63.19X2min=38.60
X3max=67.70X3min=41.10
X4max=69.79X4min=24.84
X5max=2.61X5min=1.26
X6max=1.18X6min=0.88
则其数据变换为:
其余数据转换类同。
则可获得经过极差变换后的资源环境子系统各序列:
0.53
0.95
0.47
0.00
0.83
0.32
0.51
0.39
0.10
0.09
0.59
0.65
0.88
0.77
0.58
0.41
0.26
0.73
0.16
0.13
0.03
0.99
0.25
0.18
0.04
(三)均值化变换
为第j变量的平均值。
变换后的数据有了统一的量纲,数值均大于0,且集中在1附近。
其数学期望值为1,而变量与平均数之差的期望值为0。
此变换适用于比例变量,如长度、体积、质量等。
我们仍然以上述数据作为例子进行分析,我们已求得各个序列的平均值,则相应的变换值为:
其余数据类同。
则可获得资源环境子系统经过均值化后的序列:
1.02
1.03
1.27
1.19
0.94
0.97
0.78
1.01
1.04
1.10
1.14
1.20
1.56
1.32
0.96
0.82
0.91
0.87
0.84
0.76
0.74
1.06
(四)初值化变换
Xi1为第i变量的初值(第一个数据)。
初值化变换后的数据具有了统一的量纲,各数值均为初值的倍数,便于分析因素之间序列的关联性,因此适用于处理社会经济方面的统计数据。
我们仍以上述数据作为例子进行分析,利用上述公式进行初值化变换:
……
其余计算类同。
则可获得资源环境子系统经过初值化后的序列:
0.81
0.61
1.31
1.34
1.43
1.48
1.55
0.85
0.62
0.42
0.36
0.50
0.48
0.89
(五)模块化变换
Xik为第j个变量的第k个数据。
这种变换就是将时间数据列,逐年作一次累加,组成新的数据列,即生成数时间序列。
这种变换可用于时间序列的预测。
这就是灰色系统理论建立数学模型、进行预测、动态分析等的建模机理和方法。
我们以上述数据作为例子进行分析,利用上述公式进行模块化处理:
其余计算类同。
5.36
8.09
10.81
13.45
16.08
18.62
122.31
168.79
219.85
268.03
306.63
347.66
84.70
141.60
200.10
262.30
326.80
394.50
69.78
129.23
180.28
223.43
260.12
289.27
314.11
2.61
4.85
6.40
7.88
9.31
10.61
11.87
2.23
3.27
4.22
5.16
6.03
6.92
(六)滑动平均变换
为避免数字上的循环,也可采用下式计算:
或
这种变换可以弱化时间数据的随机性,不同程度地消除了收集统计数据时的误差,为作进一步数据处理提高了可靠性和准确性。
我们以上述数据作为例子进行分析,利用上述公式进行滑动平均变换处理:
则可获得资源环境子系统经过滑动变换后的序列:
2.67
2.70
2.66
2.60
2.57
61.83
56.26
52.22
48.57
45.95
42.60
40.22
42.77
47.20
52.17
59.20
61.73
64.80
66.63
66.34
60.09
51.22
43.63
36.33
30.22
26.27
2.49
2.13
1.76
1.49
1.40
1.33
1.09
0.98
0.92
(七)弱化算子和强化算子变换
设X为原始数据序列,D为缓冲算子,当X分别为递增序列、递减序列或波动序列时:
(1)若缓冲序列XD比原始序列X的递增速度(或递减速度)减缓或波动减少,我们称缓冲算子D为弱化算子;
(2)若缓冲序列XD比原始序列X的递增速度(或递减速度)加快或波动增大,则称缓冲算子D为强化算子。
1.弱化算子变换
设原始数据序列X=(x
(1),x
(2),…,x(n)),
令XD=(x
(1)d,x
(2)d,…,x(n)d)
x(k)d=
k=1,2,…,n;
则当X为单调递增序列、单调递减序列或波动序列时,D为一阶弱化算子,XD为经过一阶弱化后的缓冲序列。
若令XD2=XDD=(x
(1)d2,x
(2)d2,…,x(n)d2),
其中x(k)d2=
则D2对于单调递增、单调递减或波动序列,称为二阶弱化算子,XD2为经过二阶弱化后的缓冲序列。
2.强化算子变换
设原始序列和其缓冲序列分别为X=(x
(1),x
(2),…,x(n)),XD=(x
(1)d,x
(2)d,…,x(n)d),
其中x(k)d=
k=1,2,…,n-1,且x(n)d=x(n);
则当X为单调递增序列、单调递减或波动序列时,D为一阶强化算子,XD为经过一阶强化后的缓冲序列。
若令XD2=XDD=(x
(1)d2,x
(2)d2,…,x(n)d2),
其中x(n)d2=x(n)d=x(n);
x(k)d2=
k=1,2,…,n-1;
则D2对于单调递增序列、单调递减或波动序列,称为二阶强化算子,XD2为经过二阶强化后的缓冲序列。
我们以浙江某市某区的渔业产值数据(1983-1986年)为例进行分析,X=(10155,12588,23480,35388),单位为百元,其增长势头很猛,1983-1986年每年平均递增51.6%,尤其是1984-1986年,平均每年递增67.7%。
但是由于渔业资源的有限性以及受捕捞能力和技术的限制,其渔业产值不可能无限地增长下去,今后也不可能一直保持这么高的发展速度。
如果用现有数值直接建模预测,其预测结果人们根本无法接受。
经过认真分析和探讨,我们认为增长速度高主要是由于基数低,而基数低的原因则是过去对渔业资源的利用不足。
为此,在今后的渔业产值预测中,要采取弱化序列增长趋势,引入二阶弱化算子。
其具体计算过程为:
则一阶缓冲序列XD=(20403,23819,29434,35388)。
则得到二阶缓冲序列XD2=(27260,29547,32411,35388)。
我们利用二阶缓冲序列XD2建立GM(1,1)模型预测得,1986-2000年该市区的渔业产值平均每年递增9.4%,这一结果基本可以接受,与实际情况也较为吻合。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第二 原始数据 处理 方法 doc
![提示](https://static.bdocx.com/images/bang_tan.gif)