第3章正态分布时的统计决策.docx
- 文档编号:10565457
- 上传时间:2023-02-21
- 格式:DOCX
- 页数:31
- 大小:29.88KB
第3章正态分布时的统计决策.docx
《第3章正态分布时的统计决策.docx》由会员分享,可在线阅读,更多相关《第3章正态分布时的统计决策.docx(31页珍藏版)》请在冰豆网上搜索。
第3章正态分布时的统计决策
第3章正态分布时的统计决策
在统计决策理论中,涉及到类条件概率密度函数P(x|wi)。
对许多
实际的数据集,正态分布通常是合理的近似。
如果在特征空间中的某
一类样本,较多地分布在这一类均值附近,远离均值点的样本比较少,
此时用正态分布作为这一类的概率模型是合理的。
另外,正态分布概
率模型有许多好的性质,有利于作数学分析。
概括起来就是:
(1)物理上的合理性
(2)数学上的简单性
下面重点讨论正态分布分布及其性质,以及正态分布下的Bayes
决策理论。
3.1正态分布概率密度函数的定义及性质
1.单变量正态分布
定义:
(x)
1
exp[
1(x
)2]
(3.1-1)
2
2
其中:
为随机变量x的期望,也就是平均值;
2为x的方差,为均方差,又称为标准差。
E(x)
x
(x)dx
(3.1-2)
2
(x)2
(x)dx
(3.1-3)
概率密度函数的一般图形如下:
1
(x)具有一下性质:
(x)0,(x)
(x)dx1(3.1-4)
从(x)的图形上可以看出,只要有两个参数和2就可以完全确定其曲线。
为了简单,常记(x)为N(,2)。
若从服从正态分布的总体中随机抽取样本x,约有95%的样本落在(2,2)中。
样本的分散
程度可以用来表示,越大分散程度越大。
2.多元正态分布
定义:
(x)
1
exp[
1
)T
1(x)]
(3.1-5)
(x
d
2|
1
2
(2)
|2
其中:
x
[x1,x2,
xd]T为d维随机向量,对于
d维随机向量x,
它的均值向量
是d维的。
也就是:
[1,2,
d]T为d维均值向量。
是d
d维协方差矩阵,
1是
的逆矩阵,|
|为的行列式。
协
方差矩阵
是对称的,其中有d
(d1)/2个独立元素。
由于(x)可由和
完全确定,所以实际上
(x)可由d
d(d
1)/2个独立元素来确定。
(x
)T
是(x
)的转置,且:
E{x}
E{(x)(x)T}
、分别是向量x和矩阵(x
)(x
)T的期望。
具体说:
若xi是x的
第i个分量,
i是的第i个分量,
ij
2是
的第i、j个元素。
iE[xi]
xi(x)dx
xi(xi
)dxi
(3.1-6)
其中(x
)为边缘分布,
(x
)
(x)dxdx
dx
d
i
i
12
―――――――――――――――――――――――――――
2
“对于二维随机变量X和Y作为一个整体,其分布函数F(x,y),
而X和Y都是随机变量,各别也有分布函数FX(x)、FY(y),分别称为
二维随机变量(X,Y)关于X和Y的边缘分布函数。
有:
FX(x)F(x,)和FY(y)F(,y)。
对于离散随机变量有:
FX(x)
F(x,
)
pij从中得到X的分布律为:
xi
xj1
P{X
xi}
pij同样,Y的分布律为P{Yyj}pij。
j1
i1
对于连续型随机变量(X,Y),假定它的概率密度为
f(x,y),由:
FX(x)
x
[f(x,y)dy]dx知道,X的概率密度为:
F(x,
)
fX(x)f(x,y)dy同样也可以求出Y的概率密度函数。
”
―――――――――――――――――――――――――――――
而:
ij2E[(xii)(xjj)]
(xii)(xjj)(xi,xj)dxidxj]
协方差矩阵:
2
2
2
11
12
1d
2
2
2
12
22
2d
2
2
2
1d
2d
dd
(3.1-7)
(3.1-8)
是一个对称矩阵,只考虑
为正定矩阵的情况,也就是|
|所有的
2
2
0,⋯⋯
子式都大于0。
即|112|0,2
2
11
12
12
22
同单变量正态分布一样,多元正态分布
(x)可以由和
完全确
定,常记为N(,)。
3.多元正态分布的性质
3
(1)参数和对分布的决定性
对于d维随机向量x,它的均值向量也是d维的,协方差矩阵
是对称的,其中有d(d1)/2个独立元素。
(x)可由和完全确定,实际
上(x)可由dd(d1)/2个独立元素决定。
常记为:
(x)~N(,)。
(2)等密度点的轨迹为一超椭球面
由(x)的定义公式(3.1-5)可知,当右边指数项为常数时,密度
(x)的值不变,所以等密度点满足:
(x)T1(x)常数
可以证明,上式的解是一个超椭球面,其主轴方向取决于的本
征向量(特征向量),主轴的长度与相应的本征值成正比。
如下图所
示:
从上图可以看出,从正态分布总体中抽取的样本大部分落在由
和所确定的一个区域里,这个区域的中心由均值向量决定,区域的大小由协方差矩阵决定。
在数理统计中,令:
2(x)T1(x)
式中称为x到的马氏距离(Mahalanobis)距离。
所以,等密度点轨迹是x到的马氏距离为常数的超椭球面。
该超椭球面构成
的球体的大小是样本对于均值向量的“离散度度量”。
4
1
体积:
d||2
d
d
2
d为偶数
d
()!
d
2
(d
1)
2d
2(d1)!
d为奇数
2
d!
如果d确定了,则
1
d不变,v与|
|2有关。
也就是对于给定的维
1
数d,样本离散度随||2而变。
(3)不相关性等价于独立性
概率论中,两个随机变量xi和xj之间不相关,并不意味着它们一定独立。
如果xi和xj之间不相关,则xixj的数学期望有:
E(xixj)E(xi)E(xj)
如果xi和xj相互独立,则有:
P(xi,xj)P(xi)P(xj)
独立性是比不相关更强的条件。
不相关反映了xi和xj的总体性质。
如果xi和xj相互独立,则它们之间一定不相关,反之则不成立。
但是
对服从正态分布的两个分量
xi
和xj,若xi
与xj互不相关,则它们之间
一定独立。
证明:
根据定义,
xi和xj的协方差
ij
E[(xi
i)(xjj)]
2
又根据不相关定义
E(xi,xj)
E(xi
)E(xj
)有:
2
E[(xi
i)(xj
j)]
E(xi
i)E(xj
j)
ij
又:
i
E(xi
),E[(xi
i)
E(xi)
E(i)
E(xi)
i0
所以:
有
ij
0
2
5
2
协方差矩阵
11
成为对角阵。
2
dd
1
0
2
可以计算出:
1
11
1
0
2
dd
d
ii2
1
d
|
|
,|
|2
ii
i
1
i
1
1
0
x1
2
1
1(x
11
(x)T
)[x1
1,
xd
d]
1
0
xd
d
2
dd
d
xi
i
2
)
(
ii
i
1
因此,
(x)
1
exp[
1
1(x
)]
d
(x)T
2|
1
2
(2)
|2
d
i1
1
1(xi
i)2
d
exp
(xi)
2ii
2
ii
i1
根据独立性的定义:
正态分布随机向量的各分量间互不相关性与
相互独立等价。
(4)边缘分布与条件分布的等价性
不难证明正态随机向量的边缘分布与条件分布仍服从正态分布。
从(3)证明得出的结论
(x)表达式,如果
x用x1表示,有:
(x)
1
exp(1(x1
1)2)
1
2
2
ii
11
也就是说,边缘分布
(x1)服从均值为
1,方差为112的正态分布:
(x1)~N(1,112)
同理,(x2)~N(2,222)
6
另外,条件分布,给定
x1的条件下x2的分布:
(x2|x1)
(x1,x2)
(x1)
(x,x)
1
exp
1
2
(x
1
)2
2
(x
2
2
)
22
(x
1
)(x
2
2
)
1
2
1
2|
|
22
1
11
12
1
2
|
|2
代入上式,
(x2|x1)服从正态分布,同理
(x1|x2)也服从正态分布。
(5)线性变换的正态性
对于多元随机向量的线性变换,仍为多元正态分布的随机向量。
就是:
x服从正态分布
(x)~N(,
),对x作线性变换y
Ax,其中
A为线性变换矩阵,且
|A|
0,则y服从正态分布:
(y)~N(A
A
AT)
(6)线性组合的正态性
若x为多元正态随机向量,则线性组合
y
aTx是一维的正态随机
变量:
(y)~N(aT,aT
a)
其中,a与x同维。
7
3.2正态分布中的Bayes分类方法
在上一章,我们已经把基于Bayes公式的几种分类判决规则抽象
为相应的判决函数和决策面方程。
这几种方法中Bayes最小错误率判
决规则是一种最基本的方法。
如果取0-1损失函数,最小风险判决
规则和最大似然比判决规则均与最小错误判决规则等价。
为了方便,
我们以最小错误判决规则为例来研究Bayes分类方法在正态分布中的
应用。
由最小错误率判决规则抽象出来的判决函数如下:
gi(x)(x|wi)P(wi)i1,2,,c
如果类概率密度是正态分布的,则
(x|wi
)~N(i,i)。
gi(x)
P(wi)
1exp[
1
i)
T
1
(xi)]
d
(x
i
(2
)2|
i|2
2
由于对数函数是一个单调变化的函数,上式右边取对数后作为判
决函数使用不会改变类型区域的划分。
因此:
gi(x)
1(x
i)T
1
i)
dln2
1ln|i|lnP(wi)
i(x
2
2
2
其中,dln2与类型无关,所有函数皆加上此项后,并不影响区
2
域的划分,可以去掉。
下面对几种特殊情况进行讨论。
1.情况一:
i
2I,i1,2,,c
该情况下,每类的协方差矩阵相等,而且类的各特征间相互独立
(由上节的性质③得知),具有相等的方差2。
因此:
|i|
2d
i
11
I
2
将上两式代入gi(x):
8
gi(x)
(x
i)T(x
i)dln2
1ln
2d
lnP(wi)
2
2
2
2
上式中的第
2、3项与类别无关,可以忽略,因此
gi(x)可以简化
为:
gi(x)
1
2(x
i)T(x
i)lnP(wi)
2
其中:
(x
i
)T(x
i
)
||x
i
||2
(x
ij
)2,i1,2,
c,为x到类wi
i
的均值向量
i的“欧氏距离”的平方。
讨论一个特殊情况,
P(wi)
P,所有各类概率相等。
则:
gi(x)
1
(x
i)T(x
i)
1
||xi||2
2
2
2
2
此时,对x的归类表示为:
计算x到各类均值
i的欧氏距离的平
方||x
i||2,然后把x归于具有
i
min
||x
i||2的类。
这种分类器叫最小
1,
c
距离分类器。
接着对gi(x)进一步化简:
gi(x)
1
2(x
i)T(x
i)lnP(wi)
2
212(xTx2iTx
式中:
xTx与i无关,可以忽略:
T
i)lnP(wi)
i
gi
(x)
1
(2
T
x
T
T
xwi0
2
i
i
i)lnP(wi)wi
2
式中:
w
1
i
i
2
1
T
lnP(wi)
wi0
2
i
i
2
gi(x)wTixwi0是一个线性函数。
决策规则:
对某个x计算gi(x),i1,2,,c,若gk(x)maxgi(x),则
i
决策xwk。
由于gi(x)wiTxwi0为线性函数,其决策面由线性方程
9
gi(x)gj(x)0构成,决策面是一个超平面。
gi(x)
wiTx
wi0推导出wT(x
x0)0
w
i
j
1(
2
P(wi)(
x0
i
j)
2ln
ij)
2
i
j
P(wj)
上述结果表示在二维特征空间里,如下图所示:
两个同心圆是两类概率分布等密度点轨迹,两个圆心就是两类的均值点。
两类的区分线
l与12垂直,其交点为x0。
x0一般不是1
2
的
中点,但当P(w1)
P(w2)时,x
为
1
2
的中点。
若P(w1)P(w2)时,
x
向
0
0
先验概率较小的那个类型的均值点偏移。
可以推广到多类的情况,
注
意这种分类方法没有不确定的区域。
2.情况二:
i
各类的协方差矩阵相等,在几何上,相当于各类样本集中在以该
类均值i为中心的同样大小和形状的超椭球内。
1
2
gi(x)
1(x
i)T
i
1(x
i)
dln2
1ln|i|lnP(wi)
2
2
2
不变,与i无关:
10
gi(x)
1(x
i)T
i
1(x
i)lnP(wi)
2
一个特例,当P(wi)P时,各样本先验概率相等。
gi(x)
1(x
i)T
i
1(x
i)
2
其中:
2(x
i)T
i
1(x
i)
2为x到均值点
i的“马氏距离”的平方(
Mahalanobis)。
进一步简化:
gi(x)
2
(x
i)T
i
1(x
i)
对于样本x只要计算出
2,把x归于
2最小的类别。
接着对gi(x)化简:
gi(x)
1xT1x
iT1x
1
2
2
T
1
lnP(wi)
i
i
去掉与i无关的项:
gi(x)
i
T
1
x
1
2
wTx
w
i0
i
T1
iilnP(wi)
其中:
wiT
1
1
i,wi0
2
T
1
lnP(wi)
i
i
gi(x)wTixwi0也是一个线性函数,对应的决策面也是一个超平
面。
对于Ri和Rj相邻,决策面方程:
gi(x)gj(x)
wT(xx0)0
其中:
w
1(
i
j)
1
ln(P(wi))
x0
)
P(wj
)
(
i
j
j)T1(
2
(i
i
与第一种情况不同,此时决策面通过
直)。
二维情况:
(ij)
j)
x0,但不与ij正交(垂
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 正态分布 统计 决策
![提示](https://static.bdocx.com/images/bang_tan.gif)