贝叶斯判别分析.pptx
- 文档编号:1258739
- 上传时间:2022-10-19
- 格式:PPTX
- 页数:22
- 大小:157.71KB
贝叶斯判别分析.pptx
《贝叶斯判别分析.pptx》由会员分享,可在线阅读,更多相关《贝叶斯判别分析.pptx(22页珍藏版)》请在冰豆网上搜索。
第六章判别分析,Discriminateanalysis判别分析就是在已知要判别的类型和数目的情况下,根据样品的各种特性来判断该样品属于哪一种类型。
用统计语言来说,就是已知k个总体1,2,k,它们的分布函数分别为F1(x),F2(x),Fk(x),其中Fi(x)为m维分布函数,1ik,对给定的一个样品,要判断它来自哪个总体。
学习目的,本章只介绍判别分析的几种最基本的方法:
贝叶斯判别、距离判别及费歇判别学习本章,要密切联系实际,着重理解判别分析的基本思想方法及具体实现步骤,了解几种不同判别分析方法的优、缺点及应用背景,第六章判别分析,贝叶斯判别,贝叶斯判别,距离判别,费歇判别,费歇判别,1贝叶斯(Bayes)判别,希望所给的准则误判概率越小越好,更确切的说,误判带来的平均损失越小越好。
显然,平均损失最小的准则是最优的,贝叶斯判别恰恰是这样一种准则。
Bayes判别分析的标志是:
凡用到先验概率(信息)的方法统称为Bayes判别分析。
损失函数:
已知pi(x)为总体i的密度函数样品来自i的先验概率为qi,属于j被误判为i的损失称为损失函数,记作C(i|j)。
一、两个总体判别,设1、2为两个m维总体,其分布密度分别为p1(x)、p2(x)。
x(x1,x2,xm)一样品,它只可能来自1和2,且来自1的概率为q1,且来自2的概率为q2(q1+q2=1)。
q1、q2通常称为先验概率。
为了判断x(x1,x2,xm)属于哪个总体,我们按某种方式将m维空间Rm分成两部分R1和R2,且R1R2Rm,R1R2,记R(R1,R2)为空间Rm的一个分划(有时也称为判别)。
即RmR1,R2|R1R2Rm,R1R2,由R规定的判别准则如下:
如果x落在R1内,则判其来自总体1;如果x落在R2内,则判其来自总体2。
给定分划的损失函数及平均损失设C(1|2)为样品x来自总体2而误判为总体1的损失,这一误判的概率记为P(1|2,R),其中R(R1,R2);C(2|1)为样品x来自总体1而误判为总体2的损失,误判的概率记为P(2|1,R)。
于是有P(2|1,R),2,1,R,P(x)dx,P(1|2,R),1,2,R,P(x)dx,(6-1)(6-2),积分(6-1)、(6-2)为m重积分。
1,2,o,o,判别R(R1,R2)的平均损失定义为g(R1,R2)q1C(2|1)P(2|1,R)+q2C(1|2)P(1|2,R)(6-3)所谓Bayes判别就是使平均损失g(R1,R2)达最小的判别。
使平均损失g(R1,R2)达最小的Bayes,定理6-1判别为,1,2,2,1,1,C(2|1)q,C(1|2)q,P(x),P(x),Rx:
2,21,1,2,C(2|1)q,C(1|2)q,P(x),P(x),Rx:
(6-4),证明:
设R(R1,R2)由(6-4)给出,R*(R*,R*)为12,Rm的任一划分,即,R*R*Rm,R*R*。
1212,g(R1,R2)q1C(2|1)P(2|1,R)+q2C(1|2)P(1|2,R),1,qC(2|1),2,1,R,P(x)dx,2,+qC(1|2),1,R,P2(x)dx,2,1,g(R1,R2)q1C(2|1)R,2,P(x)dx+q,C(1|2),1,2,R,P(x)dx,1,qC(2|1),(,*,21,*,22,1,RR,RR,P(x)dx,2,+qC(1|2),(,*,11,*,12,2,2,RR,RR,P1(x)dx)P(x)dx),P(x)dx,同理,*,121,g(R,R)qC(2|1),*,*,1,R2R1,R2R2,P1(x)dx),(P(x)dx,2,+qC(1|2),*,11,*,12,2,RR,RR,P(x)dx),(P2(x)dx,于是,g(R1,R2)g(R*,R*)12,*,12,22,RR,C(1|2)P,(q1C(2|1)P1,(x)dx,(x)q,*,21,RR,(q2C(1|2)P2,(x)q1C(2|1)P1(x)dx,由式(6-4)知,,q2C(1|2)P2(x)q1C(2|1)P1(x)0,当xR1;,q1C(2|1)P1(x)q2C(1|2)P2(x)0,当xR2。
1212,因此g(R1,R2)g(R*,R*)0,即g(R1,R2)g(R*,R*),,故R(R1,R2)为贝叶斯判别。
在实际问题中,损失C(2|1)、C(1|2)往往不容易给出,这时常取C(2|1)C(1|2)1。
推论6-1如果C(2|1)1,C(1|2)1则贝叶斯判别为R1x:
q1P1(x)q2P2(x)R2x:
q1P1(x)q2P2(x)(6-5),将(6-4)、(6-5)所规定的判别准则修改为,21,2,21,1,C(2|1)q,P1(x)C(1|2)q2,P(x),P1(x)C(1|2)q2,P(x)C(2|1)q,P1(x)C(1|2)q2,待判,如果,x,如果,x,如果,(6-6),2,q1P1(x)q2P2(x)q1P1(x)q2P2(x),待判,P2(x)C(2|1)q1如果q1P1(x)q2P2(x)如果如果,x,x1,(6-7),如果C(2|1)1,C(1|2)1,且不考虑先验概率,则有,12,2,待判,如果P(x)P(x)如果P1(x)P2(x),如果P1(x)P2(x),x,x1,例6-1设m1,k2,X1N(0,1),X2N(3,22),试就C(2|1)1,C(1|2)1,且不考虑先验概率的情况下判别样品2,1属于哪个总体,并求出R(R1,R2)。
例6-1设m1,k2,X1N(0,1),X2N(3,22),试就C(2|1)1,C(1|2)1,且不考虑先验概率的情况下判别样品2,1属于哪个总体,并求出R(R1,R2)。
2,exp,11,22,ii,i,i,)/,2,(x,解:
p(x),i1,2,,1,2,1,1,(20)2,exp,e20.054,p1
(2),2,21,2,1,2,exp1(23)2/4,e1/80.176,p
(2),22,22,由于p1
(2)p2
(2),所以2属于2;,2,11,1,exp1(10)2,e1/20.242,p
(1),2,21,2,1,2,exp1(13)2/4,e1/20.120,p
(1),2222,p1
(1)p2
(1),所以1属于1。
由,1,1,exp1x22,p(x),2,2,1,2,exp1(x3)2/22,p(x),22,即2exp1x2exp1(x26x9)28ln21x21(x26x9)28解得x11.42,x23.41(舍去),所以R(,1.42),(1.42.)。
例6-2,已知1,2的先验概率分别为,5,1,5,2,q3,q,2,C(2|1)1,C(1|2)1,且,0,11,x,0x11x2其它,fp(x)2x,0,22,1x33x5其它,(x1)/4,(5x)/4,fp(x),5,1,2,试判别x9,x,2所属的总体。
p1(x)p2(x),o,123,45,x,解:
p1(9/5)29/51/5,5,2,p(9/5)(91)/41/5,5525,5525,1122,212,qp313qp,所以判x15属于1。
同理判x2,2属于2。
p1
(2)220,p2
(2)(21)/41/4,5410,11229,211,qp0qp,二、多个总体判别,设1,2k为k个总体,具有m维分布密度,k,i1,p1(x),p2(x),pk(x),x(x1,x2,xm)为一个样品,它只可能来自1,2k,且来自i的概率为qi,即先验概率为q1,q2,qk(qi1)。
k,给定Rm的一个划分R(R1,R2,Rk),即RiRm,i1,RiRj(ij,i,j1,2,k),由R规定的判别准则如下:
xi,如果x落在Ri内(i1,2,k)。
设C(j|i)为样品x来自总体i而误判为总体j的损失,这一误判的概率记为P(j|i,R),(ij,i,j1,2,k)。
规定C(i|i)0,于是有,(6-8),P(j|i,R)RPi(x)dx(ij,i,j1,2,k)j积分(6-8)为m重积分。
样品x来自总体i而被判属为i的概率为,P(i|i,R),i,R,Pi(x)dx,(i1,2,k)(6-9),kk,判别R(R1,R2,Rk)的平均损失定义为g(R1,R2,Rk)qiC(j|i)P(j|i,R)(6-10),i1j1使g(R1,R2,Rk)达最小的判别称为Bayes判别。
定理6-2,使g(R1,R2,Rk)达最小的Bayes判别为,Ri(x)x:
hi(x)hj(x),ji,j1,2,k,i1,2,k,(6-11),其中,,k,(6-12),hj(x)qiC(j|i)Pi(x)i1证明:
k,R,j,j,h(x)dx,kk,j,i1j1,Pi(x)dx,g(R1,R2,Rk)qiC(j|i)R,k,k,R,j,j1j1,qiC(j|i)Pi(x)dxi1,如果空间Rm有另一个划分R*(R*,R*,R*)则12k它的平均损失为,k,R,j,j,*h(x)dx,j1,g(R*,R*,R*)12k,g(R,R,R)g(R*,R*,R*),i,i1,Rhi(x)dx,12k12kkk,R,j,hj(x)dx,*,j1,kk,RR,i,ij,*,i1j1,kk,RR,j,ij,*h(x)dx,i1j1,h(x)dx,kk,RR,ij,*(hi(x)hj(x)dx,i1j1,由(6-11),在Ri上,hi(x)hj(x)对一切j成立,故,g(R1,R2,Rk)g(R*,R*,R*)012k,12k12k,即g(R,R,R)g(R*,R*,R*),所以R(R1,R2,Rk)为Bayes判别。
由定理6-2的Bayes判别为Ri(x)x:
hi(x)hj(x),ji,j1,2,k,,ij,ij,0,ij,如果C(j|i)1,其中,,1,ij,则,kkhj(x)qiPi(x)qiPi(x)qjPj(x)i1i1ij,kk,i1j1,hj(x)qiPi(x)qjPj(x)qjPj(x)qiPi(x),kk,i1i1ij,hj(x)qiPi(x)qiPi(x)qjPj(x),,其中,,0,ij,qiPi(x)qjPj(x)推论6-2如果C(j|i)1ij1,ijij,则Bayes判别为,Ri(x)x:
qiPi(x)qjPj(x),ji,j1,2,ki1,2,k(6-13),
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 贝叶斯 判别分析