高级人工智能3.ppt
- 文档编号:1356680
- 上传时间:2022-10-21
- 格式:PPT
- 页数:22
- 大小:364KB
高级人工智能3.ppt
《高级人工智能3.ppt》由会员分享,可在线阅读,更多相关《高级人工智能3.ppt(22页珍藏版)》请在冰豆网上搜索。
2.3Bayes决策规则,2.3.1最小错误率的Bayes决策利用Bayes公式,可以在模式分类中尽量减少分类的错误;称之为最小错误率的Bayes决策考虑对正常人和病人的识别问题。
假设每个要识别的人有d个基本特性的特征,如身高、体重、温度、脉搏等,从而组成一个d维空间的向量,识别的目的就是要将分类成正常人或病人。
如果用表示人的健康状态,则表示健康状态表示患病状态对人个体的识别就是把归类于、这两种可能状态。
类别状态是一个随机变量,但其概率分布是已知的,则有健康状态概率和患病状态概率是已知的。
即、是先验概率。
在两类问题中,显然存在:
+=1(2.3-1),为简单起见,只用一个特征即温度进行分类,有d=1。
在自然条件下,观察到的类别条件概率分布为已知,并且有:
(分布如图2,1所示)是健康状态下观察的类条件概率密度是患病状态下观察的类条件概率密度1.由于已知:
状态先验概率类条件概率密度2.利用Bayes公式,则有状态的后验概率:
(2.3-2),图2.1类条件概率密度,图2.2后验概率,0.2,0.4,0.6,0.8,1,3.最小错误率的Bayes决策规则如果,则把归类于;反亦反之。
则决策规则可简写为:
(2.3-3),4.最小错误率分析
(1)错误率错误率是指平均错误率,以表示,有定义:
=(2.3-4)其中,表示在整个d维空间上积分
(2)条件错误概率在条件下的错误概率为。
根据Bayes决策规则:
则决策结果;则决策结果显然,在作出决策时,的条件错误概率为;在作出决策时,的条件错误概率为从而有条件错误概率:
=,(3)Bayes决策的本质实际上是对每个都使取小者,从而积分:
(2.3-6)也必然达到最小。
也即达到最小这说明最小错误率Bayes决策规则确实使错误率最小。
这种方法可以推广到多类的分类决策之中。
2.3.2最小风险的Bayes决策在决策中有时需要考虑一个比错误率更广泛的概念风险。
对事物的分类,第一考虑的是尽可能正确的分类。
第二要考虑错误判断分类带来的后果。
例如,把健康人归类为病人,或把病人归类为健康人。
这会带来精神压力或延误病情,即会引起损失。
最小风险的Bayes决策是考虑各种错误造成损失不同而提出的决策。
在最小风险决策中,需要考虑损失函数。
1.基本概念
(1)观察对象是维随机向量:
(2.3-7)其中:
为一维随机变量
(2)状态空间状态空间由C个自然状态(C类)组成:
=(2.3-8)(3)决策空间A决策空间A由个决策组成(2.3-9)按一般理解,C个状态,有C个决策即够了,但实际上,对于C个类别有C种不同决策之外,还允许有其他决策,例如“拒绝”决策,则这时就有=C+1。
(4)损失函数损失函数表示为:
(2.3-10)表示为状态为,而所采用的决策为时所带来的损失。
根据状态,损失和决策则可得一般决策表表2.3-1一般决策表,2.最小风险Bayes决策
(1)已知先验概率以及类条件概率密度
(2)求后验概率从ayes公式有:
其中(2.3-11),(3)条件期望损失(条件风险)由于考虑错判造成的损失,故不能以后验概率大小作决策,而必须考虑决策是否使损失最小。
对于给定的观察对象,如果采用决策,从决策表可知,损失函数可以在C个中任取一个值,其相应概率为,从而有在决策情况下的条件期望损失为:
=E=(2.3-12)条件期望损失也称条件风险。
条件期望损失反映了对的某一取值采用决策所带来的风险。
(4)期望风险由于是随机向量,对于的不同观察值,采取决策时,其条件风险的大小是不同的。
所以,究竟采取哪种决策将随的值而定。
这样,决策可以看成随机向量的函数,并记为,它也是一个随机变量。
期望风险可定义为:
(2.3-13)其中:
是d维特征空间的体积元,积分在整个特征空间进行。
期望风险及反映对整个特征向量空间所有的取值采取相应决策所带来的平均风险。
在Bayes决策中,应要求采取一系列决策行动使期望风险R最小。
(5)最小风险Bayes决策规则如果,在采取每一个决策或行动时,都使其条件风险最小,则对所有的作出决策时,其期望风险也必定最小最小风险Bayes决策。
最小风险Bayes决策规则表示为:
如果则(2.3-14)在求实际问题决策时,最小风险Bayes决策步骤如下:
)已知在给出待识别的的情况下,以Bayes公式求取后验概率(2.3-15),)利用后验概率及决策表,按条件期望损失的式子:
=(2.3-16)求取条件风险。
)对求出的个条件风险值,进行比较,找出使条件风险最小的决策,即(2.3-17)则就是最小风险Bayes决策。
2.3.3最小风险Bayes决策的例子例:
假设在某个地区人们的健康状态和患病状态的先验概率分别为:
健康状态:
=0.9患病状态:
=0.1现有一个待识别的个体,其观察值为,从类条件概率密度分布曲线上查得:
试按最小风险Bayes决策进行分类。
解:
(1)已知条件有=0.9,=0.1决策表为:
有:
=0;=6;=1;=0,
(2)用Bayes公式,分别求、的后验概率,(3)根据求出条件风险=60.182=1.092=10.818=0.818(4)最小风险决策由于,则说明决策的风险小于决策,故取为决策。
在决策表中可以看出,当取为决策时,损失最小的是=0,显然,对应的状态是,故而最后识别的结果为:
个体属于患病状态类。
2.3.4最小错误率与最小风险Bayes决策的关系1.0-1损失函数定义:
如果损失函数取下面形式=i,j=1,,c(2.3-18)则称其为0-1损失函数。
在0-1损失函数中,假定对C类只有C个决策,并且,对于正确决策(i=j时)没有损失,而对任何错误决策其损失为1。
2采用0-1损失函数时的条件风险条件风险这时为:
=(2.3-19)很明显,根据前面的条件错误概率的含义,则是对x采用决策i的条件错误概率。
3用0-1损失函数时的最小风险Bayes决策=(2.3-20)同理有:
(2.3-21)对于最小风险Bayes决策:
(2.3-22),则可写成:
=(2.3-23)上式中右边给出的是最小错误率,则决策可根据上式确定。
从而可知:
最小错误率的Bayes决策是在0-1损失函数下的最小风险的Bayes决策。
最小风险Bayes决策要求:
a.有符合实际情况的先验概率b.有符合实际情况的类条件概率密度c.有合适的损失函数,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 高级 人工智能