模式识别3-1_精品文档.ppt
- 文档编号:2577415
- 上传时间:2022-11-02
- 格式:PPT
- 页数:34
- 大小:300KB
模式识别3-1_精品文档.ppt
《模式识别3-1_精品文档.ppt》由会员分享,可在线阅读,更多相关《模式识别3-1_精品文档.ppt(34页珍藏版)》请在冰豆网上搜索。
,模式识别第3章概率总体的估计
(1),3.1引言,通常不能得到有关问题的概率结构的全部知识!
寻找某种有效的方法,能利用现有的信息设计出正确的分类器。
3.1引言,估计先验概率和类条件概率密度?
难点:
需要大量样本当特征向量维数较大时,计算起来比较复杂解决方式:
已知参数个数把类条件概率密度进行参数化,3.1引言,基于样本的两步贝叶斯决策:
3.1引言,参数估计先假定研究的问题具有某种数学模型,如正态分布,二项分布等,再用已知类别的学习样本估计里面的参数。
非参数估计不假定数学模型,直接用已知类别的学习样本的先验知识估计数学模型。
3.1引言,监督学习在已知类别样本指导下的学习和训练,参数估计和非参数估计都属于监督学习。
非监督学习不知道样本类别,只知道样本的某些信息去估计,如:
聚类分析。
从样本集推断总体概率分布的方法可归结为以下几种类型:
1)监督参数估计:
样本所属的类别及类条件概率密度函数的形式为已知,而表征概率密度函数的某些参数是未知的。
2)非监督参数估计:
已知总体概率密度函数形式但未知样本所属类别,要求推断出概率密度函数的某些参数。
监督与非监督是指样本所属类别是已知还是未知。
但无论那种情况下的参数估计我们通常采用两种方法。
一种是极大似然估计方法,另一种是贝叶斯估计方法。
虽然这两种估计的结果通常是近似相等的,但从概念上来说它们的处理方法是完全不同的。
极大似然估计把参数看作是确定而未知的,最好的估计值是在获得实际观察样本的概率为最大的条件下得到的;而贝叶斯估计则把未知的参数当作具有某种分布的随机变量,样本的观察结果使先验分布转化为后验分布,再根据后验分布修正原先对参数的估计。
3.1引言,本章重点内容:
参数估计最大似然估计,bayes学习非参数估计Parse窗口估计、KN近邻估计,3.2最大似然估计,优点:
在训练样本增多时,通常收敛得非常好。
计算比较简单,适合实际应用。
假定:
待估参数是确定(非随机)的未知量按类别把样本分成M类X1,X2,X3,XM其中第i类的样本共N个Xi=X1,X2,XN并且是从总体中独立抽取的,3.2最大似然估计,类条件概率密度具有某种确定的函数形式,但其参数向量未知。
Xi中的样本不包含待估计参数j(ij)的信息,不同类别的参数在函数上是独立的,所以可以对每一类样本独立进行处理。
即:
Xi中的样本只对i提供有关信息,而没有关于j的任何信息。
根据以上四条假定,我们下边就可以只利用第i类学习样本来估计第i类的概率密度,其它类的概率密度由其它类的学习样本来估计。
3.2最大似然估计,1.一般原则:
第i类样本的类条件概率密度:
原属于i类的学习样本为Xi=X1,X2,XNi=1,2,M求i的最大似然估计就是把p(Xi|i)看成i的函数,求出使它最大时的i值。
3.2最大似然估计,似然函数定义:
3.2最大似然估计,最大似然估计量:
使似然函数达到最大值的参数向量。
最符合已有的观测样本集的那一个参数向量。
学习样本从总体样本集中独立抽取的,N个学习样本出现概率的乘积,3.2最大似然估计,为了便于分析,总是使用似然函数的对数函数。
3.2最大似然估计,对求导,并令它为0:
3.2最大似然估计,P(Xi/i),有时上式是多解的,上图有5个解,只有一个解最大即(对所有的可能解进行检查或计算二阶导数),3.2最大似然估计,3.2最大似然估计,3.2最大似然估计,2.多维正态分布情况已知,未知,估计,服从正态分布,所以在正态分布时,3.2最大似然估计,所以这说明未知均值的最大似然估计正好是训练样本的算术平均。
3.2最大似然估计,,均未知A.一维情况:
n=1对于每个学习样本只有一个特征的简单情况:
(n=1)由上式得:
3.2最大似然估计,即学习样本的算术平均,样本方差,讨论:
1.正态总体均值的最大似然估计即为学习样本的算术平均2.正态总体方差的最大似然估计与样本的方差不同,当N较大的时候,二者的差别不大,3.2最大似然估计,B多维情况:
n个特征(自行推导),结论:
的最大似然估计即为学习样本的算术平均估计的协方差矩阵是矩阵的算术平均(nn阵列,nn个值),3.2Bayes学习,极大似然估计把参数看作是确定而未知的,最好的估计值是在获得实际观察样本的概率为最大的条件下得到的贝叶斯学习则把未知的参数当作具有某种分布的随机变量,样本的观察结果使先验分布转化为后验分布,再根据后验分布修正原先对参数的估计。
3.2Bayes学习,假定:
待估参数是随机的未知量按类别把样本分成M类X1,X2,X3,XM其中第i类的样本共N个Xi=X1,X2,XN并且是从总体中独立抽取的类条件概率密度具有某种确定的函数形式,但其参数向量未知。
Xi中的样本不包含待估计参数j(ij)的信息,不同类别的参数在函数上是独立的,所以可以对每一类样本独立进行处理。
3.2Bayes学习,概率密度函数是未知的,但假设具有已知的参数形式,未知的是参数向量。
用表示参数未知的概率密度函数,其中是随机向量。
已知先验概率,根据样本信息将它转化为一个后验概率,联合密度对积分,得到类条件概率密度,3.2Bayes学习,由于样本的选择是独立的,所以上式可写为,这样当未知的密度函数具有已知的函数形式时,样本可以通过后验概率密度对发挥作用。
单变量密度函数:
设,密度函数是正态的,均值是未知参数,而方差已知,要求计算后验概率和最终的类条件概率密度函数,3.2Bayes学习,其中是已知的,已知的信息还包括一组抽取出来的样本,从而可以得到关于的后验概率密度:
其中是比例因子,与无关,3.2Bayes学习,仍然为一正态密度函数,其中,3.2Bayes学习,解得,因此表示在观察到一组样本后,对的最好的推断,而则反映了这个推断的不确定性,可以看出,随着N的增加,单调减小,当所以每增加一个观察样本都可以减少对推测的不确定性。
3.2Bayes学习,得到后验概率密度后,下面求类条件概率密度函数,3.2Bayes学习,所以类条件概率密度函数是服从正态分布的,,也就是说,要想得到,其中未知,只要以代替原来的,以代替原来的即可。
其它形式的概率密度函数,归纳如下:
1)类条件概率密度函数的形式已知,但参数的值未知2)关于参数知道它的先验概率密度3)关于的其它信息包含在一组样本集中,3.2Bayes学习,根据,而后验概率密度函数为,再根据独立性假设,这样得到了估计的概率密度函数,练习:
对数正态分布的最大似然估计式为:
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 模式识别 精品 文档