哈工大模式识别课件.pptx
- 文档编号:457375
- 上传时间:2022-10-10
- 格式:PPTX
- 页数:320
- 大小:7.23MB
哈工大模式识别课件.pptx
《哈工大模式识别课件.pptx》由会员分享,可在线阅读,更多相关《哈工大模式识别课件.pptx(320页珍藏版)》请在冰豆网上搜索。
,模式识别,模式识别,授课教师:
刘家锋,模式识别,第一章绪论,模式识别绪论,一、模式识别的概念,什么是模式识别?
模式识别研究的内容?
模式识别绪论,二、模式识别的应用,工业用途:
产品质量检验,设备故障检测,智能机器人的感知系统;商业用途:
钱币的自动识伪,信函的自动分拣,电话信息查询,声控拨号;医学用途:
对心电、脑电、CT等信号进行处理和识别,自动进行疾病的诊断;安全领域:
生理特征鉴别(Biometrics),网上电子商务的身份确认,对公安对象的刑侦和鉴别;,模式识别绪论,二、模式识别的应用,军事领域:
巡航导弹的景物识别,战斗单元的敌我识别;办公自动化:
文字识别技术和声音识别技术;数据挖掘:
数据分析;网络应用:
文本分类。
模式识别绪论,三、相关领域,人工智能:
ArtificialIntelligence(AI)模式识别:
PatternRecognition(PR)机器学习:
MachineLearning人工神经网络:
NeuralNetwork(NN)计算机视觉:
ComputerVision(CV),模式识别绪论,四、模式识别的过程,模式识别绪论,什么是特征?
模式识别绪论,什么是特征?
模式识别绪论,什么是特征?
模式识别绪论,特征抽取,模式识别绪论,特征抽取,模式识别绪论,特征的分布,模式识别绪论,特征的分布,模式识别绪论,五、模式识别系统,分类训练,模式识别绪论,六、模式识别问题的描述,给定一个训练样本的特征矢量集合:
分别属于c个类别:
设计出一个分类器,能够对未知类别样本x进行分类,模式识别绪论,分类方法,模式识别绪论,模式识别方法的分类,有监督学习(有教师学习):
预先已知训练样本集中每个样本的类别标号;,无监督学习(无教师学习):
预先不知道训练样本集中每个样本的类别标号;,模式识别绪论,七、参考书目,RichardDuda,PeterHart,DavidStork,PatternClassification,2ndedition,JohnWiley,2001模式分类,机械工业出版社,RichardO.Duda模式识别(第二版),清华大学出版社,边肇祺,张学工;,模式识别绪论,期刊,IEEETransactiononPatternAnalysisandMachineIntelligence,PAMI;PatternRecognition;PatternRecognitionLetter;模式识别与人工智能;讲义下载:
ftp:
/202.118.251.122用户名:
prai密码:
prai,模式识别,第二章贝叶斯决策理论,模式识别绪论,2.1最小错误率准则,模式识别绪论,各种概率及其关系,先验概率:
后验概率:
类条件概率:
贝叶斯公式:
模式识别绪论,两个类别,一维特征,模式识别绪论,两类问题的错误率,观察到特征x时作出判别的错误率:
两类问题最小错误率判别准则:
模式识别绪论,多类问题最小错误率,判别x属于i的错误率:
判别准则为:
则:
模式识别绪论,贝叶斯最小错误率准则,Bayes判别准则:
,则,模式识别绪论,贝叶斯分类器的错误率估计,模式识别绪论,例2.1,对一大批人进行癌症普查,设1类代表患癌症,2类代表正常人。
已知先验概率:
以一个化验结果作为特征x:
阳性,阴性,患癌症的人和正常人化验结果为阳性的概率分别为:
现有一人化验结果为阳性,问此人是否患癌症?
模式识别绪论,2.2最小平均风险准则贝叶斯分类器,问题的提出有c个类别1,2,.,c,将i类的样本判别为j类的代价为ij。
将未知模式x判别为j类的平均风险为:
i!
=jLij=0,模式识别绪论,最小平均风险判别准则,利用Bayes公式,构造判别函数:
模式识别绪论,贝叶斯分类器,模式识别绪论,例2.2,对一大批人进行癌症普查,设1类代表患癌症,2类代表正常人。
已知先验概率:
以一个化验结果作为特征x:
阳性,阴性,患癌症的人和正常人化验结果为阳性的概率分别为:
判别代价:
11=0,22=0,12=100,21=25现有一人化验结果为阳性,问此人是否患癌症?
模式识别绪论,2.3贝叶斯分类器的其它版本,先验概率P(i)未知:
极小化极大准则;约束一定错误率(风险):
Neyman-Pearson准则;某些特征缺失的决策:
连续出现的模式之间统计相关的决策:
模式识别绪论,2.4正态分布的贝叶斯分类器,单变量正态分布密度函数(高斯分布):
模式识别绪论,多元正态分布函数,模式识别绪论,正态分布的判别函数,贝叶斯判别函数可以写成对数形式:
类条件概率密度函数为正态分布时:
模式识别绪论,情况一:
判别函数可以写成:
此分类器称为距离分类器,判别函数可以用待识模式x与类别均值i之间的距离表示:
模式识别绪论,情况二:
判别函数可以写成:
可以简化为:
称为线性分类器,模式识别绪论,线性分类器,两类问题,1维特征,先验概率相同时:
模式识别绪论,线性分类器,两类问题,高维特征,先验概率相同时:
模式识别绪论,线性分类器,两类问题,1维特征,先验概率不同时:
模式识别绪论,线性分类器,两类问题,高维特征,先验概率不同时:
模式识别绪论,情况三:
任意,判别函数可以写成:
分类界面为2次曲线(面),模式识别绪论,二次分类曲线,模式识别绪论,二次分类曲面,模式识别,第三章概率密度函数的参数估计,模式识别绪论,3.0引言,贝叶斯分类器中最主要的问题是类条件概率密度函数的估计。
问题可以表示为:
已有c个类别的训练样本集合D1,D2,Dc,求取每个类别的类条件概率密度。
模式识别绪论,概率密度函数的估计方法,参数估计方法:
预先假设每一个类别的概率密度函数的形式已知,而具体的参数未知;最大似然估计(MLE,MaximumLikelihoodEstimation);贝叶斯估计(BayesianEstimation)。
非参数估计方法。
模式识别绪论,3.1最大似然估计,样本集D中包含n个样本:
x1,x2,,xn,样本都是独立同分布的随机变量(i.i.d,independentidenticallydistributed)。
对类条件概率密度函数的函数形式作出假设,参数可以表示为参数矢量:
模式识别绪论,似然函数,由独立同分布假设,样本集D出现的概率为:
定义对数似然函数:
模式识别绪论,最大似然估计,最大似然估计就是要寻找到一个最优矢量,使得似然函数最大。
模式识别绪论,正态分布的似然估计,Gauss分布的参数由均值矢量和协方差矩阵构成,最大似然估计结果为:
模式识别绪论,3.2贝叶斯估计,已有独立同分布训练样本集D;已知类条件概率密度函数p(x|)的形式,但参数未知;已知参数的先验概率密度函数p();,求在已有训练样本集D的条件下,类条件概率密度函数p(x|D)。
模式识别绪论,贝叶斯估计与最大似然估计的差别,最大似然估计认为是一个确定的未知矢量;贝叶斯估计认为是一个随机变量,以一定的概率分布取所有可能的值。
模式识别绪论,贝叶斯估计的一般理论,由于参数矢量是一个随机变量,所以类条件概率可以用下式计算:
根据贝叶斯公式,有:
模式识别绪论,单变量正态分布的贝叶斯估计,已知概率密度函数满足正态分布,其中方差2已知,均值未知,假设的先验概率满足正态分布,即:
模式识别绪论,均值的后验概率,经推导可得,在已知训练样本集合D的条件下,参数的分布:
模式识别绪论,均值的后验概率,均值的后验概率仍满足正态分布,其中:
模式识别绪论,均值分布的变化,模式识别绪论,类条件概率密度的计算,模式识别绪论,3.3期望最大化算法(EM算法),EM算法的应用可以分为两个方面:
训练样本中某些特征丢失情况下,分布参数的最大似然估计;对某些复杂分布模型假设,最大似然估计很难得到解析解时的迭代算法。
模式识别绪论,基本EM算法,令X是观察到的样本数据集合,Y为丢失的数据集合,完整的样本集合D=XY。
由于Y未知,在给定参数时,似然函数可以看作Y的函数:
模式识别绪论,基本EM算法,由于Y未知,因此我们需要寻找到一个在Y的所有可能情况下,平均意义下的似然函数最大值,即似然函数对Y的期望的最大值:
模式识别绪论,基本EM算法,1.begininitialize,,T,i0;,3.,;,4.,2.doii+1E步:
计算M步:
5.until,6.return,模式识别绪论,混合密度模型,一个复杂的概率密度分布函数可以由多个简单的密度函数混合构成:
最常用的是高斯混合模型(GMM,GaussMixtureModel):
模式识别绪论,GMM模型产生的2维样本数据,模式识别绪论,两个高斯函数的混合,模式识别绪论,混合密度模型的参数估计,混合密度模型的参数可以表示为:
参数的估计方法:
利用最优化方法直接对似然函数进行优化,如梯度下降法;引入未知隐变量Y对问题进行简化,将Y看作丢失的数据,使用EM算法进行优化。
模式识别绪论,GMM模型的参数估计,首先引入隐含数据集合:
其中:
代表第i个训练样本是由第个高斯函数产生的,将Y作为丢失数据集合,采用EM算法进行迭代估计。
模式识别绪论,GMM参数的EM估计算法,设定混合模型数M,初始化模型参数,阈值T,i0;用下列公式迭代计算模型参数,直到似然函数变化小于T为止:
模式识别绪论,EM算法的性质,EM算法具有收敛性;EM算法只能保证收敛于似然函数的局部最大值点(极值点),而不能保证收敛于全局最优点。
模式识别绪论,隐含Markov模型(HiddenMarkovModel,HMM),有一些模式识别系统处理的是与时间相关的问题,如语音识别,手势识别,唇读系统等;对这类问题采用一个特征矢量序列描述比较方便,这类问题的识别HMM取得了很好的效果。
模式识别绪论,输入语音波形,模式识别绪论,观察序列,信号的特征需要用一个特征矢量的序列来表示:
其中的vi为一个特征矢量,称为一个观察值。
模式识别绪论,一阶Markov模型,一阶Markov模型由M个状态构成,在每个时刻t,模型处于某个状态w(t),经过T个时刻,产生出一个长度为T的状态序列WT=w
(1),w(T)。
模式识别绪论,一阶Markov模型的状态转移,模型在时刻t处于状态wj的概率完全由t-1时刻的状态wi决定,而且与时刻t无关,即:
模式识别绪论,Markov模型的初始状态概率,模型初始于状态wi的概率用表示。
完整的一阶Markov模型可以用参数表示,其中:
模式识别绪论,一阶Markov模型输出状态序列的概率,模型输出状态序列的概率可以由初始状态概率与各次状态转移概率相乘得到。
例如:
W5=w1,w1,w3,w1,w2,则模型输出该序列的概率为:
模式识别绪论,一阶隐含Markov模型,隐含Markov模型中,状态是不可见的,在每一个时刻t,模型当前的隐状态可以输出一个观察值。
隐状态输出的观察值可以是离散值,连续值,也可以是一个矢量。
模式识别绪论,HMM的工作原理,HMM的内部状态转移过程同Markov模型相同,在每次状态转移之后,由该状态输出一个观察值,只是状态转移过程无法观察到,只能观察到输出的观察值序列。
以离散的HMM为例,隐状态可能输出的观察值集合为v1,v2,vK,第i个隐状态输出第k个观察值的概率为bik。
例如:
T=5时,可能的观察序列V5=v3v2v3v4v1,模式识别绪论,HMM的工作过程,模式识别绪论,HMM的参数表示,状态转移矩阵:
A,M*M的方阵;状态输出概率:
B,M*K的矩阵;初始概率:
,包括M个元素。
M个状态,K个可能的输出值。
模式识别绪论,HMM的三个核心问题,估值问题:
已有一个HMM模型,其参数已知,计算这个模型输出特定的观察序列VT的概率;解码问题:
已有一个HMM模型,其参数已知
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 哈工大 模式识别 课件