基于Fisher的分类器设计.ppt
- 文档编号:1725635
- 上传时间:2022-10-23
- 格式:PPT
- 页数:17
- 大小:471KB
基于Fisher的分类器设计.ppt
《基于Fisher的分类器设计.ppt》由会员分享,可在线阅读,更多相关《基于Fisher的分类器设计.ppt(17页珍藏版)》请在冰豆网上搜索。
主讲:
周润景教授单位:
电子信息工程学院,基于Fisher的分类器设计,目录,Fisher判别法简介Fisher判别法的基本原理分类器设计算法实现识别待测样本类别结论,Fisher判别法简介,Fisher判别法作为一种分类方法是1936年由首先提出的。
判别法是一种线性判别法,线性判别又称线性准则,与线性准则相对应的还有非线性准则,其中一些在变换条件下可以化为线性准则,因此对应于维特征空间,线性判别函数虽然最简单,但是在应用上却具有普遍意义,便于对分类问题理解与描述。
基于线性判别函数的线性分类方法,虽然使用有限样本集合来构造,从严格意义上来讲属于统计分类方法。
也就是说,对于线性分类器的检验,应建立在样本扩充的条件下,以基于概率的尺度来评价才是有效的评价。
尽管线性分类器的设计在满足统计学的评价下并不严格与完美,但是由于其简单性与实用性,在分类器设计中还是获得了广泛的应用。
Fisher判别法的基本原理,Fisher判别法基本原理是:
对于d维空间的样本,投影到一维坐标上,样本特征将混杂在一起,难以区分。
Fisher判别法的目的,就是要找到一个最合适的投影轴w,使两类样本在该轴上投影的交迭部分最少,从而使分类效果为最佳。
如何寻找一个投影方向,使得样本集合在该投影方向上最易区分,这就是Fisher判别法所要解决的问题。
Fisher投影原理如下所示。
Fisher准则函数的基本思路:
即向量w的方向选择应能使两类样本投影的均值之差尽可能大些,而使类内样本的离散程度尽可能小。
Fisher分类器设计,样本在d维特征空间的一些描述量
(1)各类样本均值
(2)样本类内离散度矩阵与总类内离散度矩阵,(3)样本类间离散度矩阵,Fisher分类器设计,
(2)样本类内离散度矩阵与总类内离散度矩阵,在一维上投影,则有:
(1)各类样本均值,Fisher分类器设计,Fisher准则函数定义原则为:
希望投影后,在一维空间中样本类别区分清晰,即两类样本的距离越大越好,也就是均值之差越大越好;各类样本内部密集,即类内离散度越小越好,根据上述两条原则,构造Fisher准则函数使得为最大值的w即为要求的投影向量。
进一步化为w的显函数,得到Fisher准则函为:
求解Fisher准则函数的条件极值,即可解得使为极值的。
Fisher分类器设计,最好投影方向阈值点,对于任意未知类别的样本x,计算它的投影点决策规则为:
算法实现,流程图,算法实现,样本均值clear,closeall;N=29;%N为训练样本总个数X=1495.181957.443498.02%X为训练样本1125.171594.392937.731269.071910.722701.97m1=mean(X(1:
11,:
);%求得第一类样本均值m2=mean(X(12:
29,:
);%求得第二类样本均值,算法实现,阈值点本设计器采用来确定阈值点,由于它既考虑了样本均值之间的平均距离,又考虑了两类样本的容量大小作阈值位置的偏移修正,因此,采用它可以使得分类误差尽可能小。
算法实现,输出分类结果fori=1:
22y=W*x(i,:
)%确定投影点yifyy0%当yy0时,测试样本属于第一类disp
(一)holdon,plot3(x(i,1),x(i,2),x(i,3),r+,MarkerSize,6,LineWidth,2)elsedisp
(二)%当yy0时,测试样本属于第二类holdon,plot3(x(i,1),x(i,2),x(i,3),b+,MarkerSize,6,LineWidth,2)endend,识别待测样本类别,选择分类方法,识别待测样本类别,识别待测样本类别,观察训练样本分布图可知,如果将第1、2类分在一起作为第一类,第3、4类分在一起作为第二类,显然,这样很难将其分开。
因此,排除这种分类方法。
选择第二、三种分类方法。
识别待测样本类别,结果分析:
从表中可以看出有2个分类结果是错的,正确率为93.3%。
四、总结,文章主要论述了分类法的内容、特点以及其分类器设计,重点讨论了利用Fisher分类法设计分类器的全过程。
在设计该种分类器过程中,首先利用训练样本求得最佳投影方向,并确定阈值点。
接着通过分析归纳给定样本数据的分类情况,最后利用Matlab中的相关函数、工具设计了基于分类法的分类器,并将测试数据进行了成功分类。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 Fisher 分类 设计