lecture10.docx
- 文档编号:28599612
- 上传时间:2023-07-19
- 格式:DOCX
- 页数:7
- 大小:325.29KB
lecture10.docx
《lecture10.docx》由会员分享,可在线阅读,更多相关《lecture10.docx(7页珍藏版)》请在冰豆网上搜索。
lecture10
第十章模式识别系统的评价
10.1监督模式识别方法的错误率估计
10.1.1训练错误率
几个同义词:
训练错误率(TrainingErrorRate或简称作TrainingError)
视在错误率(ApparentError)
重代入错误率(re-substitutionerror)
经验风险
偏乐观
经验风险与期望风险的关系:
《统计学习理论》
10.1.2测试错误率
独立的测试集
N:
测试集样本数;k:
测试集错分样本数
最大似然估计
10.1.3交叉验证
n倍交叉验证(n-foldcrossvalidation)
留一法交叉验证(Leave-one-outcross-validation或简称作LOOCV)
10.1.4自举法与.632估计
B.632=0.368xAE+0.632xB1
10.2有限样本下错误率的区间估计问题
10.2.1问题的提出
例如:
怎样比较不同方法的性能或不同数据的可分性?
问题:
BengioY&GrandvaletY,Nounbiasedestimatorofthevarianceofk-foldcross-validation,JournalofMachineLearningResearch,5:
1089-1105,2004
10.2.2用扰动重采样估计SVM错误率的置信区间
BoJiang,XuegongZhangandTianxiCai,Estimatingtheconfidenceintervalforpredictionerrorsofsupportvectormachineclassifiers.JournalofMachineLearningResearch,9:
521-540,2008
10.3特征提取与选择对分类器性能估计的影响
样本数目很少时,CV1可能会导致对分类性能的估计偏乐观,极端情况下可能会引导到错误的结论。
10.4从分类的显著性推断特征与类别的关系
10.5非监督模式识别系统性能的评价
紧致性(compactness)或一致性(homogeneity)
连接性质(connectedness)
分离度(separation)
Silhouette值:
同时反映类内距离和类间距离的指标
Dunn指数(DunnIndex)
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- lecture10