支持向量机PPT文档格式.ppt
- 文档编号:13272584
- 上传时间:2022-10-09
- 格式:PPT
- 页数:63
- 大小:417.50KB
支持向量机PPT文档格式.ppt
《支持向量机PPT文档格式.ppt》由会员分享,可在线阅读,更多相关《支持向量机PPT文档格式.ppt(63页珍藏版)》请在冰豆网上搜索。
而实际问题中样本数据往往是有限的。
因此,假设样本数据无穷多,并以此为基础推导出的各种算法,很难在样本数据有限时取得理想的应用效果。
神经网络(ANN)的过学习问题就是一个典型的例子。
当样本数据有限时,本来具有良好学习能力的学习机器有可能表现出很差的泛化性能。
早在20世纪70年代诞生的统计学习理论(SLT,StatisticalLearningTheory),系统地研究了机器学习问题。
它对有限样本情况下的统计学习问题提供了一个有效的解决途径,弥补了传统统计学的不足。
1.1.支持向量机提出的背景,统计学习理论是一种专门研究小样本情况下机器学习规律的基本理论和数学构架,也是小样本统计估计和预测学习的最佳理论。
Vapnik(1963,1971)等人从六、七十年代开始致力于此方面研究。
到上世纪九十年代中期,随着该理论的不断发展和成熟,产生了基于统计学习理论体系的新的通用机器学习方法,即支持向量机(SVMs,SupportVectorMachines)。
1.引言1.1.支持向量机提出的背景1.2.支持向量机发展现状1.3.支持向量机现在存在的问题2.支持向量机基本原理及特点3.支持向量机训练算法4.新型支持向量机5.展望6.应用举例,1.2支持向量机发展现状,支持向量机算法一经提出,就得到国内外学者的高度关注。
学术界普遍认为它是继神经网络之后的一个新的研究方向。
在短短的几年里,取得了一系列令人瞩目的研究成果。
1.2.支持向量机发展现状,
(1)支持向量机的理论研究:
虽然支持向量机发展时间很短,但是由于它的产生是基于统计学习理论的,因此具有坚实的理论基础。
近几年涌现出的大量理论研究成果,更为其应用研究奠定了坚实基础。
-Anthony.(1999)等人给出了关于硬邻域支持向量机学习误差的严格理论界限,Shawe-Taylo(r2000)和Cristianin(i2000)也给出了类似的关于软邻域支持向量机和回归情况下的误差界限;
-Westonetal.(1998)和Vapnik(1995,1998)等研究了支持向量机的泛化性能及其在多值分类和回归问题的扩展问题;
-Smola(1998)和Schoelkopf(1999)提出了支持向量机一般意义下的损失函数数学描述;
-脊回归是由Tikhonov提出的一种具有特殊形式的正则化网络,Girosi(1990)、Poggio(1975)等将其应用到正则化网络的学习中,Smolaetal.(1999)研究了状态空间中脊回归的应用,Giros(i1990)、Smola(1998)、Schoelkopf(1999)等讨论了正则化网络和支持向量机的关系。
1.2.支持向量机发展现状,
(2)支持向量机的训练算法:
支持向量机的最终求解问题归结为一个有约束的二次型规划(QP,QuadraticProgramming)问题。
可以利用标准二次型优化技术来求解这个优化问题,如牛顿法、共扼梯度法、内点法等。
但是,这些方法只适合小样本情况,当样本数目较大时,算法复杂度会急剧增加,而且占用极大的系统内存。
为降低计算资源、提高算法效率,已经提出许多针对大规模样本集的训练算法:
1.2.支持向量机发展现状四种训练算法,1)分块算法(Chunking)(CortesandVapnik,1995)2)子集选择算法(SubsetSelectionalgorithms)(Osuna,1997;
Joachims,1998)3)序列最小优化算法(SMO,SequentialMinimalOptimization)(Platt,1998)4)增量式算法(Cauwenberghs,2001),支持向量机,1.引言1.1.支持向量机提出的背景1.2.支持向量机发展现状1.3.支持向量机现在存在的问题2.支持向量机基本原理及特点3.支持向量机训练算法4.新型支持向量机5.展望6.应用举例,1.3.支持向量机现在存在的问题,支持向量机自出现以来,理论上的研究飞速发展,应用领域越来越广泛。
但与理论研究相比较,应用研究相对比较滞后。
相比之下,分类问题的研究较为成熟,其他方面如时间序列分析,回归,聚类等方面的研究,还有待进一步地完善。
虽然到目前已经提出了多种训练算法,却依然存在一些问题亟待解决。
1.3.支持向量机现在存在的问题,1)支持向量机在理论上,核函数及参数的构造和选择缺乏理论指导;
2)作为支持向量机基础的原始问题解和对偶问题解的关系上,当前研究存在逻辑缺陷;
3)在部分情况下,支持向量机无法利用现有的公式计算决策函数的阈值;
1.3.支持向量机现在存在的问题,4)支持向量机中一类重要的变形方法,虽然有效,但缺乏相应的统计学习理论基础;
5)LS-SVM将SVM的求解从QP问题向线性方程组的成功转化极大地提高了SVM的求解效率,也降低了SVM的学习难度,极大地促进了SVM的应用。
但LS-SVM同时也丧失SVM的稀疏性与鲁棒性。
支持向量机,1.引言1.1.支持向量机提出的背景1.2.支持向量机发展现状1.3.支持向量机现在存在的问题2.支持向量机基本原理及特点3.支持向量机训练算法4.新型支持向量机5.展望6.应用举例,2.支持向量机基本原理,基本原理:
通过用非线性映射将输入空间变换到一个高维空间,在这个高维空间中寻找输入变量和输出变量之间的一种非线性关系。
注意到算法仅使用高维空间中的内积,通过引入核函数,高维空间的内积运算就可用原空间中的函数来实现,甚至没有必要知道非线性映射的形式。
通过采用适当的核函数就可实现某一非线性变换后的线性分类,而计算复杂度没有增加,从而在一定程度上避免了维数灾难问题。
2.支持向量机的特点,1.非线性映射是SVM方法的理论基础,SVM利用内积核函数代替向高维空间的非线性映射;
2.对特征空间划分的最优超平面是SVM的目标,最大化分类边际的思想是SVM方法的核心;
3.支持向量是SVM的训练结果,在SVM分类决策中起决定作用的是支持向量。
2.支持向量机的特点,SVM是一种有坚实理论基础的新颖的小样本学习方法。
它基本上不涉及概率测度及大数定律等,因此不同于现有的统计方法。
从本质上看,它避开了从归纳到演绎的传统过程,实现了高效的从训练样本到预报样本的“转导推理”(transductiveinference),大大简化了通常的分类和回归等问题。
支持向量机,1.引言1.1.支持向量机提出的背景1.2.支持向量机发展现状1.3.支持向量机现在存在的问题2.支持向量机基本原理3.支持向量机训练算法4.新型支持向量机5.展望6.应用举例,3.支持向量机训练算法,支持向量机的最终求解问题归结为一个有约束的二次型规划(QP,QuadraticProgramming)问题。
3.支持向量机训练算法,分块算法(Chunking)(CortesandVapnik,1995)-1995年,Cortes和Vapnik给出了一种求解支持向量机二次规划(QP)问题的分块算法。
其依据是支持向量机的最终求解结果只与支持向量有关,与非支持向量无关。
3.支持向量机训练算法,其实现过程是将初始QP问题分解为一系列小规模的QP子问题,不断的求解QP子问题,保留解中的支持向量,并加入到新的QP子问题中。
每个QP子问题都采用上次求解的结果作为初始值。
直到所有的QP子问题求解完毕。
这种方法可以大大减小算法占用的系统内存。
然而,当样本集中的支持向量数目很大时,其算法复杂度仍然很大。
3.支持向量机训练算法,
(2)子集选择算法(Osuna,1997;
Joachims,1998)-为加快支持向量机的训练速度,Osuna(1997)提出了子集选择算法。
该方法首先将数据集分块(chunking),从分块数据中提取支持向量,并加以保留,然后补充新的样本,反复运算,直至所有的样本都满足KKT(Karush-Kuhn-Tucker)(Vapnik,1995)收敛条件。
1998年,Joachims指出,采用启发式迭代策略会提高算法的收敛速度,并提出一种称为SVMlight的支持向量机分解学习算法。
该算法实际上是子集选择算法的推广。
3.支持向量机训练算法,(3)序列最小优化算法(SMO)(Platt,1998)1998年,Platt提出了更为有效的支持向量机训练算法,即序列最小优化算法。
其基本思想是把一个大数据量的QP分解为一系列最小的QP子优化问题。
该算法是分解算法的一个极端特例。
其实现过程为,每次针对两个样本的二次规划问题,直接采用解析方法求其最优解,以提高QP问题的求解速度。
Platt设计了一个两层嵌套循环过程实现其算法。
在外环中采用启发式方法寻找违背KKT最优条件的样本,在内环中对该样本的相应Lagrange乘子进行分析求解,完成一次优化。
不断重复此过程,直至所有样本都满足KKT条件。
3.支持向量机训练算法,序列最小优化算法将工作样本集的规模减少为两个,直接导致了迭代次数的增加。
所以序列最小优化算法实际上是将求解优化问题的耗费转嫁到迭代运算上。
Platt指出,通过核优化方法可以大幅提高序列最小优化算法的性能。
该算法在训练线性支持向量机时,可以获得非常好的性能,但在训练非线性支持向量机时,算法速度会大大减慢。
针对不同的问题,其计算复杂度差别很大。
3.支持向量机训练算法,(4)增量式算法(Cauwenberghs,2001)Cauwenberghs(2001)提出了一种增量减量式学习方法,考虑了增加或减少一个训练样本对Lagrange系数和支持向量机的影响,实验表明算法是有效的。
3.支持向量机训练算法,在减少一个样本时,给出了模型选择算法LOO(Leaveoneout)的形象解释。
Ralaivola(2001)提出了另一种增量式学习方法。
其思想为基于高斯核的局部特性,只更新对学习机器输出影响最大的Lagrange系数,以减少计算复杂度。
另外
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 支持 向量
![提示](https://static.bdocx.com/images/bang_tan.gif)