最新svm英文资料优秀word范文 12页Word文档下载推荐.docx
- 文档编号:12953395
- 上传时间:2022-10-01
- 格式:DOCX
- 页数:11
- 大小:20.35KB
最新svm英文资料优秀word范文 12页Word文档下载推荐.docx
《最新svm英文资料优秀word范文 12页Word文档下载推荐.docx》由会员分享,可在线阅读,更多相关《最新svm英文资料优秀word范文 12页Word文档下载推荐.docx(11页珍藏版)》请在冰豆网上搜索。
通俗易懂。
同时,阅读本文时建议大家尽量使用chrome等浏览器,如此公式才能更好的显示,再者,阅读时可拿张纸和笔出来,把本文所有定理.公式都亲自推导一遍或者直接打印下来(可直接打印网页版或本文文末附的PDF,享受随时随地思考、演算的极致快感),在文稿上演算。
Ok,还是那句原话,有任何问题,欢迎任何人随时不吝指正&
赐教,感谢。
第一层、了解SVM
支持向量机,因其英文名为supportvectormachine,故一般简称SVM,通俗来讲,它是一种二类分类模型,其基本模型定义为特征空间上的间隔最大的线性分类器,其学习策略便是间隔最大化,最终可转化为一个凸二次规划问题的求解。
1.1、分类标准的起源:
Logistic回归
理解SVM,咱们必须先弄清楚一个概念:
线性分类器。
给定一些数据点,它们分别属于两个不同的类,现在要找到一个线性分类器把这些数据分成两类。
如果用x表示数据点,用y表示类别(y可以取1或者-1,分别代表两个不同的类),一个线性分类器的学习目标便是要在n维的数据空间中找到一个超平面(
hyperplane),这个超平面的方程可以表示为(wT
中的T代表转置):
可能有读者对类别取1或-1有疑问,事实上,这个1或-1的分类标准起源于logistic回归。
Logistic回归目的是从特征学习出一个0/1分类模型,而这个模型是将特性的线性组合作为自变量,由于自变量的取值范围是负无穷到正无穷。
因此,使用logistic函数(或称作sigmoid函数)将自变量映射到(0,1)上,映射后的值被认为是属于y=1的概率。
假设函数
其中x是n维特征向量,函数g就是logistic函数。
而的图像是
可以看到,将无穷映射到了(0,1)。
而假设函数就是特征属于y=1的概率。
从而,当我们要判别一个新来的特征属于哪个类时,只需求就是y=1的类,反之属于y=0类。
即可,若
大于0.5
此外,只和有关,
。
再者,当>
0,那么时,,而g(z)只是用来映射,真实的类=1,反之=0。
如果我们只从
,而是y=0的特征出。
别决定权还是在于发,希望模型达到的目标就是让训练数据中y=1的特征
Logistic回归就是要学习得到,使得正例的特征远大于0,负例的特征远小于0,而且要在全部训练实例上达到这个目标。
接下来,尝试把logistic回归做个变形。
首先,将使用的结果标签y=0和y=1替换为y=-1,y=1,然后将
将后面的替换为()中的替换为b,最后(即)。
如此,则有了
也就是说除了y由y=0变为y=-1外,线性分类函数跟logistic回归的形式
化表示没区别。
进一步,可以将假设函数
y=-1和y=1上。
映射关系如下:
中的g(z)做一个简化,将其简单映射到
1.2、线性分类的一个例子
下面举个简单的例子,如下图所示,现在有一个二维平面,平面上有两种不同的数据,分别用圈和叉表示。
由于这些数据是线性可分的,所以可以用一条直线将这两类数据分开,这条直线就相当于一个超平面,超平面一边的数据点所对应的y全是-1,另一边所对应的y全是1。
这个超平面可以用分类函数
表示,当f(x)等于0的时候,x
便是位于超平面上的点,而f(x)大于0
的点对应y=1的数据点,f(x)小于0的点对应y=-1
的点,如下图所示:
注:
有的资料上定义特征到结果的输出函数
实质是一样的。
为什么?
因为无论是,与这里定义的,还是
,不影响最终优化结果。
下文你将看到,当我们转化到优化
的时候,为了求解方便,会把yf(x)
令为1,即yf(x)
是y(w^x+b),还是y(w^x-b),对我们要优化的式子max1/||w||已无影响。
(有一朋友飞狗来自Mare_Desiderii,看了上面的定义之后,问道:
请教一下SVMfunctionalmargin为=y(wTx+b)=yf(x)中的Y是只取1和-1吗?
y的唯一作用就是确保functionalmargin的非负性?
真是这样的么?
当然不是,详情请见本文评论下第43楼)
当然,有些时候,或者说大部分时候数据并不是线性可分的,这个时候满足这样条件的超平面就根本不存在(不过关于如何处理这样的问题我们后面会讲),这里先从最简单的情形开始推导,就假设数据都是线性可分的,亦即这样的超平面是存在的。
换言之,在进行分类的时候,遇到一个新的数据点x,将x代入f(x)中,如果f(x)小于0则将x
的类别赋为-1,如果f(x)
大于0则将x的类别赋为1。
接下来的问题是,如何确定这个超平面呢?
从直观上而言,这个超平面应该是最适合分开两类数据的直线。
而判定“最适合”的标准就是这条直线离直线两边的数据的间隔最大。
所以,得寻找有着最大间隔的超平面。
1.3、函数间隔Functionalmargin与几何间隔Geometricalmargin
在超平面w*x+b=0确定的情况下,|w*x+b|能够表示点x到距离超平面的远近,而通过观察w*x+b的符号与类标记y的符号是否一致可判断分类是否正确,所以,可以用(y*(w*x+b))的正负性来判定或表示分类的正确性。
于此,我们便引出了函数间隔(functionalmargin)的概念。
定义函数间隔(用表示)为:
而超平面(w,b)关于T中所有样本点(xi,yi)的函数间隔最小值(其中,x是特征,y是结果标签,i表示第i个样本),便为超平面(w,b)关于训练数据集T的函数间隔:
=mini(i=1,...n)
但这样定义的函数间隔有问题,即如果成比例的改变w和b(如将它们改成2w和2b),则函数间隔的值f(x)却变成了原来的2倍(虽然此时超平面没有改变),所以只有函数间隔还远远不够。
事实上,我们可以对法向量w加些约束条件,从而引出真正定义点到超平面的距离--几何间隔(geometricalmargin)的概念。
篇二:
svmtrain和svmpredict简介回归、分类
svmtrain和svmpredict简介
分类:
SVM
本文主要介绍了SVM工具箱中svmtrain和svmpredict两个主要函数:
(1)model=svmtrain(train_label,train_matrix,['
libsvm_options'
]);
其中:
train_label表示训练集的标签。
train_matrix表示训练集的属性矩阵。
libsvm_options是需要设置的一系列参数,各个参数可参见《libsvm
参数说明.txt》,里面介绍的很详细,中英文都有的。
如果用回归的话,其中的-s参数值应为3。
model:
是训练得到的模型,是一个结构体(如果参数中用到-v,得到的就
不是结构体,对于分类问题,得到的是交叉检验下的平均分类准确率;
对于回归问题,得到的是均方误差)。
(2)[predicted_label,accuracy/mse,decision_values/prob_estimates]=svmpredict(test_label,test_matrix,model,
['
test_label表示测试集的标签(这个值可以不知道,因为作预测的时候,
本来就是想知道这个值的,这个时候,随便制定一个值就可以了,只是这个时候得到的mse就没有意义了)。
test_matrix表示测试集的属性矩阵。
model是上面训练得到的模型。
libsvm_options是需要设置的一系列参数。
predicted_label表示预测得到的标签。
accuracy/mse是一个3*1的列向量,其中第1个数字用于分类问题,
表示分类准确率;
后两个数字用于回归问题,第2个数字表示mse;
第三个数字表示平方相关系数(也就是说,如果分类的话,看第一个数字就可以了;
回归的话,看后两个数字)。
decision_values/prob_estimates:
第三个返回值,一个矩阵包含决策
的值或者概率估计。
对于n个预测样本、k类的问题,如果指
定“-b1”参数,则nxk的矩阵,每一行表示这个样本分别
属于每一个类别的概率;
如果没有指定“-b1”参数,则为n
xk*(k-1)/2的矩阵,每一行表示k(k-1)/2个二分类SVM
的预测结果。
(3)训练的参数
LIBSVM训练时可以选择的参数很多,包括:
-ssvm类型:
SVM设置类型(默认0)
0—C-SVC;
1–v-SVC;
2–一类SVM;
3—e-
SVR;
4—v-SVR
-t核函数类型:
核函数设置类型(默认2)
0–线性核函数:
u’v
1–多项式核函数:
(r*u’v+coef0)^degree
2–RBF(径向基)核函数:
exp(-r|u-v|^2)
3–sigmoid核函数:
tanh(r*u’v+coef0)
-ddegree:
核函数中的degree设置(针对多项式核函数)(默认3)-gr(gamma):
核函数中的gamma函数设置(针对多项式
/rbf/sigmoid核函数)(默认1/k,k为总类别数)
-rcoef0:
核函数中的coef0设置(针对多项式/sigmoid核函数)
((默认0)
-ccost:
设置C-SVC,e-SVR和v-SVR的参数(损失函数)(默认
1)
-nnu:
设置v-SVC,一类SVM和v-SVR的参数(默认0.5)-pp:
设置e-SVR中损失函数p的值(默认0.1)
-mcachesize:
设置cache内存大小,以MB为单位(默认40)-eeps:
设置允许的终止判据(默认0.001)
-hshrinking:
是否使用启发式,0或1(默认1)
-wiweight:
设置第几类的参数C为weight*C(C-SVC中的C)(默认
-vn:
n-fold交互检验模式,n为fold的个数,必须大于等于2
以上这些参数设置可以按照SVM的类型和核函数所支持的参数进行任意
组合,如果设置的参数在函数或SVM类型中没有也不会
产生影响,程序不会接受该参数;
如果应有的参数设置不正确,参数将采
用默认值。
篇三:
SVM分类器的原理及应用
姓名:
苏刚学号:
1515063004学院:
数学与计算机学院
一、SVM分类
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 最新svm英文资料优秀word范文 12页 最新 svm 英文 资料 优秀 word 范文 12
![提示](https://static.bdocx.com/images/bang_tan.gif)