基于matlab的svr回归模型的与实现.docx
- 文档编号:1146303
- 上传时间:2022-10-17
- 格式:DOCX
- 页数:28
- 大小:1.80MB
基于matlab的svr回归模型的与实现.docx
《基于matlab的svr回归模型的与实现.docx》由会员分享,可在线阅读,更多相关《基于matlab的svr回归模型的与实现.docx(28页珍藏版)》请在冰豆网上搜索。
基于matlab的svr回归模型的与实现
基于MATLAB的SVR回归模型的设计与实现
TheDesignandImplementationofSVRRegressionModelBasedonMATLAB
学生姓名:
王新蕾
学生学号:
10780232
专业名称:
电子信息科学与技术
指导教师:
张艳(讲师)
计算机与信息工程学院
2014年6月10日
独创性声明
本人声明所呈交的毕业论文是本人在指导教师指导下进行的研究工作和取得的研究成果,除了文中特别加以引用标注之处外,论文中不包含其他人已经发表或撰写过的研究成果,没有伪造数据的行为。
毕业论文作者签名:
签字日期:
毕业论文版权使用授权书
本毕业论文作者完全了解学校有关保留、使用论文的规定。
同意学校保留并向有关管理部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。
本人授权天津城建大学可以将本论文的全部或部分内容编入有关数据进行检索,可以采用影印、缩印或扫描等复制手段保存和汇编本论文。
(保密的毕业论文在解密后适用本授权说明)
毕业论文作者签名:
指导教师签名:
签字日期:
签字日期:
摘要
支持向量机是根据统计学习理论提出的一种新的学习方法,近年来受到了国内外学术界的广泛重视,并已在模式识别和函数估计中得到广泛应用。
支持向量机理论的最大特点是由有限的训练集样本得到的小的误差保证对独立的测试集仍保持小的误差。
从而通过支持向量机(SVM)理论,可以建立支持向量回归(SVR)预测模型,以解决各种实际问题。
SVR算法是模式识别中应用比较广泛的算法模型之一,它是支持向量机在函数逼近和回归估计中的应用。
在SVR回归分析中,使用支持向量机可以使回归函数尽量平滑,其泛化能力强。
本文论述了支持向量回归的基本原理和思想,介绍了支持向量回归算法以及所用到
的几种常见的核函数(即线性内核、多项式内核、径向基函数内核、高斯内核)。
本设计主要实现的功能有:
数据集的创建、内核函数的选取、参数的设置、训练集的回归、数据集的保存与打开。
通过不同核函数的选取以及相应参数的设置对输入数据集进行回归。
此模型主要解决非线性回归模型的预测。
通过实验改变各个参数的不同取值对训练集进行回归,并分别统计出支持向量的个数,回归性能,程序运行时间。
最后对回归的结果进行分析,得出各参数对回归性能的影响。
关键词:
支持向量回归;训练算法;核函数;线性判别
ABSTRACT
Supportvectormachine(SVM)isanewmethodofstudybasedonstatisticallearningtheorywhichhasattractedextensiveattentionsbyacademiccirclesbothathomeandabroadinrecentyears.Ithasbeenwidelyusedinpatternrecognitionandfunctionestimation.Thebiggestcharacteristicofsupportvectormachine(SVM)theoryisthatasmallerrorlimitedbythetrainingsetofsamplecanensuretheindependenttestset’ssmallerror.Thusasupportvectorregression(SVR)forecastingmodelcanbebuiltbysupportvectormachine(SVM)theoryanditcansolvevariouspracticalproblems.
SVRalgorithmmodelisoneofpatternrecognitionalgorithm,whichismorewidelyusedinapproximationoffunctionandtheapplicationoftheregressionestimate.IntheSVRregressionanalysis,usingsupportvectormachine(SVM)cansmoothregressionfunctionasfaraspossible.Itsgeneralizationabilityisstrong.
Thispaperdiscussesthebasicprincipleofsupportvectorregressionandintroducessupportvectorregressionalgorithmandseveralcommonkernelfunctions(thelinearkernel,polynomialkernelandradialbasisfunction(RBF)kernel,theGaussiankerneletc.).Thisessaysuccessfullymakesthesefunctionswork:
thecreationofdatasets,theselectionofkernelfunction,parametersettings,returnofthetrainingset,thepreservationandopenofthedataset.Weaccomplishthereturnofinputofdatasetthroughtheselectionofdifferentkernelfunctionsandthesettingofcorrespondingparameter.Thismodelismainlytosolvethenonlinearregressionmodelprediction.Then,thesameissueisdonethroughtheexperimenttochangethevaluesofdifferentparameters,andthestatistics,thenumberofsupportvectorregression,performanceofprogramrunningtimeareaccounted.Finally,wehaveanalysistheresultsofregressionandgainedtheinfluenceofvariousparametersonthereturnperformance.
Keywords:
SupportVectorRegression;TrainingAlgorithms;KernelFunction;LinearDiscriminationAnalysis
第1章绪论
支持向量机(SVM)是在统计学习理论基础上提出的一种新的学习方法。
支持向量机(SVM)是一种比较好的实现了结构风险最小化思想的方法。
它的优点是理论完备、训练时间短、全局优化强、适应性好、泛化性能好等。
SVM已经成为目前国内外研究的热点。
本课题研究的SVR是支持向量机在函数回归中的应用。
1.1课题研究背景
基于支持向量的学习是现代智能技术中的重要方面,研究从观测数据(样本)出发寻找规律,利用这些规律对未来数据或无法观测的数据进行预测.包括模式识别、神经网络等在内,现有支持向量机器学习方法共同的重要理论基础之一是统计学.传统统计学研究的是样本数目趋于无穷大时的渐近理论,现有学习方法也多是基于此假设.但在实际问题中,样本数往往是有限的,因此一些理论上很优秀的学习方法实际中表现却可能不尽人意。
与传统统计学相比,统计学习理论(StatisticalLearningTheory或SLT)是一种专门研究小样本情况下机器学习规律的理论.V.Vapnik等人从六、七十年代开始致力于此方面研究,到九十年代中期,随着其理论的不断发展和成熟,也由于神经网络等学习方法在理论上缺乏实质性进展,统计学习理论开始受到越来越广泛的重视。
统计学习理论是建立在一套较坚实的理论基础之上的,为解决有限样本学习问题提供了一个统一的框架.它能将很多现有方法纳入其中,有望帮助解决许多原来难以解决的问题(比如神经网络结构选择问题、局部极小点问题等);同时,在这一理论基础上发展了一种新的通用学习方法——支持向量机(SupportVectorMachine或SVM),它已初步表现出很多优于已有方法的性能。
通过结果风险最小化准则和核函数方法,较好地解决了模式分类器复杂性核推广性之间的矛盾,引起了模式识别领域学者的极大关注。
从此迅速的发展起来,现在已经在许多领域(生物信息学,文本分类、手写体识别、人脸检测等)都取得了成功的应用,并且在研究过程中,取得了与传统方法可比或更好的结果,还丰富了自身的内容(如快速训练算法等),从而更加推动了它在其他模式识别领域的应用。
由于其出色的学习性能,该技术已成为当前国际机器学习界的研究热点,在模式识别、回归估计、函数逼近等领域有了广泛的应用。
本课题就是研究它在回归估计中的应用。
1.2国内外研究现状
支持向量机一经提出,就得到国内外学者的高度关注。
虽然支持向量机发展时间很短,但是由于它的产生是基于统计学习理论的,因此具有坚实的理论基础。
近几年涌现出的大量令人瞩目的理论研究成果,更为其应用研究奠定了坚实基础。
如Anthonyetal.(1999)等人给出了关于硬邻域支持向量机学习误差的严格理论界限,Shawe-Taylor(2000)和Cristianini(2000)也给出了类似的关于软邻域支持向量机和回归情况下的误差界限;Westonetal.(1998)和Vapnik(1995,1998)等研究了支持向量机的泛化性能及其在多值分类和回归问题的扩展问题;Smola(1998)和Schoelkopf(1999)提出了支持向量机一般意义下的损失函数数学描述;脊回归是由Tikhonov提出的一种具有特殊形式的正则化网络,Girosi(1990)、Poggio(1975)等将其应用到正则化网络的学习中,Smolaetal.(1999)研究了状态空间中脊回归的应用,Girosi(1990)、Smola(1998)、Schoelkopf(1999)等讨论了正则化网络和支持向量机的关系。
随着支持向量机理论上深入研究,出现了许多变种支持向量机,如Smolaetal.(1999)提出的用于分类和回归支持向量机。
另外,一些学者还扩展了支持向量机概念,如Mangasarian(1997)等人的通用支持向量机(GeneralisedSVMs)。
虽然SVM方法在理论上具有很突出的优势,但与其理论研究相比,应用研究尚相对比较滞后,到目前,SVM已用于数据分类、回归估计、函数逼近等领域.应用最为广泛的当属模式识别领域,在模式识别方面最突出的应用研究是贝尔实验室对美国邮政手写数字库进行的实验,这是一个可识别性较差的数据库,人工识别平均错误率是2.5%,用决策树方法识别错误率是16.2%,两层神经网络中错误率最小的是5.9%,专门针对该特定问题设计的五层神经网络错误率为5.0%(其中利用了大
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 matlab svr 回归 模型 实现