33曾远电子科学与技术基于径向基神经网络的手写体数字识别.docx
- 文档编号:6695738
- 上传时间:2023-01-09
- 格式:DOCX
- 页数:10
- 大小:110.91KB
33曾远电子科学与技术基于径向基神经网络的手写体数字识别.docx
《33曾远电子科学与技术基于径向基神经网络的手写体数字识别.docx》由会员分享,可在线阅读,更多相关《33曾远电子科学与技术基于径向基神经网络的手写体数字识别.docx(10页珍藏版)》请在冰豆网上搜索。
33曾远电子科学与技术基于径向基神经网络的手写体数字识别
基于径向基函数神经网络的手写体数字识别
摘要:
人工神经网络作为生物控制论的一个成果,其触角几乎已经延生到各个工程领域,吸引着不同专业领域的专家从事这方面的研究和开发,并且在这些领域中形成了新的生长点。
作为众多神经结构中的一种,径向基函数神经网络<简称RBF)他是一种三层前向网络,它由输入层,隐含层和输出层组成。
用RBF神经网络在一些方面的优点例如:
信息处理、模式识别等,这是我写这篇文章的主要目的。
要用RBF网络来对不同的手写体数字进行识别,第一我要寻找合适的方案来确定RBF神经网络的几个最最重要的参数,即函数的输入层、隐含层和输出层之间参数问题,接着将网络不断的训练来找出合适的匹配参数,从而使识别率更高。
关键词:
径向基函数神经网络数字识别
Basedontheradialbasisfunctionneuralnetworkhandwrittendigitrecognition
Artificialneuralnetworkasaresultofbiocybernetics,itstentaclesalmosthavebirthtovariousengineeringfields,appealtodifferentexpertsinthefieldofprofessionalengagedintheresearchanddevelopment,andformedanewgrowingpointintheseareas.Asoneofthemanyneuralstructures,theradialbasisfunction(RBF>neuralnetworkisakindofthreelayerforwardnetwork,itiscomposedofinputlayer,hiddenlayerandoutputlayer.TheadvantagesofusingRBFneuralnetworkinsomeaspectssuchas:
informationprocessing,patternrecognition,etc.,thisisIthemainpurposeofwritingthisarticle.RBFnetworkistobeusedforhandwrittenNumbersofdifferentrecognition,firstIwanttofindtherightsolutiontodeterminetheRBFneuralnetworktoafewofthemostimportantparameters,namelythefunctionoftheinputlayer,hiddenlayerandoutputlayerparameterbetweenproblems,thenwillnetworktotrainingandtofindoutsuitablematchingparameters,sothattherecognitionrateishigher.
Keywords:
radialbasisfunction(RBF>neuralnetworkdigitrecognition
1.绪论
1.1研究背景
手写体数字的识别的识别率高低是解决目前大量数据录入工作的关键点,是我们当前急需解决的难点问题。
它在经济贸易、人工智能、医学工程、数据分析、目标识别等领域发挥了重要的作用,在国家经济国防以及社会和谐发展方面发挥了很大作用。
手写数字手写数字识别是利用计算机的智能化,基于一定的网络来实现对纸张上面数字的识别。
目前经济发展迅速,经济发展迅速的同时不断要求我们对数据处理速度加快从而来适应这样的发展。
因此,我们就要开发出识别率更加高效的技术来处理股票数目、票据数量。
在这种发展之下,手写体数字识别应用领域更加广泛,比如支票发票进货单,入账单等等。
这些在平时需要花费大量人力物力的工作在高效的数字识别技术下都可以轻松的被解决。
<1)原本工作量极大的工作例如:
财会、税务、报表等,在应用数字识别系统之后工作效率得到很大的提高
<2)阿拉伯数字识别世界通用,任何国家的研究工作这都可以分享别人各自成果,并且都是可利用的。
<3)由于数字只有10个,不像英文字母有26个。
因而数据的特征提取工作相比较其它识别简单很多。
<4)由手写体数字识别进而我们可以研究人脸、指纹、零件的识别。
我们只需要转换数据库重新提取特征就能很快的应用在上面的例子。
1.2国内外研究现状
如何提高手写体数字的识别率是根本问题。
想要解决这样的问题,就要对识别过程的每一步进行改进。
目前国内外学者针对此问题在数字图像处理、特征提取、训练以及创建新的网络结构上都有了一定的突破。
有以下两点问题:
<1)数字的笔画很少区别不是很大,不同的人写出的相同的数字数字差别可能非常大,这就给识别出了个难题。
<2)虽然数字全球通用但是不同国家经过历史的不断发展,形成了自有的数字写法,根深蒂固,这就需要强大的数据库来收集整合。
1.3本文研究方法
本文采用RBF神经网络来对mnistall数据库中的数据进行识别。
识别过程可以分为数字的预处理、特征提取、建立网络分类器、训练和检测,以及对结果的分析。
2.神经网络
多少年以来,人们从医学、生物学、生理学、哲学、信息学、计算机科学、认知学、组织协同学等各个角度企图认识并解答上述问题。
在寻找上述问题答案的研究过程中,逐渐形成了一个新兴的多学科交叉技术领域,称之为“神经网络”。
神经网络的研究涉及众多学科领域,这些领域互相结合、相互渗透并相互推动。
不同领域的科学家又从各自学科的兴趣与特色出发,提出不同的问题,从不同的角度进行研究。
人工神经网络首先要以一定的学习准则进行学习,然后才能工作。
现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明,规定当“A”输入网络时,应该输出“1”,而当输入为“B”时,输出为“0”。
所以网络学习的准则应该是:
如果网络作出错误的判决,则通过网络的学习,应使得网络减少下次犯同样错误的可能性。
首先,给网络的各连接权值赋予(0,1>区间内的随机值,将“A”所对应的图象模式输入给网络,网络将输入模式加权求和、与门限比较、再进行非线性运算,得到网络的输出。
在此情况下,网络输出为“1”和“0”的概率各为50%,也就是说是完全随机的。
这时如果输出为“1”(结果正确>,则使连接权值增大,以便使网络再次遇到“A”模式输入时,仍然能作出正确的判断。
普通计算机的功能取决于程序中给出的知识和能力。
显然,对于智能活动要通过总结编制程序将十分困难。
人工神经网络也具有初步的自适应与自组织能力。
在学习或训练过程中改变突触权重值,以适应周围环境的要求。
同一网络因学习方式及内容不同可具有不同的功能。
人工神经网络是一个具有学习能力的系统,可以发展知识,以致超过设计者原有的知识水平。
通常,它的学习训练方式可分为两种,一种是有监督或称有导师的学习,这时利用给定的样本标准进行分类或模仿;另一种是无监督学习或称无为导师学习,这时,只规定学习方式或某些规则,则具体的学习内容随系统所处环境<即输入信号情况)而异,系统可以自动发现环境特征和规律性,具有更近似人脑的功能。
神经网络就像是一个爱学习的孩子,您教她的知识她是不会忘记而且会学以致用的。
我们把学习集 在全部学习集都运行完成之后,神经网络就根据这些例子总结出她自己的想法,到底她是怎么归纳的就是一个黑盒了。 之后我们就可以把测试集 我们之后就可以用这个神经网络来判断事务的分类了。 神经网络是通过对人脑的基本单元——神经元的建模和联接,探索模拟人脑神经系统功能的模型,并研制一种具有学习、联想、记忆和模式识别等智能信息处理功能的人工系统。 神经网络的一个重要特性是它能够从环境中学习,并把学习的结果分布存储于网络的突触连接中。 神经网络的学习是一个过程,在其所处环境的激励下,相继给网络输入一些样本模式,并按照一定的规则<学习算法)调整网络各层的权值矩阵,待网络各层权值都收敛到一定值,学习过程结束。 然后我们就可以用生成的神经网络来对真实数据做分类。 3.RBF神经网络模型 径向基神经网络的神经元结构如图所示。 径向基神经网络的激活函数采用径向基函数,同城定义为空间任一点待某一中心之间的欧式距离的单调函数。 由图中神经网络的神经元结构可以看出,径向基神经网络的激活函数是输入向量和权值相量之间的距离作为自变量的。 径向基神经网络的激活函数一般表达式: 随着权值和输入向量之间距离的减少,网络输出是递增的,当输入向量和权值向量一致时,神经元输出1.图中b为域值,用于调整神经元的灵敏度。 利用径向基神经元和线性神经元可以建立广义回归神经网络,该中神经网络适用于函数逼近方面的应用;径向基神经元和竞争神经元可以组建概率神经网络,此种神经网络适用于解决分类问题。 由输入层、隐含层和输出层构成一般径向基神经网络结构如下图所示。 在RBF网络中,输入层仅仅起到传输信号的作用与前面做讲诉的神经网络相比较,输入层和隐含层之间可以看做连接权值为1的连接。 输出层和隐含层所完成的任务是不同的,因而它们的学习策略也是不同的。 输出层是对闲心权进行调整,采用的是线性优化策略。 因而学习效率比较快。 而隐含层是对激活函数的参数进行调整,采用的是非线性优化策略,因而学习速度较慢。 尽管RBF网络的输出是隐单元输出的线性加权和,学习速度加快,但病不等于径向基神经网络就可以取代其它前馈网络。 这是应为进行基神经网络很可能需要比BP网络多的多的隐含层神经元来完成工作。 BP网络使用sigmoid<)函数,这样的神经元有很大的输入课件区域,而径向基神经网络使用的径向基函数,输入空间区域很小。 这就不可避免第导致了在输入空间较大时,需要更多的径向基神经元。 4。 RBF神经网络的思想方法 RBF神经网络学习算法需要求解的参数有3个: 基函数的中心、方差以及隐含层到输出层的权值。 根据径向基函数中心选取方法的不同,RBF网络有多种学习方法,如随机选取中心法、自组织选取中心法、有监督选取中心法和正交最小二乘法等。 径向基神经网络中常用的径向基函数是高斯函数,使用高斯函数作为隐层的激活函数,具备以下优点: 1,径向对称性好 2,由于该基函数表示简单且解读性好,因而便于进行理论分析。 3,表示形式简单,即使对于多变量输入也不增加太多的复杂性; 4,光滑性好,任意阶倒数存在; 4.1隐含层的学习 RBF神经网络中隐含层的学习过程是无监督的。 在数据的训练过程中是针对数据库的因而只有输入而没有输出。 数据训练是RBF神经网络会本能的将数据库中所有数据的特征提取出来并且逐一分类。 分类完成之后该网络就能识别不同的输入数据。 但是解决这一过程并不容易,关键在于如何选好隐含层节点的个数,降低网络的复杂层度。 4.2输出层的学习 相比于隐含层,输出层的学习则是有监督的。 在输出成的学习过程中,等待分类样本的属性是知道的,因此对于每一个输入样本都有一个输出和它相匹配,基于网络输出端监督信号与实际输出的各种目标函数准则,网络据此调整权重,直至精度达到最佳要求。 径向基神经网络的输出层学习,目的是为了找到合适的由隐含层至输出层的权值。 5.针对本课题的RBF神经网络设计 5.1网络的设计matlab实现 设计主要包含隐含层和输出层,其中隐含层的传递函数为radbas(>,输出层的传递函数为纯线性函数purelin(>。 设隐含层神经元数目为S1个,输出层有S2个神经元。 神经网络工具箱中用于创建RBF网络的函数为newrbe(>,在设计过程中,最重要的参数是径向基函数的分布常数。 5.1.1神经网络创建函数 1)newrb<) 设计一个径向基网络。 newrb<)创建网络的过程是一个不断尝试隐藏层神经元个数的过程,在创建过程中,会根据误差不断向隐藏层添加神经元,直到误差满足要求为止。 调用格式为 Net=newrb [net,tr]=newrb(P,T,GOAL,SPREAD,MN,DF> 该函数设计的径向基网络net可用于函数逼近。 径向基函数的扩展速度SPREAD越大,函数的拟合就越平滑。 但是,过大的SPREAD意味着需要非常多的神经元以适应函数的快速变化。 如果SPREAD设定的过小,则意味着需要许多神经元来适应函数的缓慢变化,这样一来,设计的网络性能就不会很好。 因此,在网络设计过程中,需要用不同的SPREAD值进行尝试,以确定一个最优值。 2)newrbe<) 调用格式为 Net=newrbe Net=newrbe(P,T,SPREAD> 和newrb<)功能差不多,用于创建一个精确地神经网络,能够基于设计向量快速的无误差的设计一个径向基网络。 该函数在创建RBF网络的时候,自动选择隐含层数目,隐藏层的数目等于样本输入向量的数目,使得误差为0。 在样本输入向量非常多的情况下,用rbe就不大合适。 5.2具体步骤 该系统分为输入待识别数字,对输入数字的预处理,提取特征,通过网络分类器进行分类,最后得出分类结果。 图5-2手写体数字RBF神经网络框图 5.1对待识别的数字的处理 处理方法: 输入的字符样本有别于我们的训练样本和测试样本,因此就必须对输入字符图像进行处理使之与训练样本测试样本相符合。 再者,输入图像本身大小与数据库中所给数据又出入,所以处理时必要的。 图4-2分割的字符和样本字符 处理方法: 1.扩边 设处理前图像宽高分别是Wa、Ha,令Ma为宽高的较大者: Ma=max(Wa,Ha>,那么扩边后的图像大小Na=1.4Ma*1.4Ma,然后把原来的图像放在这个尺寸的中间。 (a>处理之前(b>处理之后 设图像处理前后的像素灰度值分别是: f(>,g(>。 则新图 (4-4> 其中,i=0,1,2,…wa。 j=0,1,2,…ha。 2.归一化处理 1.当用RBF网络解决非线性映射问题时,可用函数逼近与内插的观点来解释,对于其中存在的不适定问题,可用正则化理论来解决。 2.当用RBF网络解决复杂的模式分类任务时,用模式可分性观点来理解比较方便,其潜在性便是基于COVER关于模式可分的定理。 3.建立在密度估计概念上的核回归估计理论。 用插值的方法对输入字符图像进行处理。 在一个物理过程的输入与输出之间,客观上存在着一个固定但未知的映射关系,神经网络的学习过程相当于输入-输出映射重建过程,训练的目的是使其能过拟合成一个超曲面。 根据该超曲面对输入模式给出相应的输出模式。 插值则是对悉数数据点的超曲面重建。 f(x,y>表示原图点(x,y>的像素值。 原图的高宽分别是SH、SW目标图像的高宽分别是DH、DW.原图的点慨(Sx,Sy>满足 (4-5> (4-6> 目标图的点(Dx,Dy>的像素值 (4-7> 进行尺度变换,最终大小为29*29,如图4-8所示。 处理前处理后 图示为图像尺寸变换前后 5.3数字识别 归一化的输入通过神经网络识别,就可得出识别结果。 将数据库中的任意一个数字输入RBF神经网络分类器中得到输出,对比输入数字和输出结果,我们取输出数据中最大的一个与输入进行比较不难发现,该过程是正确的。 过程见下图: 图4-9识别的显示结果 5.4对实验结果的分析 5.总结和展望 5.1总结 本文主要内容是基于RBF神经网络的手写体数字识别的设计,在matlab环境下针对mnistall数据库所给的数据进行识别。 本文的主要过程可以分为数据的预处理、特征提取、数据库的训练与测试。 经过对实验结果的分析,表明了本实验所采用的RBF神经网络针对mnistall数据库中手写体数字的识别率在百分之九十以上,说明此次实验是成功的。 5.2展望 手写体数字识别是整个识别中最基本也是最简单的问题,但是至今识别率不高仍是一个令许多学者头疼的问题。 围绕识别率不高的原因依照个人观点具体归纳一下几点: 1.对所给单个数字图像的处理有明显的不足; 2.无论是基于RBF还是BP又或者是模板匹配,这些网络都具有不可忽视的缺点; 3.数据库的不完善,对整个数据训练所花费的时间过长; 6.致谢 论文的完成也标志着四年大学生涯的结束,这四年里有太多太多让我回忆的东西,而这些都将是我即将进入社会宝贵的财富。 在此我首先要感谢我的指导老师马勇,在论文完成的过程中马勇老师牺牲了很多自己本该休息的时间来帮助我,再一次诚心的感谢马勇老师! 接着我要感谢我的父母,四年来是父母不断的在背后支持我鼓励我,没有父母的滴滴汗水何来我这四年衣食无忧的大学生活。 最后我要感谢四年与我相处的同学朋友以及所有在我完成论文过程中指导我的朋友,没有你们,我不可能顺利的完成这篇论文。 在致谢最后我还想感谢一下我的大学,我未来的母校,是您为我提供这么美好的大学! 7.参考文献 [1]刘东泽,蔡建立.基于神经网络的手写体数字识别[J].2009,38(11>: 264-269 [2]丛爽。 面向MATLAB工具箱的神经网络理论与应用[M].合肥: 中国科学技术大学出版社,2000.244-270 [3]李冬梅,王正欧。 基于RBF神经网络的混沌神经序列预测[J].模式识别与人工智能,2001,14<2): 231-234 [4]王学雷,邵惠鹤,李亚芬。 一种径向基函数神经网络在线训练算法及其在非线性控制中的应用[J].信息与控制,2001,30<3): 249-253. [5]彭淑敏.神经网络数字识别技术研究与应用[D].硕士学位论文.西安电子科技大学,2005 [6]RafaelC.Gonzalez,RichardE.Woods著,阮秋琦,阮字智译.数字处理<第二版)[M].北京: 电子工业出版社,2003: 276-278 [7]宋敏.基于神经网络的目标识别技术研究[D].硕士学位论文.南京理工大学,2005 [8]汪勇旭.I蛩像目标识别方法研究【D】.硕士学位论文.西北工业大学,2003 [9]MatsuylaAerialandT.Knowledge-basedImageUnderstandingSystemsExpertSystemsforTransactiononGeoscienceandRemoteImageProcessing.IEEESensing,1987,GE-25(3>: 305-316 [10]边肇祺,张学工等.模式识别[M]-清华大学出版社,1988 [11]李金宗.模式识别导论[M].高等教育出版社,199 [12]杨治明.人工神经网络及其在数字识别中的应用研究[D].硕士学位论文.重庆大学,2003 [13]李长吾,李维,王忠雅.基于神经网络的模式识别与信息处理【J】.大连轻工业学院学报,1999,18<2): 116-119 [14]王健,靳奉祥,史玉峰.模式识别中特征选择与聚类分析【J】.测绘工程.2002,11<2): 21-24 [15]王炜,吴耿锋,张博锋,王媛.径向基函数 19-25 [16]齐峰,谭建荣,张树有.基于径向基函数神经网络的特征识别技术研究[J].计算机辅助设计与图形学学报,2002,14<6): 562-565 [17]赵清林,郭艳兵,梅强,齐占庆.确定RBF神经网络中心点的方法综述[J].燕山大学.广东自动化与信息工程,2002,2: 13-27
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 33 电子 科学 技术 基于 径向 神经网络 手写体 数字 识别