BP神经网络算法Word格式文档下载.docx
- 文档编号:16711564
- 上传时间:2022-11-25
- 格式:DOCX
- 页数:31
- 大小:268.10KB
BP神经网络算法Word格式文档下载.docx
《BP神经网络算法Word格式文档下载.docx》由会员分享,可在线阅读,更多相关《BP神经网络算法Word格式文档下载.docx(31页珍藏版)》请在冰豆网上搜索。
Artificialintelligence;
BPneuralnetwork;
changegradientmethod;
improve
第一章绪论
1.1人工神经网络的发展史
早在20世纪初,人们就已经发现人脑的工作方式与现在的计算机是不同的。
人脑是由极大量基本单元(称之为神经元)经过复杂的相互连接而成的一种高度复杂的、非线性的、并行处理的信息处理系统。
人工神经网络(artificialneuralnetwork,ANN),是借鉴人脑的结构和特点,通过大量简单处理单元(神经元或节点)互连组成的大规模并行分布式信息处理和非线性动力学系统。
它具有巨量并行性、结构可变性、高度非线性、自学习性和自组织性等特点。
因此,它能解决常规信息处理方法难以解决或无法解决的问题,尤其是那些属于思维(形象思维)、推理及意识方面的问题。
从人脑的生理结构出发来研究人的智能行为,模拟人脑信息处理的过程,即人工神经网络的研究,自20世纪40年代以来,它的发展经历了一条由兴起、萧条和兴盛三个阶段构成的曲折道路[1][2][3]。
早在1943年精神病学家和神经解剖学家McCulloch与数学家Pitts在数学生物物理学会刊《BulletinofMathematicalBiophysics》上发表文章,总结了生物神经元的一些基本生理特征,提出了形式神经元的数学描述与结构,即MP模型。
他们的神经元模型假定遵循一种所谓“有或无”(all-or-none)规则。
如果如此简单的神经元数目足够多和适当设置突触连接并且同步操作,McCulloch和Pitts证明这样构成的网络原则上可以计算任何可计算函数。
这是一个有重大意义的结果,有了它就标志着神经网络和人工智能学科的诞生。
1949年生理学家D.O.Hebb出版了《TheOrganizationofBehavior》(行为组织学)一书。
该书第一次鲜明提出了神经元连接强度的Hebb规则。
他认为学习过程是在突触上发生的,突触的联系强度随其前后神经元的活动而变化。
根据这一假设提出的学习规则为神经网络的学习算法奠定了基础,使神经网络的研究进入了一个重要的发展阶段。
1954年Minsky在Princeton大学撰写了“神经网络”的博士论文,题目是《TheoryofNeural-AnalogReinforcementSystemsandItsApplicationtotheBrain-ModelProblem》。
1961年Minsky发表了早期关于人工智能(AI)的优秀论文“StepsTowardArtificialIntelligence”,论文的后半部包含了当今神经网络的大部分内容。
1967年Minsky出版了《Computation:
FiniteandInfiniteMachines》一书,它是第一本以书的形式扩展了McCulloch和Pitts1943年的结果,并把他们置于自动机理论和计算理论的背景中。
1958年,计算机科学家Rosenblatt提出感知机(Perceptron),首次把神经网络理论付诸工程实现。
这是一种学习和自组织的心理学模型,它基本上符合神经生物学的知识,模型的学习环境是有噪声的,网络构造中存在随机连接,这是符合动物学习的自然环境。
当时,人们对神经网络的研究过于乐观,认为只要将这种神经元互连成一个网络,就可以解决人脑思维的模型问题。
但是,随之而来的Minsky和Papert(1969)所著的《Perceptron》一书,利用数学证明单层感知器所能计算的根本局限,提出感知器的处理能力有限,甚至连XOR这样的问题也不能解决,并在多层感知器的总结章中,论述了单层感知器的所有局限性在多层感知器中是不可能被全部克服的。
当时人工智能的以功能模拟为目标的另一分支出现了转机,产生了以知识信息处理为基础的知识工程(KnowledgeEngineering),给人工智能从实验室走向实用带来了希望。
同时,微电子技术的发展,使传统的计算机的处理能力有很大提高,数字计算机的发展使当时科学界普遍认为它能解决一切问题,包括模式识别、机器人控制等。
因而不必去寻找新的计算理论与实现方法。
而且,当时的工艺水平还未能达到制作实用的具有足够规模的神经网络,用分离的电子管即使是晶体管所制作的神经网络也只能作示教星的表演。
这些因素的共同作用,促使人们降低了对神经网络研究的热情,从而使神经网络进入萧条时期。
但在其间,一些人工神经网络的先驱仍然致力于这一研究,美国波士顿大学的Grossberg提出了自适应共谐振理论(ART网),芬兰的Kohonen提出了自组织映射(SOM),Amari致力于神经网络数学理论的研究,这些都为神经网络的进一步研究与发展奠定了基础。
1982年,美国加州工学院Hopfield提出Hopfield神经网络模型,开创了神经网络用于联想记忆和优化计算的新途径,有力地推动了神经网络的发展。
1985年,Hinton和Sejnowsky等人提出了Boltzmann模型,首次采用了多层网络的学习算法,在学习中采用统计热力学模拟退火技术,保证整个系统趋于全局稳定点。
1986年Remelhart和McClelland等人提出了并行分布处理的理论,同时,Werbos和Parker独立发展了多层网络的BP算法,这是目前最普遍的网络,广泛用于实际问题求解。
神经网络的发展已到了一个新时期,它涉及的范围正在不断扩大,其应用渗透到各个领域。
在连接主义模式下,进化与学习结合的思想正在迅速发展,神经计算、进化计算正成为其发展的一个重要方向。
1994年廖晓昕对细胞神经网络建立了新的数学理论与基础,得出了一系列结果,如平衡态的全局稳定性、区域稳定性、周期解的存在性和吸引性等,使该领域取得了新的进展。
P.Werbos通过混沌、独立子系统的数学技术来理解人的认知过程,建立新的神经信息处理模型和框架。
日本学者Amari.S将微分流形和信息集合应用于人工神经网络的研究,探索系统化的新的神经信息处理理论基础,为人工神经网络的理论研究开辟了条崭新的途径。
神经网络理论有极强的数学性质和生物学特征,尤其是在神经科学、心理学和认识科学等方面提出了一些重大问题,是向神经网络理论研究的新挑战,也是它发展的机会。
21世纪神经网络理论日益变得更加外向,不断产生具有重要意义的概念和方法,推进神经网络向更高阶段发展。
如今,神经网络的应用,已渗透到模式识别、图像处理、非线性优化、语音处理、自然语言理解、自动目标识别、机器人、专家系统等各个领域,并取得了令人瞩目的成果。
神经网络理论也已成为涉及神经生理科学、认识科学、数理科学、心理学、信息科学、计算机科学、微电子学、光学、生物电子学等多学科的新兴的、综合性的前沿学科。
从众多应用研究领域取得的丰硕成果来看,人工神经网络的发展具有强大的生命力。
当前存在的问题是智能水平还不高,许多应用方面的要求还不能得到很好的满足;
网络分析与综合的一些理论性问题(如稳定性、收敛性的分析,网络的结构综合等)还未得到很好的解决。
随着人们对大脑信息处理机理认知的深化,以及人工神经网络智能水平的提高,人工神经网络必将在科学技术领域发挥更大的作用。
1.2人工神经网络的应用
人工神经网络的应用领域极其广泛,1988年《DARPA神经网络研究报告》列举了不同领域神经网络的应用实例,见表1·
1。
从表中可以看出,神经网络在人工智能、自动控制、计算机科学、信息处理、机器人、模式识别等方面都有重要的应用实例。
随着人工神经网络技术的发展,其用途日益广泛,应用领域也在不断拓展,已在各工程领域中得到广泛的应用[4]。
表1·
1神经网络应用实例
应用领域
应用实例
航空航天业
高性能飞机自动驾驶仪、飞行航线模拟、飞行器控制系统、自动驾驶仪增强器、飞机构件模拟、飞机构件故障检测等
汽车业
汽车自动驾驶系统、保单行为分析
银行业
支票和其他文档读取、信用卡申请书评估
信用卡行为检查
用于辨认与遗失的信用卡相关的不寻常的信用卡行为
国防工业
武器制导、目标跟踪与识别、脸部识别、新型传感器、声纳、雷达、图像处理与数据压缩、特征提取与噪声抑制、信号/图像识别
电子业
编码序列预测、集成电路芯片版图设计、过程控制芯片故障检测、机器人视觉、语音合成非线性建模
娱乐业
动画、特效、市场预测
金融业
房地产估价、贷款指导、抵押审查、集团债务评估、信用曲线分析、有价证券交易程序、集团财政分析、货币价格预测
工业
预测熔炉产生的气体和其他工业过程,以取代复杂而昂贵的仪器设备
保险业
政策应用评估,产出最优化
制造业
制造业过程控制、产品设计与分析、过程与机器诊断、实时微粒识别、可视化质量检测系统、焊接质量分析、纸质预测、计算机芯片质量分析、化学产品设计分析、机器保养分析、工程投标、经营与管理、化学处理系统的动态建模等
医药
乳腺癌细胞分析,EEG和ECG分析,假体设计,移植时间最优化,降低医疗费用支出,提高医疗质量
石油天然气
勘探
机器人技术
行走路线控制、铲车机器人、操纵控制器、视觉系统等
语音
语音识别、语音压缩、元音分类、文本-语音合成等
有价证券
市场分析、自动债券评级、股票交易咨询系统等
电信业
图像与数据压缩、自动信息服务、实时语言翻译、用户付费处理系统等
交通
卡车刹车诊断系统、车辆调度、行程安排系统等
神经网络比较擅长的应用领域如下:
(1)模式识别
神经网络经过训练可有效的提取信号、语言、图像、雷达、声纳等感知模式的特征,并能解决现有启发模式识别系统不能很好解决的不变量测量、自适应、抽象或概括等问题。
这方面的主要应用有:
图形、符号、手写体及语音识别,雷达及声纳等目标识别,药物构效关系等化学模式信息辨认,机器人视觉、听觉,各种最近相邻模式聚类及识别分类,遥感、医学图像分析,计算机视觉、计算机输入装置等。
神经网络可应用于模式识别的各个环节:
特征提聚、聚类分析、边缘检测、信号增强、噪音抑制、数据压缩以及各种变换、分类判决等。
模式识别是人工神经网络特别适宜求解的一类问题,神经网络模式识别技术在各领域中的广泛应用是神经网络技术发展的一个重要侧面。
(2)人工智能
专家系统是人工智能领域研究时间最长,应用最成功的技术,但人们在应用专家系统解决诸如语音识别、图像处理和机器人控制等这类似于人脑的形象思维的问题时,却遇到很大的困难。
神经网络的问世为人工智能开辟了一条崭新的途径,成为人工智能研究领域中的后起之秀,它具有的自学习能力是传统专家系统望尘莫及的。
神经网络技术能对不完整信息进行补全,根据已学会的知识和处理问题的经验对复杂问题作出合理的判断决策,给出较满意的解答,或对未来过程作出有效的预测和估计,从而使之在人工智能领域获得广泛的应用。
这个方面的主要应用有:
自然语言处理、市场分析、预测估值、系统诊断、事故检查、密码破译、语言翻译、逻辑推理、知识表达、智能机器人、模糊评判等。
(3)控制工程
神经网络在诸如机器人运动控制、工业生产中的过程控制等复杂控制问题方面有独到之处。
较之基于传统数学计算机的离散控制方式,神经网络更适宜于组成快速实施自适应控制系统。
多变量自适应控制、变结构优化控制、并行分布控制、智能及鲁棒控制等。
(4)优化计算和联想控制
由于并行、分布式的计算结构,神经网络在求解诸如组合优化(NP完备问题)、费心性优化等一系列问题上表现出高速的集体计算能力。
在VLSI自动排版、高速通信开关控制、航班分配、货物调度、路径选择、组合编码、排序、系统规划、交通管理以及图论中各类问题的计算等方面得到了成功应用。
联想记忆的作用是用一个不完整的模糊的信息联想出储存在记忆中的某个完整、清晰的模式来。
如何提高模式储存量和联想质量仍是神经网络的热点之一。
目前在这方面的应用又内容寻址器、人脸识别器、知识数据库等。
(5)信号处理
神经网络的自学习和自适应能力使其成为对各类信号进行多用途加工处理的一种天然工具,主要用于解决信号处理中的自适应和非线性问题。
包括自适应均衡、自适应滤波、回拨抵消、自适应波束形成、自适应编码等自适应问题和各种非线性问题,如非线性区域的模式分类、系统辨识和高维非线性系统的检测、估计等问题,还可对病态问题进行求解。
神经网络在弱信号检测、通信、自适应滤波等方面的应用尤其引人注目,并已在许多行业得到应用。
虽然神经网络在许多领域内都有成功的应用实例,但神经网络也不是尽善尽美的。
目前,神经网络的理论研究和实际用途都在进一步探索之中,相信随着人工神经网络研究的进一步深入,其应用领域会更广,用途会更大。
第二章人工神经网络的基本原理及模型
2.1神经网络构成的基本原理[3][5][6]
2.1.1人工神经元模式
神经网络是由大量简单处理单元组成,通过可变权值连接而成的并行分布式
图2·
1神经元的一般描述
系统。
神经元是人工神经网络的基本处理单元,它是一个多输入-单输出的非线性器件,其结构如图2·
1所示。
图中,xi为输入信号,wij表示从第i个神经元到第j个神经元的连接权值,θj为第j个神经元的阈值。
设sj为外部输入信号,yj为输出信号,在上述模型中第j个神经元的变换可描述为
(2·
1)
这里采用的非线性函数f(x)可以是阶跃函数、分段函数及Sigmoid型函数。
2.1.2连接权值
人工神经网络的处理单元间相互连接,所有的连接构成一有向图。
每一连接对应于一个实数,称为连接权值,或称为权重。
权值的集合可看作是长期记忆。
我们可以用权矩阵W来表示网络中的连接模式,W中的元素是wij。
连接权值的类型一般分为激发和抑制形式,正的权值表示激发连接,相反,负的权值表示抑制连接。
连接权值的连接方式是人工神经网络的特征描述。
2.1.3神经网络状态
在时刻t,每一个神经元都有一个实数值,称之为神经元状态,也叫做神经元的激励值,用xi表示神经元uj的状态,用X(t)表示神经网络的状态空间。
在各种不同的神经网络类型中,状态空间可以作各种不同的假设。
状态空间可能是续的,也可能是离散的;
可能是有界的,也可能是无界的;
可能在一个实数区间上取值,也可能取有限值;
最常见的情形是取二值,即0和1两种状态,或-1和1两种状态,亦或是取连续实数值。
2.1.4神经网络的输出
对于每一个神经元,都有一个输出,并通过连接权值将输出传送给其相连的处理单元,输出信号直接依赖于处理单元的状态或激励值。
这种依赖性通过输出变换函数fj对于处理单元uj的作用来表示。
假如我们用zj(t)来定义t时刻神经元的ui输出那么
zj(t)=fj(xj(t))(2·
2)
或写成向量的形式
Z(t)=f(X(t))(2·
3)
这里,Z(t)是神经网络的输出向量,f定义为状态向量与每一个分量的对应函数。
一般是在区间(0,1)上的有界函数。
人工神经网络模型,按它的网络性能分类,可以分成确定性的、随机性的、连续型的和离散型的网络。
Hopfield网络模型就存在离散和连续两类。
确定性是相对于随机性而言,当网络状态按概率分布变化就呈现了随机性。
Boltzmann机就是这种类型的人工神经网络模型,该神经元取0和1两种状态,每个神经元状态的转换是一随机函数。
2.2神经网络的结构
除单元特性外,网络的拓扑结构也是NN的一个重要特性,按网络的拓扑结构分类,人工神经网络可分成3类[2][6]:
(1)相互连接的网络
相互连接的网络中任意神经元之间都可能有连接,信息在神经元之间可以反复传递,造成网络状态的不断变化。
系统整体从某一初始状态开始,经过不断的变化过程,最后进入某一平衡状态、周期振荡或其他状态。
(2)分层前馈型网络
分层前馈网络的神经元分层排列,并将其分为输入层、隐含层和输出层。
各神经元接受前一层的输入,并输出给下一层,没有反馈(如图2·
2·
1所示)。
节点分为两类,即输入单元和计算单元,每一计算单元可有任意多个输入,但只有一个输出(它可以耦合到任意多个其他节点作为其输入)。
前馈型网络可分为不同的层,每一层的神经元只接收前一层神经元的输入,输入层接收外界的输入模式。
输入模式经过各层神经元的响应处理变为输出层的输出。
最常用的前馈神经网络就是BP神经网络(BackpropagationNeuralNetwork)和RBF径向基函数网络(RadialBasisFunctionNeuralNetwork)。
图2·
1具有一个隐层的前馈型网络
(3)反馈分层网络
如图2·
2所示,该网络是在分层前馈网络基础上,将网络的输出反馈到网络的输入,反馈可以将全部输出反馈,也可以将部分输出反馈。
所有节点都是计算单元,同时也可接受输入,并向外界输出。
最典型的反馈神经网络就是Hopfield神经网络。
ANN的工作过程主要分为两个阶段,一个阶段是学习期,此时各计算单元状态不变,各连线上的权值通过学习来修改。
第二阶段是工作期,此时连接权值固定,计算单元状态变化,以达到某种稳定状态。
2单层全连接反馈型网络
从作用效果来看,前馈型网络主要是函数映射,可用于模式识别和函数逼近。
按对能量函数的所有极小点的利用情况,可将反馈型网络分为两类:
一类是能量函数的所有极小点都起作用,主要用作各种联想存储器;
另一类只利用全局极小点,它主要用于求解优化问题。
2.3神经网络的特点
神经网络的主要特点是:
(1)分布式储存信息。
其信息的储
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- BP 神经网络 算法