数学建模-神经网络算法.ppt
- 文档编号:2670978
- 上传时间:2022-11-06
- 格式:PPT
- 页数:203
- 大小:2.64MB
数学建模-神经网络算法.ppt
《数学建模-神经网络算法.ppt》由会员分享,可在线阅读,更多相关《数学建模-神经网络算法.ppt(203页珍藏版)》请在冰豆网上搜索。
数学建模经典算法陈旺虎神经网络与神经网络与神经网络算法神经网络算法学习目标拓宽视野感受神经网络算法的应用背景能够用神经网络算法解决一些简单问题不探究详细的理论基础内容安排人工神经网络简介人工神经网络的基本功能人工神经网络的发展历史人工神经网络的生物学基础M-P模型前馈神经网络单层感知器多层感知器BP算法BP网络应用案例(MATLAB计算)1.人工神经网络简介生物神经网络生物神经网络人类的大脑大约有人类的大脑大约有1.41011个神经细胞,亦称为神经元。
个神经细胞,亦称为神经元。
每个神经元有数以千计的通道同其它神经元广泛相互每个神经元有数以千计的通道同其它神经元广泛相互连接,形成复杂的生物神经网络。
连接,形成复杂的生物神经网络。
人工神经网络人工神经网络以数学和物理方法以及信息处理的角度对人脑神经网以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象,并建立某种简化模型,就称为人工神经络进行抽象,并建立某种简化模型,就称为人工神经网络(网络(ArtificialNeuralNetwork,缩写,缩写ANN)。
)。
对人类大脑系统的一阶特性的一种描述。
对人类大脑系统的一阶特性的一种描述。
(生理角度的模拟)(生理角度的模拟)基本原理基本原理存在一些输入和相应的输出,而对如何由输入得到输存在一些输入和相应的输出,而对如何由输入得到输出的机理并不清楚出的机理并不清楚把输入与输出之间的未知过程看成是一个把输入与输出之间的未知过程看成是一个“网络网络”,通过不断地给这个网络输入和相应的输出来通过不断地给这个网络输入和相应的输出来“训练训练”这个网络,网络根据输入和输出不断地调节自己的各这个网络,网络根据输入和输出不断地调节自己的各节点之间的权值来满足输入和输出。
节点之间的权值来满足输入和输出。
当训练结束后,给定一个输入,网络便会根据已调节当训练结束后,给定一个输入,网络便会根据已调节好的权值计算出相应的输出。
好的权值计算出相应的输出。
严格定义严格定义ANN最典型的定义由最典型的定义由Simpson在在1987年提出年提出人人工工神神经经网网络络是是一一个个非非线线性性的的有有向向图图,图图中中含含有有可可以以通通过过改改变变权权大大小小来来存存放放模模式式的的加加权权边边,并并且且可可以以从从不不完整的或未知的输入找到模式。
完整的或未知的输入找到模式。
ANN算法算法根据人的认识过程而开发出的一种算法根据人的认识过程而开发出的一种算法2.人工神经网络的基本功能
(1)联想记忆功能)联想记忆功能由于神经网络具有分布由于神经网络具有分布存储信息和并行计算的存储信息和并行计算的性能,因此它具有对外性能,因此它具有对外界刺激信息和输入模式界刺激信息和输入模式进行联想记忆的能力。
进行联想记忆的能力。
联想记忆有两种基本形联想记忆有两种基本形式式自联想记忆自联想记忆异联想记忆异联想记忆自联想记忆自联想记忆网络中预先存储(记忆网络中预先存储(记忆)多种模式信息多种模式信息当输入某个已存储模式的部分信息或带有噪声干扰的当输入某个已存储模式的部分信息或带有噪声干扰的信息时,网络能通过动态联想过程回忆起该模式的全信息时,网络能通过动态联想过程回忆起该模式的全部信息部信息异联想记忆异联想记忆网络中预先存储了多个模式对网络中预先存储了多个模式对每一对模式均由两部分组成,当输入某个模式对的一每一对模式均由两部分组成,当输入某个模式对的一部分时,即使输入信息是残缺的或迭加了噪声的,网部分时,即使输入信息是残缺的或迭加了噪声的,网络也能回忆起与其对应的另一部分络也能回忆起与其对应的另一部分不完整模式的自联想不完整模式的自联想神经网络通过预先存储信息和学习机制进行自适应训神经网络通过预先存储信息和学习机制进行自适应训练,可以从不完整的信息和噪声干扰中恢复原始的完练,可以从不完整的信息和噪声干扰中恢复原始的完整信息整信息这一能力使其在图象复原、图像和语音处理、模式识这一能力使其在图象复原、图像和语音处理、模式识别、分类等方面具有巨大的潜在应用价值别、分类等方面具有巨大的潜在应用价值2.人工神经网络的基本功能(续)
(2)非线性映射功能)非线性映射功能非线性映射功能非线性映射功能在客观世界中,许多系统的输入与输出之间存在复杂在客观世界中,许多系统的输入与输出之间存在复杂的非线性关系,对于这类系统,往往很难用传统的数的非线性关系,对于这类系统,往往很难用传统的数理方法建立其数学模型。
理方法建立其数学模型。
设计合理的神经网络,通过对系统输入输出样本对进设计合理的神经网络,通过对系统输入输出样本对进行自动学习,能够以任意精度逼近任意复杂的非线性行自动学习,能够以任意精度逼近任意复杂的非线性映射。
映射。
神经网络的这一优良性能使其可以作为多维非线性函神经网络的这一优良性能使其可以作为多维非线性函数的通用数学模型。
该模型的表达是非解析的,输入数的通用数学模型。
该模型的表达是非解析的,输入输出数据之间的映射规则由神经网络在学习阶段自动输出数据之间的映射规则由神经网络在学习阶段自动抽取并分布式存储在网络的所有连接中。
抽取并分布式存储在网络的所有连接中。
具有非线性映射功能的神经网络应用十分广阔,几乎具有非线性映射功能的神经网络应用十分广阔,几乎涉及所有领域。
涉及所有领域。
2.人工神经网络的基本功能(续)(3)分类与识别功能)分类与识别功能分类与识别功能分类与识别功能神经网络对外界输入样本具有很强的识别与分类能力。
神经网络对外界输入样本具有很强的识别与分类能力。
对输入样本的分类实际上是在样本空间找出符合分类对输入样本的分类实际上是在样本空间找出符合分类要求的分割区域,每个区域内的样本属于一类。
要求的分割区域,每个区域内的样本属于一类。
传统分类方法只适合解决同类相聚,异类分离的的识传统分类方法只适合解决同类相聚,异类分离的的识别与分类问题。
别与分类问题。
但客观世界中许多事物(例如,不同的图象、声音、但客观世界中许多事物(例如,不同的图象、声音、文字等等)在样本空间上的区域分割曲面是十分复杂文字等等)在样本空间上的区域分割曲面是十分复杂的,相近的样本可能属于不同的类,而远离的样本可的,相近的样本可能属于不同的类,而远离的样本可能同属一类。
能同属一类。
神经网络可以很好地解决对非线性曲面的逼近,因此神经网络可以很好地解决对非线性曲面的逼近,因此比传统的分类器具有更好的分类与识别能力。
比传统的分类器具有更好的分类与识别能力。
2.人工神经网络的基本功能(续)(4)优化计算功能)优化计算功能优化计算功能优化计算功能优化计算是指在已知的约束条件下,寻找一组参数组优化计算是指在已知的约束条件下,寻找一组参数组合,使由该组合确定的目标函数达到最小值。
合,使由该组合确定的目标函数达到最小值。
某些类型的神经网络可以把待求解问题的可变参数设某些类型的神经网络可以把待求解问题的可变参数设计为网络的状态,将目标函数设计为网络的能量函数。
计为网络的状态,将目标函数设计为网络的能量函数。
神经网络经过动态演变过程达到稳定状态时对应的能神经网络经过动态演变过程达到稳定状态时对应的能量函数最小,从而其稳定状态就是问题的最优解。
量函数最小,从而其稳定状态就是问题的最优解。
这种优化计算不需要对目标函数求导,其结果是网络这种优化计算不需要对目标函数求导,其结果是网络自动给出的。
自动给出的。
2.人工神经网络的基本功能(续)(5)知识处理功能)知识处理功能知识处理功能知识处理功能知识是人们从客观世界的大量信息以及自身的实践中知识是人们从客观世界的大量信息以及自身的实践中总结归纳出来的经验、规则和判据。
总结归纳出来的经验、规则和判据。
神经网络获得知识的途径与人类似,也是从对象的输神经网络获得知识的途径与人类似,也是从对象的输入输出信息中抽取规律而获得关于对象的知识,并将入输出信息中抽取规律而获得关于对象的知识,并将知识分布在网络的连接中予以存储。
知识分布在网络的连接中予以存储。
神经网络的知识抽取能力使其能够在没有任何先验知神经网络的知识抽取能力使其能够在没有任何先验知识的情况下自动从输入数据中提取特征,发现规律,识的情况下自动从输入数据中提取特征,发现规律,并通过自组织过程将自身构建成适合于表达所发现的并通过自组织过程将自身构建成适合于表达所发现的规律。
规律。
另一方面,人的先验知识可以大大提高神经网络的知另一方面,人的先验知识可以大大提高神经网络的知识处理能力,两者相结合会使神经网络智能得到进一识处理能力,两者相结合会使神经网络智能得到进一步提升。
步提升。
神经网络的发展历程经过了神经网络的发展历程经过了4个阶段。
个阶段。
(1)启蒙期(启蒙期(1890-1969年)年)1890年,年,W.James发表专著发表专著心理学心理学,讨论了脑的结构和功能。
,讨论了脑的结构和功能。
1943年,心理学家年,心理学家W.S.McCulloch和数学家和数学家W.Pitts提出了描述脑提出了描述脑神经细胞动作的数学模型,即神经细胞动作的数学模型,即M-P模型(第一个神经网络模型)。
模型(第一个神经网络模型)。
1949年,心理学家年,心理学家Hebb实现了对脑细胞之间相互影响的数学描述,实现了对脑细胞之间相互影响的数学描述,从心理学的角度提出了至今仍对神经网络理论有着重要影响的从心理学的角度提出了至今仍对神经网络理论有着重要影响的Hebb学习法则。
学习法则。
1958年,年,E.Rosenblatt提出了描述信息在人脑中贮存和记忆的数学提出了描述信息在人脑中贮存和记忆的数学模型,即著名的感知机模型(模型,即著名的感知机模型(Perceptron)。
)。
1962年,年,Widrow和和Hoff提出了自适应线性神经网络,即提出了自适应线性神经网络,即Adaline网网络,并提出了网络学习新知识的方法,即络,并提出了网络学习新知识的方法,即Widrow和和Hoff学习规则学习规则(即(即学习规则),并用电路进行了硬件设计。
学习规则),并用电路进行了硬件设计。
3.神经网络的发展历史3.神经网络的发展历史(续)
(2)低潮期(低潮期(1969-1982)受当时神经网络理论研究水平的限制,以及冯受当时神经网络理论研究水平的限制,以及冯诺依诺依曼式计算机发展的冲击等因素的影响,神经网络的研曼式计算机发展的冲击等因素的影响,神经网络的研究陷入低谷。
究陷入低谷。
在美、日等国有少数学者继续着神经网络模型和学习在美、日等国有少数学者继续着神经网络模型和学习算法的研究,提出了许多有意义的理论和方法。
算法的研究,提出了许多有意义的理论和方法。
例如,例如,1969年,年,S.Groisberg和和A.Carpentet提出了至今为止提出了至今为止最复杂的最复杂的ART网络,该网络可以对任意复杂的二维模式进行自网络,该网络可以对任意复杂的二维模式进行自组织、自稳定和大规模并行处理。
组织、自稳定和大规模并行处理。
1972年,年,Kohonen提出了提出了自组织映射的自组织映射的SOM模型模型。
3.神经网络的发展历史(续)(3)复兴期(复兴期(1982-1986)1982年,物理学家年,物理学家Hoppield提出了提出了Hoppield神经网络神经网络模型,该模型通过引入能量函数,实现了问题优化求模型,该模型通过引入能量函数,实现了问题优化求解,解,1984年他用此模型成功地解决了旅行商路径优化年他用此模型成功地解决了旅行商路径优化问题问题(TSP)。
在在1986年,在年,在Rumelhart和和McCelland等出版等出版ParallelDistributedProcessing一书,提出了一书,提出了一种著名的多层神经网络模型,即一种著名的多层神经网络模型,即BP网络。
该网络是网络。
该网络是迄今为止应用最普遍的神经网络。
迄今为止应用最普遍的神经网络。
3.神经网络的发展历史(续)(4)新连接机制时期(新连接机制时期(1986-现在)现在)神经网络从理论走向应用领域,出现了神经网络芯片神经网络从理论走向应用领域,出现了神经网络芯片和神经计算机。
和神经计算机。
神经网络主要应用
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数学 建模 神经网络 算法