神经网络课程大作业.docx
- 文档编号:8726050
- 上传时间:2023-02-01
- 格式:DOCX
- 页数:15
- 大小:632.05KB
神经网络课程大作业.docx
《神经网络课程大作业.docx》由会员分享,可在线阅读,更多相关《神经网络课程大作业.docx(15页珍藏版)》请在冰豆网上搜索。
神经网络课程大作业
摘要
神经控制是一种新型的控制系统,其在动态模拟、建模和控制方面应用广泛。
人工神经网络是人工智能的重要分支,具有自适应、自组织和自学习的特点。
回顾了人工神经网络理论的发展历史,并介绍了其在信息、医学、经济、控制等领域的应用及研究现状。
随着人们对人工神经网络不断地探索和研究,并将其与一些传统方法相结合,将推动人工智能的发展,在以后的生产生活中发挥更大的作用。
关键词:
人工神经网络;应用;现状;发展
Abstract
Neuralcontrolisanewtypeofcontrolsysteminthedynamicsimulation,modelingandcontrolapplications.Asanimportantbranchofartificialintelligence,artificialneuralnetworkownthecharacteristicsofself-adaption,self-organizationandself-learning.Reviewthedevelopmenthistoryofartificialneuralnetworktheoryanditsapplicationandresearchstatusinthefieldofinformation,medicine,economic,controlandothersareintroduced.Ascontinuousexploringandresearchingthecombinationofartificialneuralnetworkandsometraditionalmethodswillpromotethedevelopmentofartificialintelligenceandplayabiggerroleintheproductionandlivinglater.
Keywords:
ArtificialNeuralNetwork;application;currentsituation;prospect
1绪论
1.1人工神经网络概述
人工神经网络是对生理学上真实人脑生物神经元网络的结构、功能、以及若干基本特性的某种理论抽象、简化和模拟,它实际上是一种复杂的信息处理系统,是由大量神经元通过极其丰富和完善的联接而构成的自适应非线性动态系统。
众所周知,人类的智能来源于大脑,而大脑是由大量生物神经元(生物神经细胞)组成的,众多的生物神经元按照某种方式相互连接,形成了人脑内部的生理神经网络,也就形成了人体内结构复杂的信息处理中心。
医学研究表明,人脑的学习过程就是神经元之间连接强度随外部激励信息做自适应变化的过程,大脑处理信息的结果由神经元的状态表现出来。
图1-1神经网络结构示意图
神经元在结构上由细胞体、树突、轴突和突触四部分组成。
树突是精致的管状延伸物,是细胞体向外延伸出的许多较短的分支,围绕细胞体形成灌木丛状,他们的作用是接受来自四面八方传入的神经冲击信息,相当于细胞的“输入端”信息从树突出发,经过细胞体,然后由轴突传出。
轴突是由细胞体向外伸出的最长的一条分支,形成一条通路,信号能经过此通路从细胞体长距离地传送到脑神经系统的其他部分,其相当于细胞的“输出端”。
突触是神经元之间通过一个神经元的轴突末梢和其他神经元的细胞体或树突进行通信连接,这种连接相当于神经元之间的输入输出的接口。
1.2人工神经网络的基本模型
人工神经网络是对生物神经网络的工作原理和功能的抽象和模拟,它的构成以一定的数学模型为依据,以数值的输入、输出反映系统对激励的响应结果。
因此,功能和解决方案不同的人工神经网络,具有不同的数学模型,下面简要介绍几种典型的人工神经网络数学模型:
图1-2人工神经元模型
(1)MP模型
由美国心理学家WarrenMcCulloch和数学家WalterHPitters提出的形式
神经元数学模型(MP模型),它是人工神经网络理论研究的基础。
它假设有N个神经元互连,每个神经元的活性状态
(i=1,2,3,4…,N)取0或1,分别表示抑制或兴奋,每个神经元的状态按照公式(1-1)所表示的规则受其他神经元的制约:
(1-1)
其中
表示神经元i与神经元j之间的突触连接强度,
表示神经元i的阈值,f(.)是去阶跃函数U(.)。
机器学习的过程就是调整
的过程。
(2)改进MP模型
具有延时的MP模型表示为:
(1-2)
其中
为突触延时,它具有如下特征:
1)神经元活动遵循“0/1”规律;
2)神经元为“多入单出”单元;
3)具有“空间整合”与“阈值”作用,它描述为
(1-3)
4)所有神经元具有相同的、恒定的工作节律,它们取决于突触延时
;
5)神经元突触延时
为常数,权系数也为常数,即
(1-4)
(3)多层网络
ØRumelhart的并行分布处理模型
并行分布处理模型或PDP模型相当于一个神经网络,他的功能是单一化的,通常一个模型解决一个问题,因此,以该类模型为基础的人工神经网络必定是多种多样的,正如人的大脑一样,各个功能区负责一定的功能和执行一定的任务。
它对信息的处理是并行的,但是对信息的表示却是分布的,知识被各单元之间的连接所“编码”,学习的目的就是寻求一组正确的连接强度,以便在一定条件下产生正确的激活模式,信息处理本身就在使用知识,而学习也就是在处理过程中完成。
Ø主/从模型
Lapedes和Farber提出的主/从网络则是对Hopfield模型的发展。
Hopfield模型有两个局限性:
一是要求连接的对称性;二是不能求解高阶间题。
主/从网络模型的目标正是为了克服这两个限制。
其从网络与HoPfield模型一致,但其权
由主网络决定,且并不要求具有对称性。
Ø多层感知器模型
多层感知机(Perceptron)模型,是在输入输出结点间具有一个以上结点层的前
馈监督训练网络。
从理论上说,三层感知机可以创造分类器中所需的任何连续决策函数。
ØCMAC模型
CMAC模型是一种类似于多层感知机的前馈结构,适当地形成连续值输入与
输出间的非线性映射,可以迅速地自适应。
Ø特征图模型
(4)HoPfield模型
HoPfield网络模型有离散和连续两种。
亦设网络由N个神经元组成,神经元的状态随机地异步变化,且为对称连接。
通过引入能量函数E,且已证明E单调下降,从而该网络必趋于定态吸引子。
两种Hopfield模型等价,由此模型研制的神经计算机,共计算时间就是网络趋于定态的时间。
1.3人工神经网络的特点
由于人工神经网络是基于生理神经网络的自适应非线性动态系统,因此它具有独特的功能和特点
(1)可以充分逼近任意复杂的非线性关系;
(2)所有定量和定性的信息的保存为等势分布,储存在网络内的各神经元上,具有很强的“鲁棒性”和“容错性”;
(3)并行分布处理使得运用计算机和特定的硬件,快速进行大量的运算成为可能;
(4)可学习和自适应未知的或不确定的系统;
(5)能够同时处理定量和定性的知识。
1.4人工神经网络的分类
目前人工神经网络的模型已经有50多种,为了研究方便,从不同角度对它进行分类:
1)按网络结构分类:
分为前馈型和反馈型网络;
2)按网络的性质分类:
分为连续性、离散性、确定性和随机性网络;
3)按网络学习方式分类:
分为有导师和无导师(包括自组织学习)学习;
4)按突触连接的性质分类:
分为一阶线性关联和高阶非线性关联网络。
2神经网络发展
人工神经网络的整个发展过程,大致可以分为4个阶段:
早期阶段,过渡阶段,复兴阶段,发展阶段。
2.1早期阶段
1943年,生理学家McCulloch和数学家Pitts发表文章,提出了第一个神经元模型(M-P模型),他们的努力奠定了网络模型和以后神经网络开发的基础,开启了人们对人工神经网络的研究。
1951年,心理学家DonalaO.Hebb提出了连接权值强化的Hebb法则:
在神经网络中,信息存储在连接权中,神经元之间突触的联系强度是可变的,这种变化建立起神经元之间的连接。
Hebb法则为构造有学习功能的神经网络模型奠定了基础。
1954年,生物学家Eccles提出了真实突触的分流模型,这一模型通过突触的电生理实验得到证实,因而为神经网络模拟突触的功能提供了原型和生理学的证据。
1956年,Uttley发明了一种由处理单元组成的推理机,用于模拟行为及条件反射。
70年代中期,他把该推理机用于自适应模式识别,并认为该模型能反映实际神经系统的工作原理。
1960年,Widrow和Hoff提出了自适应线性元件Adaline网络模型,这是一种连续取值的自适应线性神经元网络模型,他们对分段线性网络的训练有一定作用,此方法速度较快且具有较高的精度。
2.2过渡阶段
在第一次神经网络研究热潮中,人们忽视了其本身的局限性。
1969年Minskyh和Papert经过多年的研究,提出了对当前成果的质疑,指出当前的网络只能应用于简单的线性问题,却不能有效地应用于多层网络,由此开始了神经网络的低谷期。
1972年,芬兰的Kohonen教授,提出了自组织映射(SOM)理论;同时美国的神经生理学家和心理学家Anderson,提出了一个与之类似的神经网络,称为“交互存储器”。
现在的神经网络主要是根据Kohonen的工作来实现的[3]。
1980年福岛邦彦发表的“新认知机”是视觉模式识别机制模型,它与生物视觉理论结合,综合出一种神经网络模型,使它像人类一样具有一定模式识别能力。
在低谷时期,许多重要研究成果都为日后神经网络理论研究打下了坚实的基础。
2.3复兴时期
1982年,美国物理学家Hopfield博士提出了Hopfield模型理论,他证明了在一定条件下,网络可以达到稳定的状态。
在他的影响下,大量学者又重新开始了对神经网络的研究。
1986年,由美国的Rumelhart和McCkekkand提出了PDP(ParallelDistributedProcessing)网络思想,再一次推动了神经网络的发展。
20世纪90年代中后期,神经网络研究步入了一个新的时期,在已有理论不断深化的同时,新的理论和方法也不断涌现。
1995年,Jenkins等人开始研究光学神经网络(PNN),建立了光学二维并行互连与电子学混合的光学神经网络系统。
经过多年的发展,目前已有上百种的神经网络模型被提出与应用。
2.4发展时期
20世纪80年代,随着人工神经网络在世界范围内的复苏,我国也逐步掀起了对其的研究热潮。
1990年2月由国内8个顶尖学会(生物物理学会和心理学会、人工智能学会、自动化学会、中国电子学会、中国计算机学会、通信学会、物理学会)联合在北京召开“中国神经网络首届学术会议”。
这次大会的主题是“八学会联盟,探智能奥秘”,并且收到300多篇学术论文,开创了中国人工神经网络及神经计算机方面科学研究的新纪元。
经过十几年的不断发展中国学术界和工程界在人工神经网络的理论研究和应用方面取得了丰硕成果。
与此同时,国外人工神经网络也在迅速发展着。
1987年,在美国加州召开了第一届国际神经网络学会。
此后每年召开两次国际联合神经网络大会(IJCNN)。
同时也创建了很多相关刊物。
至此,神经网络理论研究在国内国外学术领域已经受到了相当的关注。
90年代,国内外许多学者进一步完善和发展了神经网络领域。
特别是通过神经网络方法来解决非线性系统的控制问题,并取得了突出的成果。
1991年在南京召开了中国神经网络学术大会(第二届),并成立了中国神经网络学会。
我国“863”高技术研究计划和“攀登”计划、相关基金、年会、期刊等都把神经网络的研究列入重要课题范围。
这些都为我国发展神经网络创造了良好的条件,INNS开始重视我国。
1992年,在北京召开由国际神经网络学会、IEEE神经网络委员主办的国际性学术会议IJCNN。
Wunsch在90OSA年会提出一种AnnualMeeting,用光电执行ART,主要计算强度由光学硬件完成,它的学习过程有自适应滤波和推理功能,具有快速和稳定的学习特点。
1995年Jenkins等人研究了光学神经网络(PNN),建立了光学神经网络系统,用光学二维并行互连与电子学混合实现了光学神经元,意味着应用新的方法来解决光学实现相减和取阈的问题。
充分发挥了光学强大的互连能力和并行处理能力,提高神经网络的实现规模,从而加强了网络的自适应功能和学习功能。
Albus在1975年提出了小脑模型关节控制器(CMAC)。
依此,Miller等人进一步研究了非线性动态系统控制问题,它具有局部逼近和修改权极小的特点,但采用间断超平面对非线性超曲逼近时,会出现精度不够,也有可能得不到相应的导数估计的情况。
1992年Lane对它作了改进使逼近超平面的光滑性更好,逼近精度有一定提高。
1993年Bulsari提出了以乘积Sigmoid函数作为激发函数,并给出非线性系统用神经网络逼近的构造性描述,得到了节点数目的上界估计。
1997年罗忠等人对CMAC的收敛性以及hash编码对它的影响作了矩阵分析和证明。
2000年,Setiono提出了快速规则抽取算法。
所谓快速是相对于其他的基于结构的规则抽取算法而言,去掉不重要的连接,但要对网络进行训练,保证神经网络的精度,这增加了算法的消耗,降低了效率。
所以,Setiono又提出来了FERNN算法该算法不用对神经网络进行多次的训练,可以抽取MOFN规则或DNF规则。
几年来混沌神经网络也得到很好的发展,Aihara等提出了混沌神经网络模型之后出现多种改进模型,2004年,提出了用于计算混沌神经网络最大Lyapunov指数的一种算法,基于最大指数的计算,研究网络混沌区域的分布和特征,可以合理的选择网络参数。
2004年,武妍、王守觉等人提出了一种基于结果反馈的神经网络训练算法,其将输入调整与权值调整的BP算法结合起来,通过双重调整来最小化误差函数。
该方法是通过对输入样本集的模糊化处理来避免学习过程中的过拟合,提高了网络的泛化能力。
2011年第12届国际语音通信协会上,微软研究人员发布了人工神经网络进行大词汇语音识别的论文,其利用深度网络模型(DNNs)建立因素模型用于语音识别实验,此法与常规方法相比误差较小,这是神经网络应用的一大进步。
3神经网络基本原理
3.1人工神经网络的工作机理
神经元网络对信息的处理是由大量的神经元共同完成的,是一种集合的功能:
与之相适应的是信息的分布式存储和联想记忆的存取方式。
网络由这些不同层次的节点集合组成,信息在节点之间传递,并且由于节点间连接权值的不同而被放大!
衰减或抑制。
在整个网络系统中,隐层起着决定性作用。
它把输入样本的特征形成更接近于输出模式的概念。
人工神经网络的动力学过程分为两个阶段:
学习阶段和工作阶段。
在学习阶段中,将经过选择的学习样本以(输入,输出)样本对的形式依次加在初始权值随机设定的网络中。
当样本输入通过网络所产生的实际输出与期望的样本输出有差别时,根据这种计算偏差按一定的算法调整人工神经网络的权值及结构,直至网络实际输出与期望输出完全相同或充分接近为止。
由于按一个(输入,输出)样本对学习调整好的权值不一定满足其他(输入,输出)样本对的要求,所以需要反复地输入所有学习样本对进行学习。
学习过程也称为整个动力学过程中的慢过程。
学习阶段结束后,人工神经网络进入工作阶段。
此时连接权固定,己达到某种稳定状态。
神经网络根据输入模式,计算出相应的输出模式。
这一计算过程也称为快过程。
人工神经网络的学习过程,是网络通过自组织调整权值以达到某种期望目的的自适应过程。
根据学习时有无教师(即学习样本)示教,可分为有监督学习(Supervisedlearning)和无监督学习(Unsupervised1earning)两大类。
有监督学习又可分为纠偏型学习(Correctivelearning)和增强型学习(Reinforcementlearning)两类。
如只根据输入样本能否使网络产生所期望的输出,也就是根据布尔“真”或“假”来判定是否修改权值,称之为增强型学习;如要根据输出偏差的大小来修正权值,则称之为纠偏型学习。
3.2人工神经网络的互连方式
神经网络中由许多处理单元互连而形成的互连模式反映了神经网络的结构,它决定着这个网络的能力。
神经网络的结构规定且制约着神经网络的性质与信息处理能力的大小,限制着神经网络系统能力的范围。
神经网络的结构也是随着研究的不断深入而不断完善的。
根据连接式的不同,神经网络可分为以下几种类型:
(1)前向网络
神经元分层排列,分别组成输入层、中间层(也称为隐含层,可以有若干层)和输出层。
每一层的神经元只接受来自前一层神经元的输入。
后面的层对前面层没有信号反馈。
输入模式经过各层次的顺序传输,最后在输出层上得到输出。
感知器和误差反向传播算法所采用的网络均属于前向网络类型。
图3-1前向网络
(2)有反馈的前向网络
从输出层对输入层有信息反馈。
这种网络可以用来存储某种模式序列,如神经认知机即属此类。
图3-2有反馈的前向网络
(3)层内有相互结合的前向网络
通过层内神经元的相互结合,可以实现同一层内神经元之间的横向抑制或兴奋机制。
这样可以限制每层内能,同时动作的神经元数,或者把每层内的神经元分成若干组,让每组作为一个整体来运作。
图3-3层内有相互结合的前向网络
(3)相互结合型网络(包括全互联和部分互连类型)
这种网络在任意两个神经元之间都可能有连接。
Hopfied网络和Boltzmann
机均属于这种类型。
在无反馈的前向网络中,信号一旦通过某个神经元,该神经元的处理过程就结束了。
而在相互结合网络中,信号要在神经元之间反复传递,网络处于一种不断改变状态的动态之中。
从某初始状态开始,经过若干次的变化,才会达到某种平衡状态。
根据网络的结构和神经元的特性,网络的运行还有可能进入周期振荡或其他如混沌等平衡状态。
图3-4相互结合型网络
4其他神经网络
4.1回归神经网络(RNN)
回归网络也称为递归网络,在这类网络中,多个神经元互连组成一个互连神经
网络.如图4-1所示:
图4-1回归网络结构示意图
图中
表示节点的状态,
为节点的输入(初始)值,i=1,2……n。
有些神经元的输出被反馈至同层或前层神经元,因此,信号能够从正向和反向流通。
4.2卷积神经网络(CNN)
卷积神经网络(CNN)是多层感知器(MLP)的变种。
卷积神经网络是一种多层的监督学习神经网络,隐含层的卷积层和池釆样层是实现卷积神经网络特征提取功能的核心模块。
该网络模型通过采用梯度下降法最小化损失函数对网络中的权重参数逐层反向调节,通过频繁的迭代训练提高网络的精度[32]。
图4-2是卷积神经网络整体架构图:
图4-2卷积神经网络整体架构图
卷积神经网络的低隐层是由卷积层和最大池采样层交替组成,高层是全连接层对应传统多层感知器的隐含层和逻辑回归分类器。
第一个全连接层的输入是由卷积层和子采样层进行特征提取得到的特征图像。
最后一层输出层是一个分类器,可以釆用逻辑回归,softmax回归甚至是支持向量机对输入图像进行分类。
4.3模糊神经网络
模糊神经网络是按照模糊逻辑系统的运算步骤分层构造,再利用神经网络学习算法的模糊系统,它不改变模糊逻辑系统的基本功能,如模糊化、模糊推理和解模糊化等。
模糊神经系统是一个利用学习算法来训练的模糊逻辑系统,学习算法由神经网络导出,学习过程不仅可以基于知识,而且可以是基于数据的;模糊神经系统可以用模糊规则来说明,可以从零开始由训练数据来构造系统,或是利用先验知识来初始化模糊规则;模糊神经系统近似于一个由训练数据决定的n维未知数,模糊规则表示模糊样本,可以被视为训练数据的模糊模型;模糊神经系统的学习过程中考虑了模糊系统的语义性质。
图4-3基于Mamdani模型的模糊神经网络结构
图4-4自适应模糊神经网络
与单纯的模糊系统相比,模糊神经网络系统的优势在于,可以根据由真实系统的输入输出数据对构成的样本集来设计系统,这个过程往往称之为学习过程。
模糊神经网络的基本学习方法有三种:
基于梯度下降的学习算法、基于递推最小二乘的学习算法、以及聚类法。
5深度学习的发展与应用
深度学习(DeepLearning)是近年来提出的一种利用具有多个隐层的深度神经网络(DeepNeuralNetwork,DNN)完成学习任务的机器学习方法。
其实质是,通构建具有多个隐层的神经网络模型并使用大量的训练数据来学习得到更有用的特征,进而提升模型预测或分类的准确性。
与以往的浅层神经网络不同之处在于,深度学习主要强调了神经网络的深度(通常有大于1层的隐层),还突出了特征学习的重要性,从大数据中学习特征,这些特性可以刻画数据丰富的内在信息。
深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。
它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。
深度学习是一个复杂的机器学习算法,在语音和图像识别方面取得的效果,远远超过先前相关技术。
它在搜索技术,数据挖掘,机器学习,机器翻译,自然语言处理,多媒体学习,语音,推荐和个性化技术,以及其他相关领域都取得了很多成果。
深度学习使机器模仿视听和思考等人类的活动,解决了很多复杂的模式识别难题,使得人工智能相关技术取得了很大进步。
深度学习本质上是构建含有多隐层的机器学习架构模型,通过大规模数据进行训练,得到大量更具代表性的特征信息。
从而对样本进行分类和预测,提高分类和预测的精度。
这个过程是通过深度学习模型的手段达到特征学习的目的。
深度学习模型和传统浅层学习模型的区别在于:
a.深度学习模型结构含有更多的层次,包含隐层节点的层数通常在5层以上,有时甚至包含多达10层以上的隐层节点;b.明确强调了特征学习对于深度模型的重要性,即通过逐层特征提取,将数据样本在原空间的特征变换到一个新的特征空间来表示初始数据,这使得分类或预测问题更加容易实现。
5.1深度学习在语音识别中的应用
语音信号是受说话人物理特性(如声源和声道结构),环境特性(如背景噪声和传输通道)等因素影响的复杂函数,因此不同人之间以及同一人在不同时间搜集的语音信号有很大变化。
在这种状况下,采用人工神经网络模型具有潜在的优点,比如,人工神经网络的自适应学习功能可以适应上述变化,可以不拘泥于选取特殊的语音参数而对综合的输入模式进行训练和识别,还可以把听觉模型融合在网络结构中等。
传统的语音识别技术以模板匹配法为主要方法,现代语音识别技术以神经网络为主要发展趋势。
人工神经网络模拟了人类神经元活动原理,具有自学习、联想、对比、推理和概括能力,它为解决语音识别这样的一个复杂的模式分类问题提供了新的途径。
深度学习是近年来新兴的一门机器学习子领域,该领域主要是探讨包含多层结点的人工神经网络的建模和学习问题。
这种深度神经网络在面对复杂的智能问题时可以更好地进行处理,网络模型的信息处理方式在模仿人脑方面更进一步,模型可以好的用于进行语音。
神经网络是由数据驱动的,这意味着必须输入大量关于系统过去特性的数据由其分析,称为“训练”。
在此期间,神经网络系统研究所收到的原始随机性数据,重建它们的数学关系,将之转换为有规律的形式,结果是得到一个适合这些数据的模型,这个过程亦称为建模。
即神经网络系统依据被控系统的输入输出数据对,通过学习得到一个
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 神经网络 课程 作业
![提示](https://static.bdocx.com/images/bang_tan.gif)