BP神经网络设计.pptx
- 文档编号:1890971
- 上传时间:2022-10-25
- 格式:PPTX
- 页数:44
- 大小:1MB
BP神经网络设计.pptx
《BP神经网络设计.pptx》由会员分享,可在线阅读,更多相关《BP神经网络设计.pptx(44页珍藏版)》请在冰豆网上搜索。
主主讲:
周润景讲:
周润景教授教授单单位:
电子信息工程学院位:
电子信息工程学院基于基于BP网络数据网络数据分类设计分类设计目目录录前馈神经网络简介前馈神经网络简介BP网络简介网络简介BP神经网络的工作原理神经网络的工作原理BP网络的特点网络的特点BP网络的建立及网络的建立及执行执行BP网络应用于模式分类网络应用于模式分类BP网络的其他学习算法的网络的其他学习算法的应用应用结论结论一一.前馈神经网络简介前馈神经网络简介对对于于很很多多应应用用,一一个个确确定定的的网网络络计计算算与与确确定定的的时时间间行行为为一一样样重重要要。
网网络络架架构构允允许许中中间间单单元元的的循循环环结结构构计计算算依依靠靠神神经经元元内内部部激激活活的的输输出出值值。
即即使使输输入入不不变变化化,输输出出也也可可能能不不同同,直直到到网网络络内内的的计计算算达达到到稳稳定定状状态态,单单元元之之间间不不仅仅有有单单方方向向连连接接的的网网络络,而而且且有有反反方方向向的的网网络络,这这些些相相反反方向的网络称为前馈网络方向的网络称为前馈网络。
一一.前馈神经网络简介前馈神经网络简介前馈神经网络包括感知器网络和前馈神经网络包括感知器网络和BPBP神经网络。
神经网络。
p感感知知器器网网络络是是最最简简单单的的前前馈馈网网络络,主主要要用用于于模模式式分分类类,也也可可用用在在基基于于模模式式分分类类的的学学习习控控制制和和多多模模态态控控制制中中。
感感知知器器网网络络中中神神经经元元的的变变换换函函数数采采用用的的是是符符号号函函数数,即即输输出出为为二二值值量量11或或11,它它主主要要用用于于模模式分类式分类。
pBPBP神神经经网网络络的的神神经经元元变变换换函函数数采采用用SS形形函函数数时时,系系统统的的输输出出量量将将为为0011之间的连续量,它可实现从输入到输出的任意之间的连续量,它可实现从输入到输出的任意非线性映。
非线性映。
二二.BP神经网络简介神经网络简介BPBP神神经经网网络络即即反反向向传传播播网网络络,这这是是由由于于该该算算法法连连接接权权的的调调整整采采用用的的是是反反向向传传播播(BackBackPropagationPropagation)。
在在人人工工神神经经网网络络的的实实际际应应用用中中,BPBP网网络络广广泛泛应应用用于于函函数数逼逼近近、模模式式识识别别/分分类类、数数据据压压缩缩等等,80%90%80%90%的的人人工工神神经经网网络络模模型型是是采采用用BPBP网网络络或或它它的的变变化化形形式式,它它也也是是前前馈馈网网络络的核心部分,体现了人工神经网络最精华的部分。
的核心部分,体现了人工神经网络最精华的部分。
三三.BP神经网络的工作原理神经网络的工作原理三三.BP神经网络的工作原理神经网络的工作原理BP神神经经元元与与其其他他神神经经元元类类似似,不不同同的的是是BP神神经经元元的的传传输输函函数数为为非非线线性性函函数数,最最常常用用的的函函数数是是和和函函数数,有有的的输输出出层层也也采采用用线线性函数(性函数()。
其输出为)。
其输出为BP网网络络一一般般为为多多层层神神经经网网络络。
由由BP神神经经网网络络构构成成的的二二层层网网络络如如图图1.2所示。
所示。
三三.BP神经网络的工作原理神经网络的工作原理三三.BP神经网络的工作原理神经网络的工作原理BP网网络络的的信信息息从从输输入入层层流流向向输输出出层层,因因此此是是一一种种多多层层前前馈馈神神经经网络。
网络。
如如果果多多层层BP网网络络的的输输出出层层采采用用S形形传传输输函函数数(如如),其其输输出出值值将将会会限限制制在在一一个个较较小小的的范范围围内内(0,1);而而采采用用线线性性传传输输函函数数则可以取任意值。
则可以取任意值。
在在确确定定了了BP网网络络的的结结构构后后,要要通通过过输输入入和和输输出出样样本本集集对对网网络络进进行行训训练练,以以及及对对网网络络的的阈阈值值和和权权值值进进行行学学习习和和修修正正,以以使使网网络络实实现现给定的输入输出映射关系。
给定的输入输出映射关系。
三三.BP神经网络的工作原理神经网络的工作原理BP网络的学习过程包含网络的学习过程包含两个过程,即正向传播和反向传播。
两个过程,即正向传播和反向传播。
(1)正正向向传传播播。
输输入入已已知知学学习习样样本本,通通过过设设置置的的网网络络结结构构和和前前一一次次迭代的权值和阈值,从网络的第一层向后计算各神经元输出。
迭代的权值和阈值,从网络的第一层向后计算各神经元输出。
(2)反反向向传传播播:
反反向向传传播播时时,对对权权值值和和阈阈值值进进行行修修改改:
从从最最后后一一层层向向前前计计算算各各权权值值和和阈阈值值对对总总误误差差的的影影响响(梯梯度度),据据此此对对各各权权值值和和阈阈值进行修改值进行修改。
以上两个过程反复交替,直到达到收敛为止以上两个过程反复交替,直到达到收敛为止三三.BP神经网络的工作原理神经网络的工作原理由由于于误误差差逐逐层层往往回回传传递递,以以修修正正层层与与层层间间的的权权值值和和阈阈值值,所所以以称称该该算算法法为为误误差差反反向向传传播播(backpropagation)算算法法,这这种种误误差差反反传传学学习习算算法法可可以以推推广广到到有有若若干干个个中中间间层层的的多多层层网网络络,因因此此该该多多层层网网络络常常称称之之为为BP网网络络。
标标准准的的BP算算法法,其其权权值值的的修修正正是是沿沿着着误误差差性性能能函函数梯度的反方向进行的。
数梯度的反方向进行的。
四四.BP网络的特点网络的特点1.BP网络具有以下主要优点:
网络具有以下主要优点:
只只有有有有足足够够多多的的隐隐含含层层结结点点和和隐隐含含层层,BP网网络络可可以以逼逼近近任任意意的的非非线性映射关系线性映射关系BP网网络络的的学学习习算算法法属属于于局局部部逼逼近近的的方方法法,因因此此它它具具有有较较好好的的泛泛化化能力能力2.BP网络的主要缺点如下:
网络的主要缺点如下:
收敛速度慢收敛速度慢容易容易陷入局部极值点陷入局部极值点难以难以确定隐含层和隐含层结点的个数确定隐含层和隐含层结点的个数五五.BP网络的建立及执行网络的建立及执行1建立建立BP网络网络首先需要选择网络的层数和每层的结点数首先需要选择网络的层数和每层的结点数。
l网络网络输入层和输出层的结点个数与输入变量个数及输出变量个数对应输入层和输出层的结点个数与输入变量个数及输出变量个数对应。
l隐隐含含层层结结点点的的选选择择应应遵遵循循以以下下原原则则:
尽尽量量选选取取较较少少的的隐隐含含层层结结点点,使使网网络络尽尽量量简简单单。
一一种种方方法法是是先先设设置置较较少少结结点点,对对网网络络进进行行训训练练,并并测测试试网网络络的的逼逼近近能能力力,然然后后逐逐渐渐增增加加结结点点数数,直直到到测测试试的的误误差差不不再再有有明明显显的的较较小小为为止止;另另一一种种方方法法是是先先设设置置较较多多的的结结点点,再再对对网网络络进进行行训训练练,从而从而得到一个适合规模的得到一个适合规模的网络结构。
网络结构。
一般采用单隐层的一般采用单隐层的BP网络就可以实现较好的训练效果。
网络就可以实现较好的训练效果。
五五.BP网络的建立及执行网络的建立及执行2确定网络的初始权确定网络的初始权值值BP网网络络的的各各层层初初始始权权值值一一般般选选取取一一组组较较小小的的非非零零随随机机数数。
为为了了避避免免出出现现局局部部极值问题,可选取多组初始权值,最后选用最好的一种极值问题,可选取多组初始权值,最后选用最好的一种。
3产生产生训练样本训练样本建建立立样样本本数数据据之之前前,首首先先要要收收集集大大量量的的原原始始数数据据,并并在在大大量量的的原原始始数数据据中中确确定定出出最最主主要要的的输输入入模模式式,分分析析数数据据的的相相关关性性,选选择择其其中中最最主主要要的的输输入入模模式式,并并确确保保所所选择的输入模式互不相同选择的输入模式互不相同。
在在确确定定了了最最重重要要的的输输入入模模式式后后,需需要要进进行行尺尺度度变变换换和和预预处处理理。
使使得得经经变变换换后后的的数据对神经网络更容易学习和数据对神经网络更容易学习和训练。
训练。
确确定定样样本本大大小小,样样本本大大小小取取决决于于许许多多因因素素,如如网网络络的的大大小小、网网络络测测试试的的需需要要和和输输入入/输输出出的的分分布布等等。
其其中中,网网络络的的大大小小是是最最关关键键的的因因素素。
通通常常较较大大的的网网络络需需要要较较多的训练数据。
经验规则:
训练模式应是连接权总数的多的训练数据。
经验规则:
训练模式应是连接权总数的35倍。
倍。
五五.BP网络的建立及执行网络的建立及执行4训练训练网络网络通通常常训训练练一一个个网网络络需需要要多多次次,但但并并非非训训练练的的次次数数越越多多,越越能能得得到到正正确确的的输输入入/输输出出的的映映射射关关系系。
由由于于所所收收集集的的数数据据都都是是包包含含噪噪声声的的,训训练练的的次次数数过过多多,网网络络将将包包含含噪声的数据都记录噪声的数据都记录下来。
下来。
5测试测试网络网络在在测测试试时时需需要要保保持持连连接接权权系系数数不不改改变变,用用确确定定的的数数据据作作为为网网络络的的输输入入,正正向向运运行该网络,检验输出的均方误差行该网络,检验输出的均方误差。
6判断判断网络网络在在实实际际确确定定BP网网络络时时,通通常常应应将将训训练练和和测测试试交交替替进进行行,即即每每训训练练一一次次,同同时时用用测试数据测试一遍网络,画出均方误差随训练次数的变化测试数据测试一遍网络,画出均方误差随训练次数的变化曲线。
曲线。
六六.BP网络应用于模式分类网络应用于模式分类1.网络创建及重要代码介绍网络创建及重要代码介绍
(1)网络的构建:
)网络的构建:
首首先先需需要要构构造造一一个个网网络络构构架架,函函数数newff()就就是是构构建建神神经经网网的的。
下下面面具具体体介介绍绍参数参数的选择。
的选择。
网络层数网络层数:
选用:
选用两层两层BP网络即可。
网络即可。
输入层节点数输入层节点数m:
其:
其节点数取决于矢量的维数。
节点数取决于矢量的维数。
输输出出层层节节点点数数n:
输输出出层层的的节节点点数数取取决决于于两两个个方方面面,输输出出数数据据类类型型和和表表示示该该类类型型所所需需数数据据大大小小。
当当BP网网络络用用于于模模式式分分类类时时,则则输输出出层层的的节节点点数数可可根根据据待待分分类类模模式数来确定。
式数来确定。
隐隐含含层层结结点点数数:
对对于于用用于于模模式式识识别别/分分类类的的BP网网络络,隐隐层层节节点点数数可可以以参参照照以以下下公公式进行设计:
式进行设计:
其中其中,m为输入层结点数;为输入层结点数;n为输出层结点数;为输出层结点数;a为为110之间的常数之间的常数。
六六.BP网络应用于模式分类网络应用于模式分类传传输输函函数数:
BP网网络络中中的的传传输输函函数数通通常常采采用用S()形形函函数数,在在某某些些特特定定情情况下还可能采用纯线性况下还可能采用纯线性()函数。
)函数。
训训练练函函数数:
BP神神经经网网络络的的训训练练函函数数有有等等,每每种种训训练练函函数数各有特点,但是没有一种函数能适应所有情况下的训练过程。
代码如下:
各有特点,但是没有一种函数能适应所有情况下的训练过程。
代码如下:
lnet=newff(minmax(p),12,4,tansig,logsig,trainlm);
(2)网络的初始化)网络的初始化:
网络的输入向量:
网络的输入向量:
。
网络的目标向量网络的目标向量:
。
网络初始化程序:
网络初始化程序:
net=init(net)。
六六.BP网络应用于模式分类网络应用于模式分类(3)训练参数训练参数初始化:
初始化:
代码代码如下:
如下:
lmax_epoch=x;%最大训练次数xlerr_g
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- BP 神经网络 设计