BP神经网络详细讲解Word下载.docx
- 文档编号:14901401
- 上传时间:2022-10-25
- 格式:DOCX
- 页数:10
- 大小:205.63KB
BP神经网络详细讲解Word下载.docx
《BP神经网络详细讲解Word下载.docx》由会员分享,可在线阅读,更多相关《BP神经网络详细讲解Word下载.docx(10页珍藏版)》请在冰豆网上搜索。
1.2.1神经网络的学习机理和机构
在神经网络中,对外部环境提供的模式样本进行学习训练,并能存储这种模式,则称为感知器;
对外部环境有适应能力,能自动提取外部环境变化特征,则称为认知器。
神经网络在学习中,一般分为有教师和无教师学习两种。
感知器采用有教师信号进行学习,而认
知器则采用无教师信号学习的。
在主要神经网络如BP网络,Hopfield网络,ART网络和Kohonen网络中;
BP网络和Hopfield网络是需要教师信号才能进行学习的;
而ART网络和Kohonen网络
则无需教师信号就可以学习。
所谓教师信号,就是在神经网络学习中由外部提供的模式样本信号。
一、感知器的学习结构
感知器的学习是神经网络最典型的学习。
目前,在控制上应用的是多层前馈网络,这是一种感知器模型,学习算法是BP法,故是有教师
学习算法。
一个有教师的学习系统可以用图1—7表示。
这种学习系统分成三个部分:
输入部,训练部和输
出部。
训练部
載师信号(期望输出信号)
图1-7神经网络学习系统框图
输入部接收外来的输入样本X,由训练部进行网络的权系数W调整,然后由输岀部输岀结果。
在
这个过程中,期望的输出信号可以作为教师信号输入,由该教师信号与实际输出进行比较,产生
的误差去控制修改权系数W
学习机构可用图1—8所示的结构表示。
在图中,X,X2,…,Xn,是输入样本信号,W,W,…,W是权系数。
输入样本信号X可以
取离散值0”或1”输入样本信号通过权系数作用,在u产生输岀结果口WX,即有:
u=B/VX=WXi+WX2+…+WXn
再把期望输岀信号丫(t)和u进行比较,从而产生误差信号e。
即权值调整机构根据误差e去对学习系统的权系数进行修改,修改方向应使误差e变小,不断进行下去,使到误差e为零,这时实
际输出值u和期望输出值丫(t)完全一样,则学习过程结束。
期望辑出y
图学可机构
神经网络的学习一般需要多次重复训练,使误差值逐渐向零趋近,最后到达零。
则这时才会使输
岀与期望一致。
故而神经网络的学习是消耗一定时期的,有的学习过程要重复很多次,甚至达万
次级。
原因在于神经网络的权系数W有很多分量W,W,----Wn;
也即是一个多参数修改系统。
系统的参数的调整就必定耗时耗量。
目前,提高神经网络的学习速度,减少学习重复次数是十分
重要的研究课题,也是实时控制中的关键问题。
、感知器的学习算法
f[swiX£
-O]
1-9所示。
感知器是有单层计算单元的神经网络,由线性元件及阀值元件组成。
感知器如图
感知器的数学模型:
v=f[加讯-e](1-12)
其中:
f[.]是阶跃函数,并且有
pl
2二主W凶-0工0
1—1
>
u=SWiX^-0<
O
“1
(1-13)
9是阀值。
感知器的最大作用就是可以对输入的样本分类,故它可作分类器,感知器对输入信号的分类如下:
卩,A类
Y=*
—B类
(1-14)
即是,当感知器的输出为知感知器的分类边界是:
1时,输入样本称为A类;
输岀为-1时,输入样本称为B类。
从上可
(1-15)
i=1
在输入样本只有两个分量X1,X2时,则有分类边界条件:
Zw.x.-O-O(1-16)
W1X1+WX2-6=0(1-17)
这时的分类情况如固1—10所示。
也可写成
感知器的学习算法目的在于找寻恰当的权系数w=(w1.w2,…,Wn),使系统对一个特定的样
本x=(xt,x2,…,xn)熊产生期望值do当x分类为A类时,期望值d=1;
X为B类时,d=-1<
为了方便说明感知器学习算法,把阀值6并人权系数w中,同时,样本x也相应增加一个分量Xn+1o故令:
Wn+1=-6,X+1=1(1-19)
则感知器的输出可表示为:
n11
(1-20)
i三1
感知器学习算法步骤如下:
1•对权系数w置初值
对权系数w=(W•W2,…,W,W+1)的各个分量置一个较小的零随机值,但W+1=-0O
并记为W(0),W(0),…,W/(0),同时有Wn+1(0)=-0。
这里W(t)为t时刻从第i个输入上的权系数,i=1,2,…,n°
W+1(t)为t时刻时的阀值。
2•输入一样本X=(Xi,X2,…,Xn+1)以及它的期望输岀do
期望输岀值d在样本的类属不同时取值不同。
如果x是A类,则取d=1,如果x是B类,则取-1
期望输岀d也即是教师信号。
3•计算实际输岀值丫
[二1
4•根据实际输出求误差e
e=d—Y(t)(1-21)
5•用误差e去修改权系数
Wi(t*1J=Wi(t)+7j-e*Xi
i=1,2,…,n,n+1(1-22)
其中,n称为权重变化率,0<耳在
在式(1—22)中,n的取值不能太大•如果1取值太大则会影响w(t)的稳定;
的取值也不能太
小,太小则会使W/(t)的求取过程收敛速度太慢。
当实际输岀和期望值d相同时有:
W(t+1)=Wi(t)
6•转到第2点,一直执行到一切样本均稳定为止。
从上面式(1—14)可知,感知器实质是一个分类器,它的这种分类是和二值逻辑相应的。
因此,感知器可以用于实现逻辑函数。
下面对感知器实现逻辑函数的情况作一些介绍。
例:
用感知器实现逻辑函数XVX的真值:
X
0011
X2
0101
XVX2
0111
以X1VX2=1为A类,以X1VX2=0为B类,则有方程组
(1-23)
rwro+w2-o-e<
oW1-0+w2*i-e^oWrl+W2'
O-0^O^wri+w2-i-e^o
即有:
6>
W品
(1-24)
iwL-t
从式(1—24)有:
W>
„W2>
令Wi=1,W2=2
则有:
e<
i
取e=0.5
X1+X2-0.5=0,分类情况如图1—11所示。
前面的感知器的传递函数是阶跃函数,所以,它可以用作分类器。
前面一节所讲的感知器学习算
法因其传递函数的简单而存在局限性。
设误差e采用下式表示:
其中,Y=f〔WXi]是对应第i个样本X的实时输岀Y是对应第i个样本X的期望输岀。
要使误差e最小,可先求取e的梯度:
(对每一个样本的期望与输出值求导)
(1-28)
迪如3吐%3Yk
aw~3ukaw_舄aukAt
c?
Ib
兌二-血一&
"
血7(1-29)
最后有按负梯度方向修改权系数W的修改规则:
(VW+1=W+aw
W"
二卩£
(Yi—玄)咁(UJ区
i=L
(1-30)
也可写成:
%1锐"
/1(-需)—耳(1-31)
在上式(1—30),式(1—31)中,卩是权重变化率,它视情况不同而取值不同,一般取0-1之间的
小数。
很明显,梯度法比原来感知器的学习算法进了一大步。
其关键在于两点:
1•神经元的传递函数采用连续的s型函数,而不是阶跃函数;
2•对权系数的修改采用误差的梯度去控制,而不是采用误差去控制。
故而有更好的动态特能,即加强了收敛进程。
但是梯度法对于实际学习来说,仍然是感觉太慢;
所以,这种算法仍然是不理想的。
1•2•3反向传播学习的BP算法
反向传播算法也称BP算法。
由于这种算法在本质上是一种神经网络学习的数学模型,所以,有时也称为BP模型。
BP算法是为了解决多层前向神经网络的权系数优化而提岀来的;
所以,BP算法也通常暗示着神
经网络的拓扑结构是一种无反馈的多层前向网络。
故而•有时也称无反馈多层前向网络为BP模
型。
在这里,并不要求过于严格去争论和区分算法和模型两者的有关异同。
感知机学习算法是一种单
层网络的学习算法。
在多层网络中•它只能改变最后权系数。
因此,感知机学习算法不能用于
多层神经网络的学习。
1986年,Rumelhart提岀了反向传播学习算法,即BP(backpropagation)
算法。
这种算法可以对网络中各层的权系数进行修正,故适用于多层网络的学习。
BP算法是目
前最广泛用的神经网络学习算法之一,在自动控制中是最有用的学习算法。
一、BP算法的原理
BP算法是用于前馈多层网络的学习算法,前馈多层网络的结构一般如图1—12所示
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- BP 神经网络 详细 讲解