神经网络模型Word文档格式.docx
- 文档编号:19051676
- 上传时间:2023-01-03
- 格式:DOCX
- 页数:25
- 大小:27.87KB
神经网络模型Word文档格式.docx
《神经网络模型Word文档格式.docx》由会员分享,可在线阅读,更多相关《神经网络模型Word文档格式.docx(25页珍藏版)》请在冰豆网上搜索。
≥
0,0
1,0
()
v
ϕv
(1)
即阶梯函数。
这时相应的输出ky为
k
kv
y
其中Σ=
=−
kkjjkvwx
θ,常称此种神经元为M−P模型。
(ii)分段线性函数
⎪⎪
⎩
⎨
⎧
≤−
+−<
<
0,1
(1),11
2
1,1
vv
ϕv
(2)
它类似于一个放大系数为1的非线性放大器,当工作于线性区时它是一个线性组合器,
放大系数趋于无穷大时变成一个阈值单元。
(iii)sigmoid函数
最常用的函数形式为
1exp()
()1
α
ϕ
+−
=(3)
参数α>
0可控制其斜率。
另一种常用的是双曲正切函数
()tanh
vvv
−−
=⎟⎠
⎞
⎜⎝
ϕ=⎛(4)
这类函数具有平滑和渐近性,并保持单调性。
Matlab中的激活(传递)函数如下表所示:
函数名功能
purelin线性传递函数
-232-
hardlim硬限幅传递函数
hardlims对称硬限幅传递函数
satlin饱和线性传递函数
satlins对称饱和线性传递函数
logsig对数S形传递函数
tansig正切S形传递函数
radbas径向基传递函数
compet竞争层传递函数
各个函数的定义及使用方法,可以参看Matlab的帮助(如在Matlab命令窗口运行
helptansig,可以看到tantig的使用方法,及tansig的定义为1
()22−
+
=e−v
ϕv)。
1.2网络结构及工作方式
除单元特性外,网络的拓扑结构也是NN的一个重要特性。
从连接方式看NN主要
有两种。
(i)前馈型网络
各神经元接受前一层的输入,并输出给下一层,没有反馈。
结点分为两类,即输入
单元和计算单元,每一计算单元可有任意个输入,但只有一个输出(它可耦合到任意多
个其它结点作为其输入)。
通常前馈网络可分为不同的层,第i层的输入只与第i−1层
输出相连,输入和输出结点与外界相连,而其它中间层则称为隐层。
(ii)反馈型网络
所有结点都是计算单元,同时也可接受输入,并向外界输出。
NN的工作过程主要分为两个阶段:
第一个阶段是学习期,此时各计算单元状态不
变,各连线上的权值可通过学习来修改;
第二阶段是工作期,此时各连接权固定,计算
单元状态变化,以达到某种稳定状态。
从作用效果看,前馈网络主要是函数映射,可用于模式识别和函数逼近。
反馈网络
按对能量函数的极小点的利用来分类有两种:
第一类是能量函数的所有极小点都起作
用,这一类主要用作各种联想存储器;
第二类只利用全局极小点,它主要用于求解最优
化问题。
2蠓虫分类问题与多层前馈网络
2.1蠓虫分类问题
蠓虫分类问题可概括叙述如下:
生物学家试图对两种蠓虫(Af与Apf)进行鉴别,
依据的资料是触角和翅膀的长度,已经测得了9支Af和6支Apf的数据如下:
Af:
(1.24,1.27),(1.36,1.74),(1.38,1.64),(1.38,1.82),(1.38,1.90),(1.40,1.70),
(1.48,1.82),(1.54,1.82),(1.56,2.08).
Apf:
(1.14,1.82),(1.18,1.96),(1.20,1.86),(1.26,2.00),(1.28,2.00),(1.30,1.96).
现在的问题是:
(i)根据如上资料,如何制定一种方法,正确地区分两类蠓虫。
(ii)对触角和翼长分别为(1.24,1.80),(1.28,1.84)与(1.40,2.04)的3个标本,用所得
到的方法加以识别。
(iii)设Af是宝贵的传粉益虫,Apf是某疾病的载体,是否应该修改分类方法。
如上的问题是有代表性的,它的特点是要求依据已知资料(9支Af的数据和6支
Apf的数据)制定一种分类方法,类别是已经给定的(Af或Apf)。
今后,我们将9支
-233-
Af及6支Apf的数据集合称之为学习样本。
2.2多层前馈网络
为解决上述问题,考虑一个其结构如下图所示的人工神经网络,
激活函数由
来决定。
图中最下面单元,即由•所示的一层称为输入层,用以输入已知测量值。
在
我们的例子中,它只需包括两个单元,一个用以输入触角长度,一个用以输入翅膀长度。
中间一层称为处理层或隐单元层,单元个数适当选取,对于它的选取方法,有一些文献
进行了讨论,但通过试验来决定,或许是最好的途径。
在我们的例子中,取三个就足够
了。
最上面一层称为输出层,在我们的例子中只包含二个单元,用以输出与每一组输入
数据相对应的分类信息.任何一个中间层单元接受所有输入单元传来的信号,并把处理
后的结果传向每一个输出单元,供输出层再次加工,同层的神经元彼此不相联接,输入
与输出单元之间也没有直接联接。
这样,除了神经元的形式定义外,我们又给出了网络
结构。
有些文献将这样的网络称为两层前传网络,称为两层的理由是,只有中间层及输
出层的单元才对信号进行处理;
输入层的单元对输入数据没有任何加工,故不计算在层
数之内。
为了叙述上的方便,此处引人如下记号上的约定:
令s表示一个确定的已知样品标
号,在蠓虫问题中,s=1,2,L,15,分别表示学习样本中的15个样品;
当将第s个样
品的原始数据输入网络时,相应的输出单元状态记为Os(i=1,2)
i,隐单元状态记为
)3,2,1(=jHsj
,输入单元取值记为Is(k=1,2)
k。
请注意,此处下标i,j,k依次对应于
输出层、中间层及输入层。
在这一约定下,从中间层到输出层的权记为ijw,从输入层
到中间层的权记为jkw。
如果ijw,jkw均已给定,那么,对应于任何一组确定的输入
(,)12
IsIs,网络中所有单元的取值不难确定。
事实上,对样品s而言,隐单元j的输入
是
k1
s
jkk
jhwI(5)
相应的输出状态是
==
()()
sjH
h
w
I
(
6)
由此,输出单元i所接收到的迭加信号是
-234-
ΣΣΣ
===
3
jjk
ijjkk
sj
ij
ihwHwϕwI(7)
网络的最终输出是
()()(())
jk
i
iOϕhϕwHϕwϕwI(8)
这里,没有考虑阈值,正如前面已经说明的那样,这一点是无关紧要的。
还应指出的是,
对于任何一组确定的输入,输出是所有权{,}ijjkww的函数。
如果我们能够选定一组适当的权值{,}ijjkww,使得对应于学习样本中任何一组Af
样品的输入(,)12
IsIs,输出(,)(1,0)12OsOs=,对应于Apf的输入数据,输出为(0,1),
那么蠓虫分类问题实际上就解决了。
因为,对于任何一个未知类别的样品,只要将其触
角及翅膀长度输入网络,视其输出模式靠近(1,0)亦或(0,1),就可能判断其归属。
当然,
有可能出现介于中间无法判断的情况。
现在的问题是,如何找到一组适当的权值,实现
上面所设想的网络功能。
2.3向后传播算法
对于一个多层网络,如何求得一组恰当的权值,使网络具有特定的功能,在很长一
段时间内,曾经是使研究工作者感到困难的一个问题,直到1985年,美国加州大学的
一个研究小组提出了所谓向后传播算法(Back-Propagation),使问题有了重大进展,这
一算法也是促成人工神经网络研究迅猛发展的一个原因。
下面就来介绍这一算法。
如前所述,我们希望对应于学习样本中Af样品的输出是(1,0),对应于Apf的输出
是(0,1),这样的输出称之为理想输出。
实际上要精确地作到这一点是不可能的,只能
希望实际输出尽可能地接近理想输出。
为清楚起见,把对应于样品s的理想输出记为
{s}
iT,那么
=Σ−
is
iEWTO
()2
()1(9)
度量了在一组给定的权下,实际输出与理想输出的差异,由此,寻找一组恰当的权的问
题,自然地归结为求适当W的值,使E(W)达到极小的问题。
将式(8)代入(9),有
sijk
iEWTwwI
[(())]
()1ϕϕ(10)
易知,对每一个变量ijw或ijw而言,这是一个连续可微的非线性函数,为了求得其极
小点与极小值,最为方便的就是使用最速下降法。
最速下降法是一种迭代算法,为求出
E(W)的(局部)极小,它从一个任取的初始点0W出发,计算在0W点的负梯度方向
—()0∇EW,这是函数在该点下降最快的方向;
只要()00∇EW≠,就可沿该方向移动
一小段距离,达到一个新的点()100W=W−η∇EW,η是一个参数,只要η足够小,
定能保证()()10EW<
EW。
不断重复这一过程,一定能达到E的一个(局部)极小点。
就本质而言,这就是BP算法的全部内容,然而,对人工神经网络问题而言,这一算法
的具体形式是非常重要的,下面我们就来给出这一形式表达。
对于隐单元到输出单元的权ijw而言,最速下降法给出的每一步的修正量是
-235-
=Σ−=Σ
∂
Δ=−
ss
ijTOhHH
wηEη[]ϕ'
()ηδ(11)
此处令
'
()[s]
iδ=ϕhT−O(12)
对输入单元到隐单元的权jkw
si
jk
jkTOhwhI
wE
ηη[]ϕ'
()ϕ'
=Σ=Σ
iηδwϕhIηδI
()(13)
此处
=Σ
iji
jδϕ'
(h)wδ
从(11)和(13)式可以看出,所有权的修正量都有如下形式,即
Δ=Σ
sq
sp
pqwηδv(14)
指标p对应于两个单元中输出信号的一端,q对应于输入信号的一端,v或者代表H或
者代表I。
形式上看来,这一修正是“局部”的,可以看作是Hebb律的一种表现形式。
还应注意,s
iδ
由实际输出与理想输出的差及s
ih决定,而s
jδ则需依赖s
算出,因此,
这一算法才称为向后传播算法。
稍加分析还可知道,利用由(11)~(13)式所给出的
计算安排,较之不考虑sp
δ的向后传播,直接计算所有含ϕ'
的原表达式,极大地降低了
计算工作量。
这组关系式称作广义δ−法则,它们不难推广到一般的多层网络上去。
利用这一迭代算法,最终生成在一定精度内满足要求的{,}ijjkww的过程,称为人
工神经网络的学习过程。
可以看出,这里所提供的学习机制是元与元之间权的不断调整,
学习样本中任何一个样品所提供的信息,最终将包含在网络的每一个权之中。
参数η的
大小则反映了学习效率。
为了更有效地应用BP算法,我们做出如下一些补充说明。
(i)在式(11)与(13)中,ijjkΔw,Δw表示为与所有样品s有关的求和计算。
实际上,我们还可以每次仅考虑输入一个样品所造成的修正,然后,按照随机选取的顺
序,将所有样品逐个输入,不断重复这一手续,直至收敛到一个满意的解为止。
(ii)在如上的算法中,利用实际输出与理想输出差的平方和作为度量{,}ijjkww优
劣的标准,这并不是唯一的度量方式,完全可以从其它的函数形式出发,例如从相对熵
出发,导出相应的算法。
(iii)在如上的讨论中使用的是最速下降法,显然,这也不是唯一的选择,其它的
非线性优化方法,诸如共轭梯度法,拟牛顿法等,都可用于计算。
为了加速算法的收敛
速度,还可以考虑各种不同的修正方式。
(iv)BP算法的出现,虽然对人工神经网络的发展起了重大推动作用,但是这一
算法仍有很多问题.对于一个大的网络系统,BP算法的工作量仍然是十分可观的,这
主要在于算法的收敛速度很慢。
更为严重的是,此处所讨论的是非线性函数的优化,那
么它就无法逃脱该类问题的共同困难:
BP算法所求得的解,只能保证是依赖于初值选
取的局部极小点。
为克服这一缺陷,可以考虑改进方法,例如模拟退火算法,或从多个
-236-
随机选定的初值点出发,进行多次计算,但这些方法都不可避免地加大了工作量。
2.4蠓虫分类问题的求解
下面利用上文所叙述的网络结构及方法,对蠓虫分类问题求解。
编写Matlab程序
如下:
clear
p1=[1.24,1.27;
1.36,1.74;
1.38,1.64;
1.38,1.82;
1.38,1.90;
1.40,1.70;
1.48,1.82;
1.54,1.82;
1.56,2.08];
p2=[1.14,1.82;
1.18,1.96;
1.20,1.86;
1.26,2.00
1.28,2.00;
1.30,1.96];
p=[p1;
p2]'
;
pr=minmax(p);
goal=[ones(1,9),zeros(1,6);
zeros(1,9),ones(1,6)];
plot(p1(:
1),p1(:
2),'
h'
p2(:
1),p2(:
o'
)
net=newff(pr,[3,2],{'
logsig'
'
});
net.trainParam.show=10;
net.trainParam.lr=0.05;
net.trainParam.goal=1e-10;
net.trainParam.epochs=50000;
net=train(net,p,goal);
x=[1.241.80;
1.281.84;
1.402.04]'
y0=sim(net,p)
y=sim(net,x)
3处理蠓虫分类的另一种网络方法
3.1几个有关概念
在介绍本节主要内容之前,首先说明几个不同的概念。
在上一节中,我们把利用
BP算法确定联接强度,即权值的过程称为“学习过程”,这种学习的特点是,对任何一
个输入样品,其类别事先是已知的,理想输出也已事先规定,因而从它所产生的实际输
出与理想输出的异同,我们清楚地知道网络判断正确与否,故此把这一类学习称为在教
师监督下的学习;
与它不同的是,有些情况下学习是无监督的,例如,我们试图把一组
样品按其本身特点分类,所要划分的类别是事先未知的,需要网络自身通过学习来决定,
因而,在学习过程中,对每一输入所产生的输出也就无所谓对错,对于这样的情况,显
然BP算法是不适用的。
另一个有关概念是所谓有竞争的学习。
在上节所讨论的蠓虫分类网络中,尽管我们
所希望的理想输出是(1,0)或(0,1),但实际输出并不如此,一般而言,两个输出单元均
同时不为0。
与此不同,我们完全可以设想另外一种输出模式:
对应任何一组输入,所
有输出单元中,只允许有一个处于激发态,即取值为1,其它输出单元均被抑制,即取
值为0。
一种形象的说法是,对应任何一组输入,要求所有的输出单元彼此竞争,唯一
的胜利者赢得一切,失败者一无所获,形成这样一种输出机制的网络学习过程,称为有
竞争的学习。
3.2最简单的无监督有竞争的学习
本节叙述一种无监督有竞争的网络学习方法,由此产生的网络可用来将一组输入样
品自动划分类别,相似的样品归于同一类别,因而激发同一输出单元,这一分类方式,
是网络自身通过学习,从输入数据的关系中得出的。
蠓虫分类问题对应有教师的网络学习过程,显然不能由如上的方法来解决。
但在这
种无监督有竞争的学习阐明之后,很容易从中导出一种适用于有监督情况的网络方法;
此外,本节所介绍的网络,在数据压缩等多种领域,都有其重要应用。
-237-
考虑一个仅由输入层与输出层组成的网络系统,输入单元数目与每一样品的测量值
数目相等,输出单元数目适当选取。
每一个输入单元与所有输出单元联接,第j个输入
元到第i个输出元的权记为ijw,同层单元间无横向联接。
无妨假设所有输入数值均已
规化到[−1,1]之间,又因为是有竞争的学习,输出单元只取0或1两个值,且对应每一
组输入,只有一个输出元取1。
取1的输出元记为i*,称之为优胜者.对于任何一组输入s,规定优胜者是有最大
净输入的输出元,即对输入(,,)1nI=ILI而言,
=Σ≡⋅
iijjihwIWI(15)
取最大值的单元,其中iW是输出元i所有权系数组成的向量,也就是说
WIWIii⋅≥⋅*,(∀i)(16)
如果权向量是按照Σ=
ijw21的方式标准化的,(16)式等价于
||||*WIWIii−≤−,(∀i)(17)
即优胜者是其标准化权向量最靠近输入向量的输出元。
令1*=iO,其余的输出
=0iO。
这样的输出规定了输入向量的类别,但为了使这种分类方式有意义,问题化
为如何将学习样本中的所有样品,自然地划分为聚类,并对每一聚类找出适当的权向量。
为此,采用如下的算法:
随机取定一组不大的初始权向量,注意不使它们有任何对称性。
然后,将已知样品按照随机顺序输入网络。
对输入样品s,按上文所述确定优胜者i*,
对所有与i*有关的权作如下修正
()*i*j
ijΔw=ηI−w(18)
所有其它输出单元的权保持不变。
注意到1*=iO,O0(ii*)i=≠,所有权的修正公式
可统一表示为
ijiΔw=ηOI−w
这一形式也可视为Hebb律的一种表现。
(18)式的几何意义是清楚的,每次修正将优
胜者的权向量向输入向量移近一小段距离,这使得同一样品再次输入时,i*有更大的
获胜可能。
可以合理地预期,反复重复以上步骤,使得每个输出单元对应了输入向量的
一个聚类,相应的权向量落在了该聚类样品的重心附近。
当然,这只是一个极不严密的
说明。
特别应当指出,上述算法,对于事先按照Σ=1jI标准化了的输入数据更为适用,
整个过程不难由计算机模拟实现。
为了更有效地使用如上算法,下面对实际计算时可能产生的问题,作一些简要说明。
首先,如果初始权选择不当,那么可能出现这样的输出单元,它的权远离任何输入
向量,因此,永远不会成为优胜者,相应的权也就永远不会得到修正,这样的单元称之
为死单元。
为避免出现死单元,可以有多种方法。
一种办法是初始权从学习样本中抽样
选取,这就保证了它们都落在正确范围内;
另一种办法是修正上述的学习算法,使得每
一步不仅调整优胜者的权,同时也以一个小得多的η值,修正所有其它的权。
这样,对
于总是失败的单元,其权逐渐地朝着平均输入方向运动,最终也会在某一次竞争中取胜。
此外,还存在有多种处理死单元的方法,感兴趣的读者可从文献中找到更多的方法。
-238-
另外一个问题是这一算法的收敛性。
如果式(18)或(19)中反映学习效率的参数
η取为一个固定常数,那么权向量永远不会真正在某一有限点集上稳定下来。
因此,应
当考虑在公式中引进随学习时间而变化的收敛因子。
例如,取=t=t−a0ηη()η,
0<
a≤1。
这一因子的适当选
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 神经网络 模型