一种基于遗传算法的新型神经网络设计Word文档格式.docx
- 文档编号:22348063
- 上传时间:2023-02-03
- 格式:DOCX
- 页数:11
- 大小:209.09KB
一种基于遗传算法的新型神经网络设计Word文档格式.docx
《一种基于遗传算法的新型神经网络设计Word文档格式.docx》由会员分享,可在线阅读,更多相关《一种基于遗传算法的新型神经网络设计Word文档格式.docx(11页珍藏版)》请在冰豆网上搜索。
A α
ANewMethodofDesigningArtificialNeutralNetwork
BasedonGeneticAlgorithm
LUOJian,LIUJun2xiang
(AutomationDeptartment,XiamenUniversity,Xiamen361005,China
Abstract:
CurrentlyresearchonANN(ArtificialNeutralNetworkismainlyfocused
ontheinitialweightandstructure.ItisadevelopingtendencytocombineANNwithGA(GeneticAlgorithm.ComparedwithgeneralANNdesign,thispaperputsforwardanewoperator,BPoperator,andoptimizestheANN’sinitialweightsandstructureatthesametime.Theresultoftheemulationisveryreasonable.Keywords:
ANN;
GA;
BPoperator
1 引言
近年来,神经网络的自动化设计成为当前的一个研究热点.按照处理方式的不同可将其分为连接主义设计法和演化设计法.连接主义设计法主要包括增补算法(ConstructiveAlgorithm和削减算法
(DestructiveAlgorithm.这两种方法采用爬山策略来设计神经网络结构,一旦某个网络结构被确定为不
适,则网络将被更新.爬山策略很容易陷入局部最优,且搜索的解的范围仅仅是网络结构空间中的很小的一部分,所以很难保证设计出的网络结构是最优的.由于设计或训练神经网络需要在很大的空间中进行搜索,而且搜索空间中具有很多局部最优点,这使得传统的算法求解该问题非常困难.而以遗传算法(Genetic
Algorithm,简称GA为代表的演化算法适合大规模并行设计且能以较大的概率找到全局最优解,这就使得GA与人工神经网络(ArtificialNeutralNetwork,简称ANN的结合成为一种趋势.YaoX在文献[1]中
对此做了很好的综述.
现阶段有关应用GA来设计ANN的研究,主要集中在神经网络的结构和权值设计两个方面.与之相对应,则暴露出了一些不足.一方面,设计独立,即将ANN的结构设计和权值设计孤立开来,单独进行,而且主要集中在GA理论的改进之上,如实数编码、混合优化等.另一方面,算法独立,对于一个给定的问题,有可能在不了解如何用ANN来解决它,那么有可能首先用GA来找出解决问题的最优或次优结构,然后再用一定的算法如BP算法来找到最优或次优权值.本文的主要内容即在部分有关基于GA的ANN设计研究基础之上,提出一种新的算法,即GA2ANN优化设计算法来解决这个问题.
α
收稿日期:
2000202212
2 带BP算子的GA-ANN算法设计
2.1 假设条件
对于网络的结构与权值的同时进化算法,首先给出如下假设.
假设1 网络是严格分层全连接的,即当且仅当两相邻层的结点才有可能进行连接,且必须有连接,每一神经元都设成是线性阈值单元且使用sigmoid传递函数.
假设2 输入输出空间向量在实数空间上取值,相连接的两个神经元如果没有影响,则权值为0.假设3 给定一个训练集,其输入模式为{X1,X2,…,XP},对应的目标输出向量为{T1,T2,…,
P
连接权值和神经元的类型及阈值可以确定网络的实际输出.如果T}.对每个输入模式,根据网络的结构、
输出向量是m2维的,则根据实际输出向量{Y1,Y2,…,YP}和目标输出向量之间的误差可以定义一个最小
二乘误差函数:
E(net=
t,y分别表示向量T
ki
K
66
pm
2
(tkyki-i
k=1i=1
和Y的第k个分量Ζ
上面定义的最小二乘误差函数可用来描述对给定训练数据集当前网络的性能.因此,设计ANN及训练其权值便可看成是一个优化过程,优化的目的便是设计出网络使得该目标函数达到最小值.如果期望在具有相同性能的条件下网络的结构尽可能地简单,即使网络尽量具有最少的结点数和最少的连接,则可以
在函数E(net的右端加上一个控制项Cnp,这里C是一个控制参数,称为网络复杂性系数,np是网络参数的个数,通常包括网络的结点数与连接数.
2.2 编码表示
在编码时,对网络结构采取二进制编码,对每个权(包括阈值采取实数编码来表示,这样编码的优点在于编码长度比全部采用二进制编码时要小得多.例如,对于某个问题,如果有两个隐层,分别有Size1个和Size2个隐含单元,输入层有InNum个单元,输出层有OutNum个单元,且每层的单元数用n位二进制码串表示,则每层的单元数可达2n-1个,采用实数与二进制混合编码时串长为
n3(InNum+OutNum+Size1+Size2+(InNum+13Size1+(Size1+13Size2+(Size2+13OutNum精度可达0.0001或更小(根据计算机实数或浮点数的精度而定,如果全部采用n位二进制编码,则串长为 n3[InNum+OutNum+Size1+Size2+(InNum+13Size1+(Size1+13Size2+(Size2+13OutNum]
若初始权值范围为[-0.50.5],则权值精度仅达n与此同时,实数编码不用象二进制编码表示时需
要预先定义解的精度,另外在加入一些启发式知识时不需要在译码与编码之间来回切换.为了能同时进化网络的拓扑结构和连接权值,允许在同一群体内的网络具有不同的拓扑结构,即它们可以有不同的结点数和连接权数.
2.3 选择策略
采用赌轮选择策略Ζ使用基于适应值比例的选择策略时,首先要确定适应值的度量方法,设E(neti,t是第t代进化群体中第i个个体所具有的目标函数E(・的值,其适应值如果定义为
f(neti,t=
1+E(neti,t
于是,由赌轮选择策略可知,网络neti被选择到下一代作为遗传操作的父代的概率为
p(neti,t=n
6f(netj,t
j=1
这里n为群体规模.
2.4 遗传操作2.4.1 个体产生
随机生成初代个体,群体规模设置为某一整数.
2.4.2 杂交算子
由于编码表示使得在同一种群内的网络可能不同构,这样给杂交算子的设计带来了一定的难度Λ在此实现两点杂交,即在两个父代中独立地选择相同数目的连接权,交换相应的连接权值以生成杂交后的两个后代,如图1所示.
12↑343↑4567899↑124↑7
1212445678993437
图1 两点杂交算子
2.4.3 变异算子
对网络结构,由于是二进制表示,实现简单的变异方式即可,即0变1,1变0Λ网络结构的改变,将导致网络权值数量增加或减少,采取随机选择插入点或删除点的方式,当需要增加点时,随机生成其相应的连接权值,这样直到权值的数量与网络结构相符为止Λ
2.4.4 BP算子
现阶段,有关结合遗传算法和神经网络的算法都是一个固定的模式,即先用遗传算法一般的操作算子找到一个优化后的神经网络结构或者是神经网络权值,然后再用神经网络BP算法进一步寻优.这种算法把遗传算法和BP算法相对孤立开来(如图2所示,找到全局最优解,其实质是一种简单迭加的混合算法.
现在将神经网络的BP算法应用到遗传算法中,如图3中虚线所示.对比图2,可以看出,图3新增加了一种遗传操作,这种操作对遗传算法中每代适应值满足一定条件的个体进行BP训练,得到新的个体,称之为BP算子
.
图2 传统的GA操作
如图3所示,对每代个体,除了执行传统的GA操作外,若其适应值或某一随机概率值达到一定大小,就进行BP操作.为简单操作,仅取那些第一隐层单元数不为0的个体为正确变异个体,而对于那些不符合条件的个体,如第一隐层单元数为0,给这些小个体一个固定的染色体串和适应值.可以看出,BP算子实质是对群体中某些个体的变异操作,染色体串记录经过了BP算子的操作结果.
2.5 近化规则
对每相连两代中得到的最优个体进行比较,若后代的最优个体不及前代的最优个体,则以前代的最优个体来代替后代的最差个体,这样达到最优繁殖.
图3 带有BP算子的GA2ANN设计流程图
表1 模式识别任务
3 算法仿真
以文献[2]中的模式识别学习任务(见表1为例,用此算法进行仿真.给出的模式识别学习任务中,在输入位中,开头两位是噪声位,与输出模式没有关系;
最右边两位与输出之间的关系是二进制整数到它们对应的Gray码.这个任务的复杂性在于增加了不相关输入的单元和要求再编码有意义的输入.
在学习过程中,为了对每个由遗传算法产生的个体进行评价,首先
从8个样本模式中随机选取一个放在一边;
利用剩下的七个样本(训练集对染色体个体所对应的网络结构进行训练;
当误差平方和达到预定
输入输出输入输出
00001100100111010010011000111011
0000010111111010
010*********
的目标值或预先确定的学习迭代时,就停止训练;
一旦一个网络已经学习到了判别准则,就用先前挑选出来的训练实例对它进行评价.每个个体的适应值就是其对这个实例的均方误差,它表示在学习阶段中对所获得的知识的一般性的估计.针对该问题,设置如下网络参数进行实验:
群体规模:
30;
最大迭带代数:
15;
杂交率:
0.95;
结构变异率:
0.005;
权值变异率:
0.8
最优ANN个体训练代数:
10000;
BP算子的训练代数:
50;
BP算子的下临界适应值:
140;
适应值函数:
如果译码值大于70,则f=5;
否则
f=exp((70-x-perf13-
0.0023lchrom
其中lchrom为网络权数,0.002为惩罚因子,依具体情况不同而有所改变,两者之积作为一个惩罚项,用以使得最优个体不仅网络权值接近最优,而且结构简单.另x为译码值,perf为BP训练误差.
自适应并行遗传算法仿真得到的最优个体为:
46
0-1.5574-1.7765-0.4145
00.8943-2.48111.7207
系统工程理论与实践
1.0000-1.6028-2.61343.8867
1.00001.03340.11622.1118
00.54990.85861.9203
02.0176-1.39094.0778
0.9536-0.6425-1.09494.3323
2001年10月-0.1557
可见,权值数为23(包括阈值,适应值为178.6976,其中前6位就是网络结构的二进制编码,后23位是得到的最优个体没经过BP进一步训练的网络权值.更进一步的结果如图4所示,最优ANN个体训练如图5所示
图4 带BP算子的GA2ANN
设计结果图
图5 带BP算子的GA2ANN训练图
4 结论
与文献[2]中的结果进行比较,从图5可以看出,基于带有BP算子的遗传算法的神经网络设计在利用
(下转第70页
70系统工程理论与实践续表3 1998年上海股票市场涨幅前20名股票2001年10月代码600601600733600711600747600651600862600778600782股票名称97年收盘价98年收盘价调整后涨幅97年总股本98年总股本股本扩张速度利润增幅延中实业前锋股份龙舟股份大显股份飞乐音响ST通机9.2810.497.259.797.55.356.661012.7920.914.2817.111.0610.2410.2918.2106.7399.2496.9791.891.7191.490.0485.3410368109776036128378112743510700107951555210977603616535105467435171091079550002930060010.3216.48083.0315.03811.5549.16-15.87友好集团新华股份 注 以1997年股本为基准数据,总股本的平均值(mean为25959万股,总股本的中位数(median为13680万股.参考文献:
[1] EdwinJElton,MartinJGruber.Modernportfoliotheoryandinvestmentanalysis[M].NewYork:
JohnWiley,1991.[2] 霍学文,赵军关于股票定价理论的发展脉络[J].南开经济研究,1998,(1:
48-53..[3] Fama,EugeneF,FrenchKennethR.Sizeandbooktomarketfactorsinearningsreturns[J].JournalofFinance,1995,50:
131-155.(上接第46页.BP算法搜索全局最优解时,在第0代就已逼近全局最优利用BP算子,GA算法个体能记忆其运作结果,使各个个体能迅速地逼近最优结构或最优权值,仿真结果表明,算法理想.参考文献:
[1] YaoX.Areviewofevolutionaryartificialneuralnetworks[J].InternationalJournalofIntelligent.Systems1993,8(4:
539-567.[2] 刘勇康立山,等.非数值并行算法——遗传算法[M].北京:
科学出版社,1995..[3] 潘正君,康立山,陈毓屏演化计算[M].北京:
清华大学出版社;
南宁:
广西科学技术出版社,1998..[4] ChenD,GilesC,SunG,ChenH,LessY,GoudreauM.Constructivelearningofrecurrentneutralnetworks[J].IEEEInternationalConferenceonNeutralNetworks’93,1993,3:
1196-1201.[5] 陈荣,徐用懋,等.多层前向网络的研究——遗传BP算法和结构优化策略[J].自动化学报,1997,23(1:
43-49.[6] 王保中,康立山,何巍基于实数编码遗传算法的多层神经网络BP算法[J].武汉大学学报(自然科.学版,1998,44(3:
289-291.[7] 孙亚军,等.一种并行的遗传神经网络混合学习算法[J].电子科技大学学报,1996,25(4:
373376.©
1995-2005TsinghuaTongfangOpticalDiscCo.,Ltd.Allrightsreserved.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 一种 基于 遗传 算法 新型 神经网络 设计