基于遗传算法和最速下降法的函数优化混合数值算法概要.docx

基于遗传算法和最速下降法的函数优化混合数值算法概要.docx

《基于遗传算法和最速下降法的函数优化混合数值算法概要.docx》由会员分享，可在线阅读，更多相关《基于遗传算法和最速下降法的函数优化混合数值算法概要.docx（8页珍藏版）》请在冰豆网上搜索。

基于遗传算法和最速下降法的函数优化混合数值算法概要

基于遗传算法和最速下降法的函数优化混合数值算法

α

赵明旺

（武汉冶金科技大学自动化系,430081摘要　在遗传算法中嵌入一个最速下降算子,并定义适当的适应度函数和子代个体的选择算子,从而

可结合遗传算法和最速下降法两者的长处,得到既有较快收敛性,又能以较大概率得到全局极值的新

的用于连续函数全局优化的混合数值算法。

数值计算结果表明了本文方法显著优于求解函数优化的

遗传算法和最速下降法。

关键词　遗传算法　最速下降法　函数优化　适应度

AHybridNumericalAlgorithmforFunction

OptimizationBasedonGeneticAlgorithm

andSteepestDecentAlgorithm

ZhaoMingwang

（Dept.ofAutomation,WuhanYejinUniversityofScience&Technology,430081

Abstract　Inthispaper,throughasteepestdecentoperatorisembeddedintothegenet2

icalgorithmandaproperfitnessfunctionandaselectingoperatorforsongenerationare

defined,ahybridalgorithmforglobaloptimizationofcontinuousfunction,combinedthe

advancesofbothofgeneticalgorithmandsteepestdecentalgorithm,isgotwithfast

convergenceandgreatprobabilityforglobaloptimization.Thenumericalcomputingre2

sultsshownthatthemethodisdistinctlysuperiortothegeneticalgorithmandsteepest

decentalgorithm.

Keywords　geneticalgorithm;steepestdecentalgorithm;functionoptimization;fit2

ness

1　引言

对连续可微函数的优化问题,传统数值优化方法（如最速下降法、Newton法和共轭梯度法等有相对较快的收敛速度,计算精度高,在实际函数优化问题求解中得到广泛应用[6]。

但传统数值优化方法求得的是局部最优解。

对全局优化问题,目前存在确定性和非确定性两类方法。

前者方法以Brianin的下降轨线法[1]、Levy的隧道法[2]和R1Ge的填充函数法[3]为代表。

该类方法虽然有收敛快,较高计算效率,但算法复杂,求得全局极值的概率不大。

非确定性方法以Monte2Garlo随机试验法,Hartman的多始点方法[4],Solis和Wets的结合梯度信息的搜索方法[5],模拟退火方法[6]等为代表。

该类方法对目标函数要求低、容易实现、稳定性好,但收敛较慢、效率低、求得全局极值的概率较低。

近年来,模拟生物进化中“物竞天择”原则的计算智能（computationalintelligent方法——遗传算法吸引了众多科学领域中的研究人员,并在函数优化、模式识别、图像处理、人工智能得到广泛应用[7～11]。

在不可微函数甚至不连续函数的函数优化问题中,遗传算法以其能以较大概率求得全局最优解、计算时间相对1997年7月系统工程理论与实践第7期α本文于1996年1月23日收到本文工作得到武汉市科委“晨光计划”和冶金工业部理论研究基金资助

较少、具有较强鲁棒性等特点得到广泛重视。

但对于可微连续函数的优化问题,遗传算法由于受到收敛性相对较慢、编码长度对精度影响大、求解全局最优解需群体（population规模相对大等因素的影响,与运筹学中的常用数值优化方法相比,并不具有优势。

本文利用遗传算法中杂交（crossover算子、变异（mutation算子和选择算子在全变量空间,以较大概率搜索全局极值的特点,以及函数数值优化中最速下降法收敛快、计算数值精度高的特点,给出了一个适用于函数数值优化的混合优化算法。

该混合算法具有杂交算子、变异算子和最速下降算子三种基本运算方式,并定义了适合于连续函数全局优化问题的用于子代群体的适应度函数和选择算子。

数值计算结果表明了本文方法既有较快的收敛性,又能以较大概率求得全局最优解,显著优于求解函数优化的遗传算法和最速下降法。

2　问题描述

考虑如下有限空间的连续可微函数的全局优化问题

minai≤x≤bi

i=1,nf（x（1

其中ai和bi为优化问题中变量xi的上下限,n为变量向量x的维数。

对（1式所示的有限空间连续可微函数的全局优化问题,下面先引出目前的数值优化方法和遗传算法。

211　最速下降法

最速下降法是数值优化方法中最早的算法。

该方法直观、简单、不需要求解函数的二阶导数矩阵（Hes2sian矩阵。

许多更有效的数值优化方法都是在最速下降法的启发下获得的。

最速下降法求解式（1所示的连续函数优化问题的计算过程如下[12]:

最速下降法

选定初始迭代点

Repeat

　　作线性搜索xk+1=linear2search（xk,-f（xk

　　计算f（xk+1,f（xk+1

Until（结束迭代逻辑条件满足

最速下降法虽然实现简单,有一阶收敛速度,但其求得的是局部最优解,而不能保证是全局最优解。

对于有限空间的连续可微函数的全局优化问题,目前还没有简便且有效的求解方法,实际应用中只能通过在多个初始迭代点上多次使用传统数值优化方法来尽可能地求取全局最优解,但该种处理方法求得全局极值的概率不高、可靠性低。

建立以尽大可能（概率求解连续函数的全局最优解的算法仍是一个重要的问题。

212　遗传算法

如引言中所述,遗传算法对于有限空间的连续可微函数的全局优化问题,与数值优化方法相比并不具有优势。

即便如此,遗传算法的杂交算子、变异算子和子代群体选择算子在求取全局最优解中的效能对有限空间的连续可微函数的全局优化问题还是具有指导作用的。

遗传算法求解式（1所示的连续函数优化问题的计算过程如下:

[8,10]:

遗传算法

随机产生初始父代群体并计算其适应度

对初始父代群体的每个个体进行编码

Repeat　　选择群体中两个（或多个个体以概率Pc进行杂交运算

　　选择群体中个体以概率Pm进行变异运算06系统工程理论与实践1997年7月

　　对每个个体进行解码并计算其适应度

　　选择子代群体（适者繁殖,不适者被淘汰

Until（结束迭代逻辑条件满足

遗传算法应用于式（1所示的连续可微函数的全局优化问题的困难之处在于:

1　杂交运算概率Pc和变异运算概率Pm的选择。

2　群体规模的确定。

3　编码方法和编码长度。

4　如何控制群体向某个或某几个个体集中的速度。

若该速度快,则求得全局极值的概率将变小;若过慢,则遗传算法将退化为Monte2Carlo完全随机试验算法。

5　适应度函数的确定。

3　基于遗传算法和最速下降法的函数优化混合数值算法

针对上述最速下降法和遗传算法在连续可微函数的全局优化上的不足,综合两种方法各自的优势,本文提出如下混合算法。

混合算法

随机产生初始父代群体并计算其适应度

Repeat

　　选择群体中两个个体以概率Pc进行编码、杂交、解码运算,将父代和子代都加入新的子代群体　　对新的子代群体中每个个体以概率Pm进行编码、变异、解码运算,将父代和子代都加入新的子代

　　群体

　　对新的子代群体中每个个体以概率Ps计算f（xk,f（xk,并进行线性搜索xk+1=linear2search

　　（xk,-f（xk,将子代取代父代加入新的子代群体

　　对每个个体计算适应度

　　以既定的群体规模,选择下一次繁殖的子代群体（适者繁值,不适者被淘汰

Until（结束迭代逻辑条件满足

对上述混合算法,说明如下:

311　适应度函数定义

由于待优化的函数f（x的值可正可负,而适应度函数需恒为正,再者进行杂交运算和子代选择时所需的概率与适应度是成正比的。

因此,适应度函数的定义将对整个遗传算法和本文的混合算法有全局性的影响,是算法成功求得全局极值的关键之一。

本文的上述混合算法的适应度函数g（x定义为

g（x=fmax-f（x+k1（fmax-fmin（2

其中fmax和fmin分别为当前群体中的最大函数值和最小函数值;k1为控制当前群体中最大适应度与最小适应度之比的参数。

由上式可知,在每次繁殖的群体中最大适应度与最小适应度之比为（1+k1k1。

若k1过大,该比值趋近于1,即当前群体中最大函数值的个体和最小函数值的个体有较接近的适应度和选择概率,则杂交算子和变异算子的作用将退化至接近于完全的随机搜索。

若k1过小,该比值趋近于∞,将使得当前群体中函数值较大的个体的适应度和选择概率过小,失去繁殖的机会,从而导致群体快速向某个个体或某几个个体集中,使得求得全局极值的概率下降。

一般情况下,k1的取值在0.01～0.1之间较适宜,相应的同代群体中个体间的最大适应度和最小适应度之比为11～101之间。

由于算法中每代的fmax和fmin随群体不同而变化,使得本文的混合算法在确定适应度和选择概率上具有自适应性和鲁棒性。

312　群体的数据结构和编码方法

遗传算法的主要数据结构是数字位串,一般常用的是二进制。

当遗传算法应用于连续函数的优化计算16第7期基于遗传算法和最速下降法的函数优化混合数值算法

时,位串长度和编码方法对计算精度和群体中个体之间的距离具有决定性影响,并直接影响全局极值的求解。

本文的混合算法的数据结构采用混合式数据结构,在群体中每个个体采用实型数的数据结构,只有在个体被确定进行杂交运算和变异运算时才进行编码,运算结束后产生子代的要进行解码才能入新的子代群体。

采用混合数据结构的优点是可以避免编码的有限字长对精度的影响,充分发挥最速下降算子精度高以及能局部细致地搜索极值的特性。

本文的混合方法在杂交运算和变异运算中个体的编码方法采用遗传算法中常用的二进制位串编码方法。

个体的各变量xi（i=1,2,…,n的二进制位串以顺序排列,其中变量xi的二进制位串xi的编码算法为

xi=intbi-ai（2N-1（3

其中N为二进制位串的长度,函数int（为取整函数。

313　线性搜索算子

为了加速遗传算法在连续可微函数全局优化问题上的收敛性,发挥传统数值优化算法在计算速度与计算精度上的优势,本文的混合算法中嵌入了一个最速下降算子。

该最速下降算子主要进行的是传统最速下降法中的线性搜索运算。

在每次繁殖中产生的新的子代,都要以概率Ps判断是否需要进行线性搜索运算。

由于最速下降法的线性搜索运算是一种能保证迭代产生的点序列是函数单调下降的良好的局部极值数值优化算法,因此经最速下降算子的线性搜索运算产生的新的个体继承了其父代的优良品质,故可将子代取代父代进入代候选群体以待选择新的子代,而不需要父代和子代都进入子代候选群体。

本文的最速下降算子所进行的具体运算为:

最速下降算子过程

Repeat

　　对群体中第i个体产生[0,1]间随机数。

若该随机数大于既定最速下降算子概率Ps则进行下述运

算

　计算f（xk,f（xk

　用黄金分割法进行线性搜索xk+1=linear2search（xk,-f（xk

　将产生的子代取代父代加入新的子代群体

Until（搜索完整个群体

可以这么说,本文混合算法中的遗传算子——杂交算子、变异算子和选择算子的作用是宏观搜索,处理的是大范围搜索问题,而最速下降算子中的线性搜索过程的作用是极值局部搜索,即微观搜索,处理的是小范围搜索问题和搜索加速问题。

最速下降算子概率Ps的大小应能保证在繁殖（迭代过程中,对群体中的每个个体都有机会得到一定次数的进行最速下降算子的线性搜索运算。

因此,确定最速下降算子概率Ps的大小需考虑的因素为:

1　所优化的函数的线性搜索迭代的收敛性。

若其线性搜索迭代收敛较快,则相应的Ps可取小一些。

否则,则取大一些。

2　预定的繁殖代数（迭代次数;若预定的繁殖代数较大,则相应的Ps可取小一些。

否则,则取大一些。

314　选择算子、选择概率和控制个体间的距离

遗传算法与传统优化算法比较,其之所以其以较大概率求得全局极值,是因为其算法思想中体现了两个基本原则:

一为适者生存,二为选择的相对随机性。

而选择算子、选择概率和控制个体间的距离是体现这些原则的最重要的手段。

本文的混合算法对选择算子、选择概率和控制个体间的距离等的主要考虑是:

1　杂交运算和变异运算后,子代和父代都同时都进入子代候选群体,而由于最速下降运算的子代较好地继承了其父代的特性故只有子代进入候选群体。

2　在选择下次繁殖的子代群体时,每次以候选群体中个体的概率随机地选择两个体,其中适应度大26系统工程理论与实践1997年7月

的个体进入子代群体,直至产生完所有繁殖所需的下代群体为止。

这样既可保证有相对和适直生存,又使选择具有一定的随机性。

3　为避免在繁殖中群体向某个个体或有限几个个体快速集中,降低求得全局极值的概率,在选择算子运算中还必须计算群体中各个体间的距离（常用的有2-范数,∞-范数,Hamming距离等,相邻较近的两个个体必须剔出其一。

由于本文的混合算法中的最速下降算子能局部地、细致地进行优化搜索,故在控制群体中个体间的距离时,可考虑让群体中个体之间的相对距离较大（一般相对误差可在10◊以上,使能在更大的空间范围内,以较大概率搜索全局极值。

4　数值计算和结束语

本节考虑如下连续可微函数的有限区间的全局极值问题

f（x=x21+2x22-10sin（2x1sin（x3+0.5cos（x1+2x2

+x21x23-

5sin（2x1-x2+3x3　　-10≤xi≤10　　i=1,2,3（4　　由上式可知,该函数f（x在其变量空间中存在多极值点,传统数值优化方法不易求得全局极值。

该函数的全局极值发生在（-0.676256,-0.381582,-1.282868,其全局极值为-12.765473。

本文利用混合算法进行了大量计算机数值模拟计算,计算过程和结果如下所述:

1　先随机产生[-10,10]间的900组3维随机向量,每30组作为初始繁殖群体,共进行30次计算。

计算结果如表1所示。

表1　计算结果情况1

情况2情况3情况4情况5情况6参数

（Pc,Pm,Ps0.9,0.1,0.50.9,0.1,0.10.9,0.1,0.010.9,0.1,0.00.0,1.0,0.00.0,0.0,1.0

计算次数30

3030303030繁殖代数500

50050015001500500搜索到全局

极值的次数

3030221011搜索到全局

极值的概率1.01.00.7330.0330.00.367　　说明:

1　情况4中Ps=0.0,则混合算法退化为一般的遗传算法。

2　情况5中Pc=Ps=0.0,Pm=1.0,则混合算法则相当于完全随机的Monte2Carlo方法。

3　由于情况4和情况5收敛较慢,故数值模拟时,每次繁殖1500代。

4　情况6中Pc=Pm=0.0,Ps=1.0,则混合算法则相当于在30个初始迭代点同时进行搜索的最速下降算

法。

2　同1的[-10,10]间的900组3维随机向量,对不同的线性搜索概率Ps进行计算,观察Ps对求得全局极值的概率和迭代收敛性的影响。

表2在Pc=0.9,Pm=0.1时,在30次计算中不同的Ps得到的全局极值的计算结果,图1是表2数据中求得全局次数与Ps关系曲线。

图2是在同一次计算中不同的Ps的迭代计算收敛过程。

　　由上述数值计算结果可知,本文的基于遗传算法和最速下降法的函数优化混合数值算法在连续可微函数的全局优化问题运用中,其求得全局极值的概率显著地大于Monte2Carlo完全随机实验法、最速下降法和遗传算法,而且具有较好的收敛性,是一种可行的求解连续可微函数全局优化问题的数值算法。

36第7期基于遗传算法和最速下降法的函数优化混合数值算法

64系统工程理论与实践表2　计算结果（Pc=0.9,Pm=0.1参数Ps计算次数繁殖代数搜索到全局极值的次数搜索到全局极值的概率0.030150010.0050.010.0150.020.0350.053050015305002230500233050025305002930500300.0830500300.130500300.230500301997年7月0.530500300.0330.500.7330.7670.8330.9671.01.01.01.01.0图1　求得全局次数与Ps的关系曲线参考文献图2　不同的Ps的迭代收敛过程1　BrainFH.SolutionofnonlinearDCnetworkproblemviadifferentialequations.Int.IEEEConf.onsys2temsnetworks&computers,Oaxtepex,Mexico,1971.2　LevyAV.Thetunellingalgorithmfortheglobalminimizationoffunction.TheDundeeConf.onNu2mericalanalysis,Dundee,Scotland,1971.3　Ge.RAfilledfunctionmethodforfindingaglobalmini.ThemizerofafunctionofseveralvariablesDundeeBiennialConf.onNumericalanalysis,Dundee,Scotland,1983.4　HartnanJK.Someexperimentinglobaloptimization.NavalPostgraduateSchool,Monterey,CaliforniaNpsssHH73041A,1972.5　SolisFJ,WetsJB.Mini.MathematicsofoperationsResearch,mizationbyrandomsearchtechniques1981,（6.6　HaarioH,SakemanE.Si.Prob,1991,mulatedannealingprocessingeneralstatespace.Adv.Appl（23:

866-893.7　GoldbergDE.Geneticalgorithmsinsearch,optimization,andmachinereading.MA:

Addison2Wesley,1989.8　FogelDB,FogelLJ.Anintroductiontosi.onNeuralmulatedevolutionaryoptimization.IEEETrans（1994,51:

314.Networks,9　DeJongKA.Learningwithgeneticalgorithms:

anoverview.MachineLearning,1988,（3:

121-138.10　姚新,陈国良,徐惠敏等1进化算法研究进展1计算机学报,1995,18（9:

694-706111　张晓,戴冠中,徐乃平1一种新的优化搜索算法——遗传算法1控制理论与应用,1995,12（3:

265273112　席少霖,赵风治1最优化计算方法1上海:

上海科学技术出版社,19831©1995-2004TsinghuaTongfangOpticalDiscCo.,Ltd.Allrightsreserved.