第四章无约束优化的直接搜索法.ppt
- 文档编号:2725706
- 上传时间:2022-11-09
- 格式:PPT
- 页数:34
- 大小:386.50KB
第四章无约束优化的直接搜索法.ppt
《第四章无约束优化的直接搜索法.ppt》由会员分享,可在线阅读,更多相关《第四章无约束优化的直接搜索法.ppt(34页珍藏版)》请在冰豆网上搜索。
机械优化设计机械优化设计太原科技大学张学良第四章无约束优化的直接搜索法各各种种无无约约束束优优化化方方法法的的区区别别就就在在于于确确定定其其搜搜索索方方向向S(k)的的方方法法不不同同,所所以以搜搜索索方方向向的的构构成成问问题题是是无无约约束束优优化化方方法法的的关关键键。
根根据据构构造造搜搜索索方方向向所所使使用用的的信信息息性性质质的的不不同同,无无约约束束优优化化方法可以分为两类:
方法可以分为两类:
X(k+1)=X(k)+(k)S(k)(k=0,1,2,)一一类类是是只只利利用用目目标标函函数数值值信信息息的的无无约约束束优优化化方方法法,如如坐坐标标轮轮换换法法、鲍鲍威威尔尔法法,称称为为直直接接搜搜索索法法;另另一一类类是是利利用用目目标标函函数数的的一一阶阶或或二二阶阶导导数数信信息息的的无无约约束束优优化化方方法法,如如梯梯度度法法、牛牛顿顿法法、共共轭轭梯度法、变尺度法,称为间接搜索法。
梯度法、变尺度法,称为间接搜索法。
基本思想基本思想4.1坐标轮换法坐标轮换法(变量轮换法、交替法、降维法)(变量轮换法、交替法、降维法)将将n维维无无约约束束优优化化问问题题转转化化为为n个个沿沿坐坐标标轴轴方方向向ei(i=1,2,n)的的一一维维优优化化问问题题来来求求解解,并并记记完完成成n次次一一维维搜搜索索为为一一轮轮。
若若一一轮轮搜搜索索后后未未得得到到满满足足精精度度要要求求的的最最优优点点,则则继继续续下下一一轮轮迭迭代代搜搜索索。
如如此此反反复复,直直至至得得到到满满足足精精度度要要求求的的最最优优点点为为止止。
在在每每一一轮轮搜搜索索中中,每每次次迭迭代代仅仅对对n元元函函数数的的一一个个变变量量沿沿其其坐坐标标轴轴方方向向进进行行一一维维搜搜索索,其其余余n-1个个变变量量均均保保持持不不变变,再再依依次次轮轮换换进进行行一一维维搜搜索索的的坐坐标标轴轴,直直至完成沿至完成沿n个坐标轴方向的个坐标轴方向的n次一维搜索。
次一维搜索。
x1x2X0
(1)X1
(1)X2
(1)取取初初始始点点X(0)=X0
(1),x1坐坐标标轴轴方方向向的的单单位位向向量量S1
(1)=e1=10T,x2坐坐标标轴轴方方向向的的单单位位向向量量S2
(1)=e2=01T。
X1
(1)=X0
(1)+1
(1)S1
(1),X2
(1)=X1
(1)+2
(1)S2
(1)判断是否满足迭代收敛准则:
判断是否满足迭代收敛准则:
|X2
(1)X0
(1)|?
X1
(1)=X0
(1)+1
(1)e1
(1)=x1(0)x2(0)T+1
(1)10TX2
(1)=X1
(1)+2
(1)e2
(1)=x1
(1)x2
(1)T+2
(1)01T第一轮迭代搜索:
第一轮迭代搜索:
若若满满足足,则则输输出出最最优优解解,否否则则,继继续续下下一一轮迭代搜索。
轮迭代搜索。
Xi(k)=Xi-1(k)+i(k)ei(k)(k迭代轮次,迭代轮次,ik轮迭代的第轮迭代的第i次一维搜索次一维搜索i(k)一维搜索求得的最优步长)一维搜索求得的最优步长)|Xn(k)X0(k)|?
计算步骤与算法框图计算步骤与算法框图(图图4-13)1)任选初始点)任选初始点X(0)=X0
(1)=x1(0)x2(0)xn(0)T,给定迭代收敛精度给定迭代收敛精度,i=1,k=1。
2)置)置n个坐标轴方向向量为单位向量,即个坐标轴方向向量为单位向量,即e1=100T,e2=0100T,en=001T。
3)按如下迭代计算公式进行迭代计算)按如下迭代计算公式进行迭代计算Xi(k)=Xi-1(k)+i(k)ei(k)(k迭代轮次,迭代轮次,ik轮迭代的第轮迭代的第i次一维搜索次一维搜索i=1,2,n)4)判断是否满足迭代收敛准则)判断是否满足迭代收敛准则|Xn(k)X0(k)|?
若若满满足足,则则输输出出最最优优解解:
X*=Xn(k),f*=f(X*)否则,令否则,令X0(k+1)=Xn(k),kk+1,返回返回3)。
)。
举例举例(作业作业):
用坐标轮换法求目标函数用坐标轮换法求目标函数f(X)=x12+x22x1x24x110x2+60的的无约束最优解。
初始点无约束最优解。
初始点X(0)=00T,迭代收敛精度迭代收敛精度=0.1。
坐标轮换法搜索过程和收敛情况讨论坐标轮换法搜索过程和收敛情况讨论X0
(1)X*X1
(1)X0
(1)X*X1
(1)x1x2X0
(1)X1
(1)X2
(1)X*等值线出现脊线的情况(图等值线出现脊线的情况(图4-14c)4.2鲍威尔(鲍威尔(Powell)法)法基本思想基本思想它它是是直直接接利利用用函函数数值值来来构构造造共共轭轭搜搜索索方方向向的的一一种种共共轭轭搜搜索索方方向向法法,又又称称鲍鲍威威尔尔共共轭轭方方向向法法或或方方向向加加速速法法。
由由于于对对于于n维维正正定定二二次次函函数数,共共轭轭搜搜索索方方向向具具有有n次次收收敛敛的的特特性性,所所以以鲍鲍威威尔尔法法是是直直接接搜搜索索法法中中十十分分有有效效的的一一种种算算法法,一一般般认认为为对对于于维维数数n20的的目目标标函函数数它它是是成成功功的的。
鲍鲍威威尔尔法法是是在在研研究究具具有有正正定定对对称称矩矩阵阵H的的二二次次函函数数的的极极小小化化问问题题时时形形成成的的,其其基基本本思思想想是是在在不不用用函函数数导导数数信信息息的的前前提提下下,在迭代过程中逐次构造关于在迭代过程中逐次构造关于H的共轭方向。
的共轭方向。
共轭方向的生成共轭方向的生成设设是是X(k)和和X(k+1)为为从从不不同同点点出出发发,沿沿同同一方向进行一方向进行一维搜索一维搜索而得到的两个极小点。
而得到的两个极小点。
S(j)S(j)S(k)X(k)X(k+1)f(X(k)f(X(k+1)S(j)Tf(X(k)=0S(j)Tf(X(k+1)=0具有正定对称矩阵具有正定对称矩阵H的二次函数的二次函数f(X)=0.5XTHX+BTX+C在在X(k)和和X(k+1)两点处的梯度可以表示为两点处的梯度可以表示为f(X(k)=HX(k)+B
(1)f(X(k+1)=HX(k+1)+B
(2)
(2)
(1)得)得f(X(k+1)f(X(k)=H(X(k+1)X(k)(3)(3)式两边同时左乘式两边同时左乘S(j)T得得S(j)Tf(X(k+1)f(X(k)=S(j)TH(X(k+1)X(k)=0即即S(j)TH(X(k+1)X(k)=0若取若取S(k)=X(k+1)X(k)那么,那么,S(k)和和S(j)关于关于H共轭,即共轭,即S(j)THS(k)=0这说明:
这说明:
沿沿S(j)方方向向分分别别对对函函数数做做两两次次一一维维搜搜索索,得得到到两两个个极极小小点点X(k)和和X(k+1),该该两两点点的的连连线方向线方向S(k)与与S(j)是关于是关于H共轭的方向。
共轭的方向。
X(k)x1x2X*S(j)X(k+1)S(k)上上述述生生成成共共轭轭方方向向的的方方法法完完全全可可以以推推广广到到n维维优优化化问问题题中中,即即在在n维维空空间间中中,按按上上述述方法可以生成方法可以生成n个相互共轭的搜索方向。
个相互共轭的搜索方向。
鲍威尔法的基本原理和迭代过程鲍威尔法的基本原理和迭代过程1)采采用用坐坐标标轮轮换换法法顺顺次次沿沿n个个坐坐标标轴轴方方向向进进行行一一维维搜搜索索,然然后后以以初初始始点点X(0)和和终终点点Xn
(1)构构成成一一个个新新的的方方向向S
(1),并并以以此此方方向向为为搜索方向再作一维搜索得到极小点搜索方向再作一维搜索得到极小点Xn+1
(1)。
2)取取始始点点X0
(2)=Xn+1
(1),并并去去掉掉原原搜搜索索方方向向组组中中的的第第一一个个方方向向S1
(1)=e1,而而将将第第一一轮轮构构成成的的新新搜搜索索方方向向S
(1)作作为为最最末末一一个个方方向向,以此组成第二轮迭代的以此组成第二轮迭代的n个方向。
个方向。
依依此此进进行行下下去去,直直到到获获得得满满足足迭迭代代收收敛敛精精度度要求的近似极小点为止。
要求的近似极小点为止。
根根据据这这一一原原理理构构造造的的迭迭代代算算法法称称为为鲍鲍威威尔基本算法。
尔基本算法。
X1
(1)X*S1
(1)X0
(1)S2
(1)S
(1)x1x2X2
(1)X3
(1)X1
(2)X2
(2)S
(2)鲍威尔基本算法的缺点鲍威尔基本算法的缺点鲍鲍威威尔尔基基本本算算法法仅仅具具有有理理论论意意义义,不不要要说说对对于于一一般般的的函函数数,就就是是对对于于二二次次函函数数,它它也也可可能能失失效效。
因因为为在在迭迭代代过过程程中中的的n个个搜搜索索方方向向有有时时会会变变成成线线性性相相关关,而而不不能能形形成成共共轭轭方方向向,从从而而张张不不成成n维维空空间间,导导致致随随后后的的迭迭代代搜搜索索在在降降维维(“退退化化”)的的空空间间中中进进行行,可可能能求求不不到到极小点,故需进行改进。
极小点,故需进行改进。
那那么么,为为什什么么会会产产生生这这种种情情况况呢呢?
又又该该如何去改进呢?
如何去改进呢?
鲍威尔条件及鲍威尔修正算法鲍威尔条件及鲍威尔修正算法鲍鲍威威尔尔基基本本算算法法中中,每每一一轮轮迭迭代代都都是是用用连连接接始始点点和和终终点点所所产产生生的的新新搜搜索索方方向向去去机机械械地地替替换换原原方方向向组组中中的的第第一一个个搜搜索索方方向向,而而不不做做任任何何的的“好好坏坏”判判断断,这这正正是是产产生生向向量量线线性性相相关关而而发发生生“退退化化”的的根根本本原原因因所所在在。
为为了了避避免免这这种种“退退化化”现现象象的的发发生生,鲍鲍威威尔尔对对这这一一基基本本算算法法进进行行了了修修正正。
即即在在每每一一轮轮产产生生新新的的搜搜索索方方向向S(k)后后,首首先先判判断断原原搜搜索索方方向向组组是是否否可可以以直直接接用用作作下下一一轮轮迭迭代代的的搜搜索索方方向向组组,若若可可以以,则则仍仍用用之之,否否则则,还还要要进进一一步步判判断断原原搜搜索索方方向向组组中中哪哪个个方方向向上上函函数数值值下下降降量量最最大大或或贡贡献献最最大大,然然后后再再用用新新搜搜索索方方向向替替换换这这个个贡贡献献最最大大的的搜搜索索方方向向,以以保保证证逐逐次次生生成成共共轭轭方方向向,即即每每一一轮轮迭迭代代的的搜搜索方向组线性无关。
索方向组线性无关。
对第对第k轮迭代,记轮迭代,记f1=f(X0(k)f2=f(Xn(k)f3=f(2Xn(k)-X0(k)及及m(k)=maxf(Xi-1(k)-f(Xi(k),i=1,2,n,并并记记Sm(k)为为与与m(k)相相对对应应的的搜搜索索方方向向,S(k)=Xn(k)-X0(k)鲍威尔条件:
鲍威尔条件:
若若f3f1,且且(f1-2f2+f3)(f1-f2-m(k)20.5m(k)(f1-f3)2同同时时成成立立,则则用用S(k)替替代代Sm(k);否否则则,仍仍用用原原搜搜索索方方向向组组。
这这就就是是鲍鲍威威尔尔修修正正算算法法,通通常常所所说的说的鲍威尔算法鲍威尔算法就是指这一修正算法。
就是指这一修正算法。
鲍威尔算法的计算步骤及算法框图鲍威尔算法的计算步骤及算法框图(图图4-18)1)任任选选初初始始点点X(0)=X0
(1),给给定定迭迭代代收收敛敛精精度度1,2。
取取初初始始基基本本方方向向组组为为单单位位坐坐标标向向量量系系,即即Si
(1)=ei(i=1,2,n),并并置置迭迭代代轮轮次次k=1。
2)从)从X0(k)出发,依次沿出发,依次沿Si(k)(i=1,2,n)作作一维搜索,得一维搜索,得n个极小点个极小点Xi(k)(i=1,2,n),构造新的搜索方向构造新的搜索方向S(k)=Xn(k)-X0(k),并沿此并沿此方向进行一维搜索得极小点方向进行一维搜索得极小点Xn+1(k)。
3)判断迭代终止条件)判断迭代终止条件|Xn+1(k)X0(k)|1?
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第四 无约束 优化 直接 搜索
![提示](https://static.bdocx.com/images/bang_tan.gif)