第四章无约束优化计算方法new_精品文档.ppt
- 文档编号:2570422
- 上传时间:2022-11-01
- 格式:PPT
- 页数:106
- 大小:3.16MB
第四章无约束优化计算方法new_精品文档.ppt
《第四章无约束优化计算方法new_精品文档.ppt》由会员分享,可在线阅读,更多相关《第四章无约束优化计算方法new_精品文档.ppt(106页珍藏版)》请在冰豆网上搜索。
第四章无约束优化计算方法,4.1引言4.2单变量优化计算方法4.3多变量优化计算的非梯度方法4.4多变量优化计算的梯度方法,求解优化问题的基本解法有:
解析法:
即利用数学分析(微分、变分等)的方法,根据函数(泛函)极值的必要条件和充分条件求出其最优解析解的求解方法。
在目标函数比较简单时,求解还可以。
局限性:
工程优化问题的目标函数和约束条件往往比较复杂,有时甚至还无法用数学方程描述,在这种情况下应用数学分析方法就会带来麻烦。
4.1引言,数值迭代法的基本思路:
是进行反复的数值计算,寻求目标函数值不断下降的可行计算点,直到最后获得足够精度的最优点。
这种方法的求优过程大致可归纳为以下步骤:
1)首先初选一个尽可能靠近最小点的初始点X(0),从X(0)出发按照一定的原则寻找可行方向和初始步长,向前跨出一步达到X
(1)点;2)得到新点X
(1)后再选择一个新的使函数值迅速下降的方向及适当的步长,从X
(1)点出发再跨出一步,达到X
(2)点,并依此类推,一步一步地向前探索并重复数值计算,最终达到目标函数的最优点。
数值解法求解步骤,在中间过程中每一步的迭代形式为:
上式中:
X(k)第k步迭代计算所得到的点,称第k步迭代点,亦为第k步设计方案;a(k)第k步迭代计算的步长;S(k)第k步迭代计算的探索方向。
运用迭代法,每次迭代所得新的点的目标函数都应满足函数值下降的要求:
(1)选择搜索方向
(2)确定步长因子(3)给定收敛准则,迭代法要解决的问题:
终止准则,准则1-点距准则,准则2-下降准则:
准则3-梯度准则,往往采用两个准则来判别
(1),f(x)在x*附近比较平坦,往往采用两个准则来判别
(2),f(x)在X*附近比较陡峭,结论:
由于不知道函数的具体形态,有时用两个准则判断更可靠!
当采用数学规划法寻求多元函数的极值点时,一般要进行一系列如下格式的迭代计算:
当方向给定,求最佳步长就是求一元函数:
的极值问题,这一过程被称为一维搜索.,一维搜索的最优化方法-分析法,例已知极小值在区间内,若从点出发,根据迭代公式:
取,将,代入,得:
令,得:
将(3-3)代入(3-2)得:
因为,满足准则3所以,=0,(3-3),(3-2),由举例可知,一维搜索方法解析法利用一维函数的极值条件:
一维搜索方法数值解法分类,一维搜索也称直线搜索。
这种方法不仅对于解决一维最优化本身具有实际意义,而且也是解多维最优化问题的重要支柱。
4.2.1进退法(确定搜索区间)进退法也称外推法,是一种通过比较函数值大小来确定单峰区间的方法。
任意给定初始点X1和步长h,算出f(x1)和x2=x1+h点的f(x2)函数值。
图(a)f(x1)f(x2),说明x*x1,将步长增加一倍,取x3=x2+2h;图(b)f(x1)f(x2),说明x*x1,需改变步长符号,得点x3=x2-h。
以此类推,即每跨一步为前一次步长的2倍,直至函数值增加为止。
4.2单变量优化计算方法,在搜索区间内a,b适当插入两点,将区间分成三段;,4.2.2黄金分割法,黄金分割法适用于a,b区间上的任何单谷函数求极小值问题。
对函数除要求“单谷”外不作其他要求,甚至可以不连续。
因此,这种方法的适应面相当广。
黄金分割法也是建立在区间消去法原理基础上的试探方法。
利用区间消去法,使搜索区间缩小,通过迭代计算,使搜索区间无限缩小,从而得到极小点的数值近似解。
黄金分割法要求在保留下来的区间内再插入一点所形成的区间新三段,与原来区间的三段具有相同的比例分布。
将区间分成三段,黄金分割法也称0.618法,是通过对黄金分割点函数值的计算和比较,将初始区间逐次进行缩小,直到满足给定的精度要求,即求得一维极小点的近似解x*。
1)区间缩小的基本思路已知f(x)的单峰区间a,b。
为了缩小区间,在a,b内按一定规则对称地取2个内部点x1和x2,并计算f(x1)和f(x2)。
可能有三种情况:
图(a)经过一次函数比较,区间缩小一次。
在新的区间内,保留一个好点x1和f(x1),下一次只需再按一定规则,在新区间内找另一个与x1对称的点x2,计算f(x2),与f(x1)比较。
如此反复。
图(b)淘汰a,x1,得新区间a,b,此时:
a=x1,x1=x2,x2为x1对称点,b=b。
图(c)可归纳入上面任一种情况处理。
2)取点规则黄金分割法的均匀缩短率为0.618,即每经过一次函数值比较,都是淘汰本次区间的0.382倍。
根据上式,黄金分割法的取点规则是,3)收敛准则由于实际问题的需要和函数形态的不同,常常需要不同的收敛准则确定最优点。
对于直接法,有以下几种收敛准则:
(1)区间绝对精度
(2)区间相对精度(3)函数值绝对精度;(4)函数值相对精度,4)黄金分割法特点
(1)不必要求f(x)可微,只要利用函数值大小的比较,即可很快地找到x*;
(2)除了第一次缩小区间要计算两个点及其函数值以外,其余每次只要计算一个点及其函数值;(3)可靠性好。
5)黄金分割法前提条件,x1、x2在区间中的位置相对于边界来说是对称的在舍去一段后,留在新区间的那个点仍处于新区间内两个计算点之一的位置;在缩小区间时,的值为一不变的常数。
演示过程1,演示过程2,黄金分割法计算框图,黄金分割法的搜索过程:
1)给出初始搜索区间及收敛精度,将赋以0.618。
2)按坐标点计算公式计算,;并计算其对应的函数值。
3)根据区间消去法原理缩短搜索区间。
为了能用原来的坐标点计算公式,需进行区间名称的代换,并在保留区间中计算一个新的试验点及其函数值。
如果,则新区间令记N0=0;如果,则新区间,令,记N0=1;,4)检查区间是否缩短到足够小和函数值收敛到足够精度,如果收敛条件满足,则取最后两试验点的平均值作为极小点的数值近似解。
如果条件不满足则转向步骤5)。
如N0=0,则取,如N0=1,则取,5)产生新的插入点:
转向3)进行新的区间缩小。
例:
用黄金分割法求函数f(x)=3x3-4x+2的极小点给定x0=0,h=1,=0.2。
解:
1)确定初始区间x1=x0=0,f1=f(x1)=2x2=x0+h=0+1=1,f2=f(x2)=1由于f1f2,应在原方向继续向前探测。
x3=x2+h=1+1=2,f3=f(x3)=18由于f2f3,可知初始区间已经找到,即a,b=x1,x2=0,2,2)用黄金分割法缩小区间第一次缩小区间:
x1=0+0.382X(2-0)=0.764,f1=0.282x2=0+0.618X(2-0)=1.236,f2=2.72f10.2,第二次缩小区间:
令x2=x1=0.764,f2=f1=0.282x1=0+0.382X(1.236-0)=0.472,f1=0.317由于f1f2,故新区间a,b=x1,b=0.472,1.236因为b-a=1.236-0.472=0.7640.2,应继续缩小区间。
第三次缩小区间:
令x1=x2=0.764,f1=f2=0.282x2=0.472+0.618X(1.236-0.472)=0.944,f2=0.747由于f10.2,应继续缩小区间。
第四次缩小区间:
令x2=x1=0.764,f2=f1=0.282x1=0.472+0.382X(0.944-0.472)=0.652,f1=0.223由于f10.2,应继续缩小区间。
第五次缩小区间:
令x2=x1=0.652,f2=f1=0.223x1=0.472+0.382X(0.764-0.472)=0.584,f1=0.262由于f1f2,故新区间a,b=x1,b=0.584,0.764因为b-a=0.764-0.584=0.180.2,停止迭代。
极小点与极小值:
x*=0.5X(0.584+0.764)=0.674,f(x*)=0.222,思考题:
试用黄金分割法求近似极小点及极小值。
已知a,b=0,2,=0.01(只要求进行2轮迭代,判断是否收敛)。
一维搜索的插值方法,假定我们的问题是在某一确定区间内寻求函数的极小点位置,虽然没有函数表达式,但能够给出若干试验点处的函数值。
我们可以根据这些点处的函数值,利用插值方法建立函数的某种近似表达式,进而求出函数的极小点,并用它作为原来函数极小点的近似值。
这种方法称作插值方法,又称作函数迫近法。
二次插值法(抛物线法),二次插值的基本思想是利用目标函数在不同3点的函数值构成一个与原函数f(x)相近似的二次多项式p(x),以函数p(x)的极值点(即p(x*p)=0的根)作为目标函数f(x)的近似极值点。
例1用二次插值法求函数f(x)=3x3-4x+2的极小点,给定x0=0,=0.2。
解1)确定初始区间初始区间a,b=0,2,中间点x2=1。
2)用二次插值法逼近极小点相邻三点的函数值:
x1=0,x2=1,x3=2;f1=2,f2=1,f3=18.代入公式:
xp*0.555,fp=0.292,在新区间,相邻三点的函数值:
x1=0,x2=0.555,x3=1;f1=2,f2=0.292,f3=1.xp*0.607,fp=0.243由于fpx2,新区间a,b=x2,b=0.555,1|x2-xp*|=|0.555-0.607|=0.0520.2,迭代终止。
xp*0.607,f*=0.243,由于fp0.2,应继续迭代。
坐标轮换法是每次搜索只允许一个变量变化,其余变量保持不变,即沿坐标方向轮流进行搜索的寻忧方法。
它把多变量的优化问题轮流地转化成单变量(其余变量视为常量)的优化问题,因此又称这种方法为变量轮换法。
在搜索过程中可以不需要目标函数的导数,只需目标函数值信息。
这比前面所讨论的利用目标函数导数信息建立搜索方向的方法要简单得多。
4.3.1坐标轮换法,4.3多变量优化计算的非梯度方法,
(1)计算量少,程序简单,不需要求函数导数的直接探索目标函数最优解的方法;
(2)探索路线较长,问题的维数愈多求解的效率愈低。
当维数n10时,则不应采用此法。
仅适用于n较少(n10)的目标函数求优;(3)改变初始点重新迭代,可避免出现病态。
方法特点,鲍威尔方法,鲍威尔法是以共轭方向为基础的收敛较快的直接法之一,是一种十分有效的算法。
1964年,鲍维尔提出这种算法,其基本思想是直接利用迭代点的目标函数值来构造共轭方向,然后从任一初始点开始,逐次沿共轭方向作一维搜索求极小点。
并在以后的实践中进行了改进。
对函数:
基本思想:
在不用导数的前提下,在迭代中逐次构造G的共轭方向。
1.共轭方向的生成,设xk,xk+1为从不同点出发,沿同一方向dj进行一维搜索而到的两个极小点。
梯度和等值面相垂直的性质,dj和xk,xk+1两点处的梯度gk,gk+1之间存在关系:
另一方面,对于上述二次函数,其xk,xk+1两点处的梯度可表示为:
因而有,取,这说明只要沿dj方向分别对函数作两次一维搜索,得到两个极小点xk和xk+1,那么这两点的连线所给出的方向dk就是与dj一起对G共轭的方向。
2.基本算法,二维情况描述鲍威尔的基本算法:
1)任选一初始点x0,再选两个线性无关的向量,如坐标轴单位向量e1=1,0T和e2=0,1T作为初始搜索方向。
2)从x0出发,顺次沿e1,e1作一维搜索,得点,两点连线得一新方向d1,沿d2作一维搜索得点x2。
即是二维问题的极小点x*。
方法的基本迭代格式包括共轭方向产生和方向替换两主要步骤。
用d1代替e1形成两个线性无关向量d1,e2,作为下一轮迭代的搜索方向。
再从出发,沿d1作一维搜索得点,作为下一轮迭代的初始点。
3)从出发,顺次沿e2,d1作一维搜索,得到点,两点连线得一新方向:
把二维情况的基本算法扩展到n维,则鲍威尔基本算法的要点是:
在每一轮迭代中总有一个始点(第一轮的始点是任选的初始点)和n个线性独立的搜索方向。
从始点出发顺次沿n个方向作一维搜索得一终点,由始点和终点决定了一个新的搜索方向。
用这个方向替换原来n个方向中的一个,于是形成新的搜索方向组。
替换的原则是去掉原方向组的第一个方
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第四 无约束 优化 计算方法 new_ 精品 文档