最优化方法课程设计报告运用DFP算法解决无约束最优化问题Word文件下载.docx
- 文档编号:15017409
- 上传时间:2022-10-26
- 格式:DOCX
- 页数:10
- 大小:303.23KB
最优化方法课程设计报告运用DFP算法解决无约束最优化问题Word文件下载.docx
《最优化方法课程设计报告运用DFP算法解决无约束最优化问题Word文件下载.docx》由会员分享,可在线阅读,更多相关《最优化方法课程设计报告运用DFP算法解决无约束最优化问题Word文件下载.docx(10页珍藏版)》请在冰豆网上搜索。
指导教师
摘要
变尺度法是在牛顿法的基础上发展起来的,它和梯度法亦有密切关系.变尺度法避免了Newton法在每次迭代都要计算目标函数的Hesse矩阵和它的逆矩阵而导致随问题的维数增加计算量迅速增加.DFP算法是变尺度法中一个非常好的算法.DFP算法首先是1959年由Davidon提出的后经Fletcher和Powell改进,故名之为DFP算法,它也是求解无约束优化问题最有效的算法之一.
DFP变尺度法综合了梯度法、牛顿法的优点而又避弃它们各自的缺点,只需计算一阶偏导数,无需计算二阶偏导数及其逆矩阵,对目标函数的初始点选择均无严格要求,收敛速度快.
本文主要分析DFP算法原理及运用Matalb软件编程解决实际数学问题.最后运算结果符合计算精度且只用了一次迭代,由此可见收敛速度快.
关键词:
Newton法变尺度法Hesse矩阵Matlab软件
一、课程设计目的:
1、掌握无约束优化问题DFP算法的数值求解思路;
2、训练分析DFP算法的运算存储量及收敛速度的能力,了解算法的优缺点;
3、通过运用DFP算法求解实际无约束优化问题的意义;
4、熟悉应用Matlab求解无约束最优化问题的编程方法.
二、课程设计要求
熟悉了解DFP算法原理及求解无约束优化问题的步骤,并运用Matlab件
编程实现求解问题.
三、课程设计原理
(1)变尺度法基本原理
在Newton法中,基本迭代公式
,
其中,,
于是有
·
(1)
其中是初始点,和分别是目标函数在点的梯度和Hesse矩阵.为了消除这个迭代公式中的Hesse逆矩阵,可用某种近似矩阵来替换它,即构造一个矩阵序列去逼近Hesse逆矩阵序列
此时式
(1)变为
事实上,式中无非是确定了第次迭代的搜索方向,为了取得更大的灵活性,我们考虑更一般的的迭代公式
(2)
其中步长因子通过从出发沿作直线搜索来确定.式
(2)是代表很长的一类迭代公式.例如,当(单位矩阵)时,它变为最速下降法的迭代公式.为使确实与近似并且有容易计算的特点,必须对附加某些条件:
第一,为保证迭代公式具有下降性质,要求中的每一个矩阵都是对称
正定的.
理由是,为使搜索方向是下降方向,只要
成立即可,即
成立.当对称正定时,此公式必然成立,从而保证式
(2)具有下降性质.
第二,要求之间的迭代具有简单形式.显然,
(3)
是最简单的形式了.其中称为校正矩阵,式(3)称为校正公式.
第三,必须满足拟Newton条件.即:
(4)
为了书写方便也记
于是拟Newton条件可写为
(5)
有式(3)和(5)知,必须满足
或(6)
(2)DFP算法
DFP校正是第一个拟牛顿校正是1959年由Davidon提出的后经Fletcher和Powell改进故名之为DFP算法它也是求解无约束优化问题最有效的算法之一.
DFP算法基本原理
考虑如下形式的校正公式
(7)
其中是特定维向量,是待定常数.这时,校正矩阵是
.
现在来确定.
根据拟Newton条件,必须满足(6),于是有
或
满足这个方程的待定向量和有无穷多种取法,下面是其中的一种:
注意到和都是数量,不妨取
,,
同时定出
,.
将这两式代回(5.32)得
.(8)
这就是DFP校正公式.
四、实验内容
采用课本P102页例5.3和P107页例5.4进行数值计算;
1,求,取初始点.
2,求,取初始点.
五、数学建模及求解
1.DFP算法迭代步骤
在拟Newton算法中,只要把第五步改为计算式(8)而其他不变,该算法就是DFP算法了.但是由于计算中舍去误差的影响,特别是直线搜索不精确的影响,可能要破坏迭代矩阵的正定性,从而导致算法失效.为保证的正定性,采取以下重置措施:
迭代次后,重置初始点和迭代矩阵,即以后重新迭代.
已知目标函数及其梯度,问题的维数,终止限.
(1)选定初始点.计算,.
(2)置,,.
(3)作直线搜索;
计算,.
(4)判别终止准则是否满足:
若满足,则打印,结束;
否转(5).
(5)若,则置,,,转
(2);
否则转(6).
(6)计算
置,转(3).
2.DFP算法的流程图
六、程序实现
七、数值实验的结果与分析
由上述运行结果可得出:
第一题迭代一次就解得:
与精确解误差远小于,符合要求.
第二题同样迭代一次就解得:
与精确解误差远小于,符合要求.且所计算的矩阵和梯度与精确计算所得一样,这也表明DFP算法的matalb程序完全符合要求.
八、实验总结与体会
DFP变尺度法综合了梯度法、牛顿法的优点而又避弃它们各自的缺点,只需计算一阶偏导数,无需计算二阶偏导数及其逆矩阵,对目标函数的初始点选择均无严格要求,收敛速度快,这些良好的性能已作阐述。
.对于高维(维数大于50)问题被认为是无约束极值问题最好的优化方法之一。
下面对其效能特点再作一些补充说明.
1.DFP公式恒有确切解
分析DFP公式
为使变尺度矩阵恒有确定的解,必须保证该式右端第二项和第三项的分母为异于零的数,南京大学编的《最优化方法》已证明了这两项的分母均为正数.
2.DFP算法的稳定性
优化算法的稳定性是指每次迭代都能使目标函数值逐次下降。
在阐述构造变尺度矩阵的基本要求中。
已经证明为保证拟牛顿方向目标函数值下降,必须是对称正定矩阵。
南京大学编的《最优化方法》证明了对于f(X)的一切非极小点处,只要矩阵对称正定,则按DFP公式产生的矩阵亦为对称正定。
通常我们取初始变尺度矩阵为对称正定的单位矩阵,因此随后构造的变尺度矩阵序列{(k=1,2,…)}必为对称正定矩阵序列,这就从理论上保证DFP法使目标函数值稳定地下降。
但实际上由于一维最优搜索不可能绝对准确,而且计算机也不可避免地有舍入误差,仍有可能使变尺度矩阵的正定性遭到破坏或导致奇异。
为提高实际计算的稳定性,除提高一维搜索的精度外,通常还将进行n次(n为目标函数的维数)迭代作为一个循环,将变尺度矩阵重置为单位矩阵I,并以上一循环的终点作为起点继续进行循环迭代,这己反映在迭代过程和算法框图之中.
参考文献:
[1]《优化设计方法[M]》邵陆寿北京:
农业出版社,2007.
[2]《最优化方法》南京大学出版社
[3]《最优化方法及其应用》郭科陈聆魏友华高等教育出版社
[4]《MATLAB使用教程》张磊毕靖郭莲英人民邮电出版社
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 优化 方法 课程设计 报告 运用 DFP 算法 解决 无约束 问题