最优化理论方法——牛顿法.doc
- 文档编号:122900
- 上传时间:2022-10-03
- 格式:DOC
- 页数:5
- 大小:459KB
最优化理论方法——牛顿法.doc
《最优化理论方法——牛顿法.doc》由会员分享,可在线阅读,更多相关《最优化理论方法——牛顿法.doc(5页珍藏版)》请在冰豆网上搜索。
牛顿法
牛顿法作为求解非线性方程的一种经典的迭代方法,它的收敛速度快,有内在函数可以直接使用。
结合着matlab可以对其进行使用,求解方程。
牛顿迭代法(Newton’smethod)又称为牛顿-拉夫逊方法(Newton-Raphsonmethod),它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法,其基本思想是利用目标函数的二次Taylor展开,并将其极小化。
牛顿法使用函数的泰勒级数的前面几项来寻找方程的根。
牛顿法是求方程根的重要方法之一,其最大优点是在方程的单根附近具有平方收敛,而且该法还可以用来求方程的重根、复根,此时非线性收敛,但是可通过一些方法变成线性收敛。
牛顿法的几何解释:
方程的根可解释为曲线与轴的焦点的横坐标。
如下图:
设是根的某个近似值,过曲线上横坐标为的点引切线,并将该切线与轴的交点的横坐标作为的新的近似值。
鉴于这种几何背景,牛顿法亦称为切线法。
2牛顿迭代公式:
(1)最速下降法:
以负梯度方向作为极小化算法的下降方向,也称为梯度法。
设函数在附近连续可微,且。
由泰勒展开式:
(*)
可知,若记为,则满足的方向是下降方向。
当取定后,的值越小,即的值越大,函数下降的越快。
由Cauchy-Schwartz不等式:
,故当且仅当时,最小,从而称是最速下降方向。
最速下降法的迭代格式为:
。
(2)牛顿法:
设是二次可微实函数,,Hesse矩阵正定。
在附近用二次Taylor展开近似,
,为的二次近似。
将上式右边极小化,便得:
,这就是牛顿法的迭代公式。
在这个公式里,步长因子。
令,则上式也可写成:
显然,牛顿法也可以看成在椭球范数下的最速下降法。
事实上,对于,
是极小化问题的解。
该极小化问题依赖于所取的范数,当采取范数时,,所得方法为最速下降法。
当采用椭球范数时,
,所得方法即为牛顿法。
对于正定二次函数,牛顿法一步即可达到最优解。
而对于非二次函数,牛顿法并不能保证有限次迭代求得最优解,但由于目标函数在极小点附近近似于二次函数,故当初始点靠近极小点时,牛顿法的收敛速度一般是快的。
牛顿法收敛定理:
设,充分靠近,,如果正定,且Hesse矩阵满足Lipschitz条件,即存在,使得对所有i,j,有:
,
其中是Hesse矩阵的元素,则对一切k,牛顿迭代公式有意义,且所得序列收敛到,并且具有二阶收敛速度。
在实际求解中,当初始点远离最优解时,Hesse矩阵不一定正定。
牛顿方向不一定是下降方向,其收敛性不能保证。
这说明恒取步长因子为1的牛顿法是不合适的,应该在牛顿法中采用某种一维搜索来确定步长因子。
但是应该强调,仅当步长因子收敛到1时,牛顿法才是二阶收敛的。
这时牛顿法的迭代公式为:
,
其中是一维搜索产生的步长因子。
带步长因子的牛顿法
步1选取初始数据,取初始点,终止误差,令。
步2计算。
若,停止迭代,输出,否则进行步3.
步3解方程组构造牛顿方向,即解,求出。
步4进行一维搜索,求使得
,
令转步2
牛顿法的计算步骤:
步骤1准备选定初始近似值,计算,。
步骤2迭代按公式:
迭代一次,得新的近似值,
,。
步骤3控制如果满足,或,则终止迭代,以作为所求的根;否则转步骤4.此处,是允许误差,而:
其中C是取绝对误差或相对误差的控制常数,一般可取。
步骤4修改如果迭代次数达到预先制定的次数N,或者,则方法失败;否则以代替,转步骤2继续迭代。
4牛顿法的改进
在优化问题的计算中,牛顿迭代法是非线性方程求根中一种很实用的方法,它具有简单的迭代格式和较快的收敛速度,它二次收敛到单根,线性收敛到重根。
数值计算中的经典
牛顿法面临的主要问题是Hesse矩阵不正定,这时候二次模型不一定有极小点,甚至没有平稳点。
当不定时,二次模型函数是无界的。
Goldstein和Price(1967)提出当非正定时,采用最速下降方向。
Goldfeld等人(1966年)提出了一种修正方法,即使牛顿方向偏向最速下降方向。
更明确的说,就是将模型的Hesse矩阵改变成,其中,使得正定。
该算法的框架如下:
给出初始点。
第k步迭代为:
(1)令,其中:
,如果正定;否则。
(2)计算的Cholesky分解,。
(3)解得。
(4)令
牛顿法的优点是收敛快,缺点一是每步迭代要计算,计算量较大且有时计算较困难,二是初始近似值只在根附近才能保证收敛,如给的不合适可能不收敛。
为克服这两个缺点,通常可以下述两个方法:
(1)简化牛顿法,也称平行弦法。
其迭代公式为,
迭代函数。
(2)牛顿下山法:
牛顿法的收敛性依赖于初始值的选取。
如果偏离所求根较远,则牛顿法可能发散。
为防止迭代发散,对迭代过程再附加一项要求,即具有单调性:
满足这项要求的算法称下山法。
将牛顿法与下山法结合起来使用,即在下山法保证函数值稳定下降的前提下,用牛顿法加快收敛速度。
公式如下:
与前一步的近似值,适当加权平均作为新的改进值
,其中称为下山因子,上式即为:
,称为牛顿下山法
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 优化 理论 方法 牛顿