共轭梯度法及其基本性质word文档良心出品.docx
- 文档编号:569984
- 上传时间:2022-10-11
- 格式:DOCX
- 页数:15
- 大小:105.92KB
共轭梯度法及其基本性质word文档良心出品.docx
《共轭梯度法及其基本性质word文档良心出品.docx》由会员分享,可在线阅读,更多相关《共轭梯度法及其基本性质word文档良心出品.docx(15页珍藏版)》请在冰豆网上搜索。
共轭梯度法及其基本性质word文档良心出品
共轭梯度法及其基本性质
预备知识
定义1设
是对称正定矩阵。
称
是A-共轭的,是指
性质1设有
是彼此共轭的
维向量,即
则
一定是线性无关的。
[证明]若有一组数
满足
则对一切
一定有
注意到
,由此得出:
即所有的
=0.因此,
是线性无关的.
性质2 设向量
是线性无关的向量组,则可通过它们的线性组合得出一组向量
,而
是两两共轭的.
[证明]我们用构造法来证实上面的结论.
S0:
取
;
S1:
令
,取
.
……
Sm:
令
取
容易验证:
符合性质2的要求.
性质3设
是两两A-共轭的,
是任意指定的向量,那么从
出发,逐次沿方向
搜索求
的极小值,所得序列
,满足:
.
[证明]由下山算法可知,从
出发,沿
方向搜索,获得
从而
性质4设
是两两A共轭的,则从任意指定的
出发,依次沿
搜索,所得序列
满足:
(1)
(2)
,其中
是方程组(5.1.1)的解.
[证明](1)是性质3的直接推论,显然成立.
(2)由于
是两两A共轭的,故
是线性无关的.所以对于向量
可用
线性表出,即存在一组数
使
由于
及
,得出
,
于是
,再由
得出
于是
,与得出
一样地,我们可以陆续得出:
对比
和
的表达式可知,
证明完毕
性质4是性质3的直接推论.但它给出了一种求(5.1.1)的算法,这种算法称之为共轭方向法.结合性质2,我们可以得到如下的性质5.
性质5设
是
上的一组线性无关的向量,则从任意指定的
出发,按以下迭代产生的序列
:
S1:
取
,
,
;
S2:
计算
,取
;
计算
,得出
;
如此进行下去,直到第n步:
Sn:
计算
取
计算
,得出
.
显然:
根据性质4可知,不论采用什么方法,只要能够构造
个两两A共轭的向量作为搜索方向,从任一初始向量出发,依次沿两两A共轭的方向进行搜索,经
步迭代后,便可得到正定方程组
的解.
共轭梯度法
算法步骤如下:
[预置步]任意
,计算
,并令取:
指定算法终止常数
,置
,进入主步;
[主步](1)如果
,终止算法,输出
;否则下行;
(2)计算:
(3)计算:
(4)置
,转入(1).
定理5.2.1 由共轭梯度法得到的向量组
和
具有如下性质:
(1)
(2)
(3)
(4)
,其中
(5.2.1)
通常称之为Krylov子空间.
[证明]用归纳法.当
时,因为
,
因此定理的结论成立.现在假设定理的结论对
成立,我们来证明其对
也成立.
利用等式
及归纳假设,有
又由于
,
故定理的结论(1)对
成立.
利用归纳假定有
而由(1)所证知,
与上述子空间正交,从而有定理的结论(2)对
也成立.
利用等式
和
,
并利用归纳法假定和(2)所证之结论,就有
.
成立;而由
的定义得
这样,定理的结论(3)对
也成立.
由归纳法假定知
进而
于是
再注意到(2)和(3)所证的结论表明,向量组
和
都是线性无关的,因此定理的结论(4)对
同样成立.
定理证毕
定理5.2.1表明,向量
和
分别是Krylov子空间
的正交基和共轭正交基.由此可见,共轭梯度法最多
步便可得到方程组的解
.因此,理论上来讲,共轭梯度法是直接法.
定理5.2.2 用共轭梯度法计算得到的近似解
满足
(5.2.2)
或
(5.2.3)
其中
,
是方程组
的解,
是由(5.2.1)所定义的Krylov子空间.
证明 注意到:
,则(5.2.2)和(5.2.3)是等价的,因此我们下面只证明(5.2.3)成立.
假定共轭梯度法计算到
步出现
,那么有
此外,对计算过程中的任一步
,有
设
是属于
的任一向量,则由定理5.2.1的(4)知,
可以表示为
,
于是
而
,
再利用定理5.2.1的(3)就可以推出
于是定理得证.
定理证毕
由定理5.2.1,我们容易得出
由此可得
(5.2.4)
另外,从理论上讲,该迭代法经
次迭代,便能得到精确解.但考虑到计算误差,可以作为无限迭代算法进行计算,直到
为止.
从而,我们得到如下实用的共轭梯度算法:
[预置步]任意
,计算
,并令取:
指定算法终止常数
,置
,进入主步;
[主步](1)计算:
,
(2)如果
,转入(3).否则,终止算法,输出计算结果
(3)计算:
(4)置
,转入
(1)
注:
在算法[主步]中,引入变量
,
及
,可以简化计算。
结合程序设计的特点,共轭梯度法可改为如下实用形式:
算法5·3·1(解对称正定方程组:
实用共轭梯度法)
;
while
and
if
else
end
end
共轭梯度法作为一种实用的迭代法,它主要有下面的优点:
算法中,系数矩阵A的作用仅仅是用来由已知向量
产生向量
,这不仅可充分利用A的稀疏性,而且对某些提供矩阵A较为困难而由已知向量
产生向量
又十分方便的应用问题是很有益的;
不需要预先估计任何参数就可以计算,这一点不像SOR等;
每次迭代所需的计算,主要是向量之间的运算,便于并行化。
5.2.3收敛性分析
将共轭梯度法作为一种迭代法,它的收敛性怎样呢?
这是本节下面主要讨论的问题:
定理5.2.3 如果
而且
,则共轭梯度法至多迭代
步即可得到方程组的精确解。
证明 注意到
蕴含着子空间
的维数不会超过
,由定理5.2.1即知定理的结论成立。
定理证毕
定理5·2·3表明,若线性方程组(5·1·1)的系数矩阵与单位相关一个秩
的矩阵,而且
很小时,则共轭梯度法将会收敛得很快。
定理5·2·4用共轭梯度法求得的
有如下的误差估计
(5·2·5)
其中
证明由定理5·2·1可知,对任意的
,有
记
,则
是常数项为1的
次实系数多项式。
令
为所有常数项为1的次数不超过
的实系数多项式的全体,则由定理5·2·2和引理5·1·1得
其中
是
的特征值。
由Chebyshev多项式逼近定理及Chebyshev多项式的性质,定义在[-1,1]区间上的
次Chebyshev多项式:
是所有常数项为1的次数不超过
的实系数多项式中,在[-1,1]上与“0”的偏差值最小的多项式。
且偏差值为1,对应的交错点组为:
。
因此,多项式
是
中在
上与“0”的偏差值最小的多项式。
即
于是,我们有
因此,定理得证。
定理证毕
虽然定理5·2·5所给出的估计是十分粗糙的,而且实际计算时其收敛速度往往要比这个估计快得多,但是它却提示了共轭梯度法的一个重要的性质:
只要线性方程组(5·1·1)的系数矩阵是十分良态的(即
),则共轭梯度法就会收敛的很快。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 共轭 梯度 及其 基本 性质 word 文档 良心 出品