共轭梯度法及其基本性质.docx
- 文档编号:28587342
- 上传时间:2023-07-19
- 格式:DOCX
- 页数:11
- 大小:119.48KB
共轭梯度法及其基本性质.docx
《共轭梯度法及其基本性质.docx》由会员分享,可在线阅读,更多相关《共轭梯度法及其基本性质.docx(11页珍藏版)》请在冰豆网上搜索。
共轭梯度法及其基本性质
共轭梯度法及其基本性质
预备知识
定义1设」「心是对称正定矩阵。
称-:
是A-共轭的,是指
p^Ap2=0,Apx>0,>0
性质1设有D…二m是彼此共轭的维向量,即
丫[=0,JJ,刃母界f、..丄…肿
[>0,*二/
贝「:
…二■一定是线性无关的。
[证明]若有一组数3•…二V满足
◎o尹°+…+口宀二0,
则对一切"一定有
0=X卫(禺)芒0+"*+%心=%灵,
r_
注意到-",由此得出:
匕-即所有的J=o•因此,m…二是线性无关的.
性质2设向量•二是线性无关的向量组,则可通过它们的线性组合
得出一组向量厂门…「:
,而厂门■是两两共轭的.
[证明]我们用构造法来证实上面的结论.
SO:
取-r■'-创
住況血1
S1:
令玩他0,取Pi=cfioj^o
w-l
卫星=瓷梅+乞°血戸,
L0
容易验证:
"—…:
亠符合性质2的要求.
性质3设厂宀"■■'是两两A—共轭的,•厂门是任意指定的向量,那么
从「出发,逐次沿方向厂门匸、:
搜索求匸;■八乙「心.的极小值,所得序
列-:
:
;-',满足:
[证明]由下山算法可知,从X出发,沿.方向搜索,获得
从而
Jt-1Ji-1
丑=叫7+^Z-L^i-1二心^+2%阳=…二%+另碍乃
UJfc-2i』
性质4设「「是两两A共轭的,则从任意指定的出发,依次沿儿一…搜索,所得序列-:
•,-!
满足:
严兀「疋=0丄旳_1
(1)
(2)〔-二,其中是方程组(5.1.1)的解.
[证明]
(1)是性质3的直接推论,显然成立.
(2)由于;1;1-是两两A共轭的,故-'-'J-■'1是线性无关的.所
以对于向量二门可用fJ-…"•-线性表出,即存在一组数…上、使
X-1忑*=^0+另岛歹if-0
由于""八一」厂■■…-八…及4一:
’,得出
M-1
后=巧+乞禹刃Ta_n_o1
于是_,再由"'.得出
riPi
M-1九二花+为爲刃~〜
于是-,与得出ST:
—样地,我们可以陆续得出:
对比b和S的表达式可知,:
二*
证明完毕
性质4是性质3的直接推论.但它给出了一种求(5.1.1)的算法,这种算法称之为共轭方向法•结合性质2,我们可以得到如下的性质5.
性质5设AM空"是"上的一组线性无关的向量,则从任意指定的
叼皿出发,按以下迭代产生的序列:
S1:
取去。
二蛊°戸(月珂心二叼;
r尸1P\
计算上上),得出
如此进行下去,直到第n步:
aI=3%
计算•,:
—…,彳得出】-.■1'V1
根据性质4可知,不论采用什么方法,只要能够构造;个两两A共轭的向量作为搜索方向,从任一初始向量出发,依次沿两两A共轭的方向进行搜索,经步迭代后,便可得到正定方程组丄八的解.
共轭梯度法
算法步骤如下:
[预置步]任意"■■■,计算,并令取:
J八指定算法终止
常数…,置,进入主步;
[主步]
(1)如果1^11<£,终止算法,输出忑"木;否则下行;
r
Gjt=2?
■忑+1二耳+仇Pi
(2)计算:
宀"■
rT血
付产心一加如,0严一寧IP如二
(3)计算:
-■…
(4)置':
-■"■-■-,转入
(1).
定理5.2.1由共轭梯度法得到的向量组'和具有如下性质:
(1)上:
-匚」匚:
.
(2)';;-Jm二」"-•/"
(3)'■
(4)磷期…心}匸密加二毗几G,七+1),其中
(521)
K(A^Q,k+T)=span{心,丹币,•十,卫上心}
通常称之为Krylov子空间.
[证明]用归纳法•当,:
-时,因为
卫。
二仓,与二©一空。
金。
,巩二h+AjFo
Pq尸1二GG二Fq(斤_>-Q%Pq)=G广。
—X^c=°,
rr
=(庁+A^o/A二川如b一土上圧禺口=0,
因此定理的结论成立.现在假设定理的结论对•:
成立,我们来证明其对「1也成立.
禾|」用等式'-1-「7;■:
-7,:
及归纳假设,有
灵S=共%-%冥盘巩=0,0
<>t-l
又由于
p;s=戸沅-況如=°
?
故定理的结论
(1)对■:
」成立.
利用归纳假定有
零诚厲.-■•心}二第初%…・pJ
而由
(1)所证知,气"与上述子空间正交,从而有定理的结论
(2)对:
:
」也成立.
利用等式
.";.:
\,i和、―.宀〕,
并利用归纳法假定和
(2)所证之结论,就有
吧i 成立;而由•的定义得 =(J+炕炕)『如t=唸1母Jt-=0 这样,定理的结论(3)对’: 门也成立. 由归纳法假定知 烁耳.(,朮+。 二密妙{吊,乂心…僅 进而 蝕丘密拥血肿®…,#%}c砂尿,血,乂%,…,卫fj 于是 F却二%-他A巩€忙(耳5,七+2)=即处{心乂^「=£“九} Pm=%1+负久已疋(4心,疋+2)=劭初{帀,化严・,0+匕} 再注意到 (2)和(3)所证的结论表明,向量组和八二•…「门都是线性无关的,因此定理的结论(4)对「1同样成立. 定理证毕 定理521表明,向量和「「分别是Krylov子空间心話+1)的正交基和共轭正交基.由此可见,共轭梯度法最多悴步便可得到 方程组的解’I因此,理论上来讲,共轭梯度法是直接法. 定理5.2.2用共轭梯度法计算得到的近似解「满足 其中卜r'1? ;'■',.是方程组-'-■■■-的解是由(5.2.1)所定义的Krylov子空间. 证明注意到: "nrr-亠: ,则(5.2.2)和(523)是等价的,因此我们下面只证明(5.2.3)成立. 假定共轭梯度法计算到步出现,那么有 此外,对计算过程中的任一步: 」,有 忑=A(j+%珂+…+虫40卜1W可+K(/片氏). 设*是属于^1'7的任一向量,则由定理5.2.1的(4)知,■: 可以表示为 ”-\: i: ■■/': ': ;J;'- 于是 菱二(%—旳);^+(旳一尸1)戸「+** '+(痿3一畑)去+0V\+…+虫#1曲小 X,-Xjt二+・・・+驹-1戸41 再利用定理521的(3)就可以推出 忸_对: 二K%_旳"°+…十(位“-n-i^j^illl j +||务族+…+◎加in 工kt%+…+=狀・—心丄 于是定理得证. 定理证毕 由定理5.2.1,我们容易得出 由此可得 (524) 另外,从理论上讲,该迭代法经'次迭代,便能得到精确解•但考虑到计算误差,可以作为无限迭代算法进行计算,直到I为止. 从而,我们得到如下实用的共轭梯度算法: [预置步]任意'■'■: ,计算「八二,并令取: J八指定算法终止 常数…,置,进入主步; (2)如果"'',转入(3).否则,终止算法,输出计算结果 r A二耳⑷,-£1+ (3)计算: (4)置,转入 (1) ,可以简 注: 在算法[主步]中,弓I入变量—「;,•—’「;及厂一: 「,化计算。 结合程序设计的特点,共轭梯度法可改为如下实用形式: 算法5・3・1(解对称正定方程组: 实用共轭梯度法) 二一\C-; /t=0,r=b-Axtp-rr while''_LL: and-口丿 k=k+1 if-- p=r else P-pip\p-r+fyy end v? =Ap\a=pfpw,z-z+ r-r-c^,p=p=rrend 共轭梯度法作为一种实用的迭代法,它主要有下面的优点: 算法中,系数矩阵A的作用仅仅是用来由已知向量产生向量 1」,这不仅可充分利用A的稀疏性,而且对某些提供矩阵A 较为困难而由已知向量「产生向量"亠又十分方便的应用问题 是很有益的; 不需要预先估计任何参数就可以计算,这一点不像SOR等; 每次迭代所需的计算,主要是向量之间的运算,便于并行化。 523收敛性分析 将共轭梯度法作为一种迭代法,它的收敛性怎样呢? 这是本节下面主要讨论的问题: 定理523如果」「"而且=',则共轭梯度法至多迭代-「步即可得到方程组的精确解。 证明注意到二'蕴含着子空间 的维数不会超过’■•,由定理5.2.1即知定理的结论成立。 定理证毕 定理5•2•3表明,若线性方程组(5•1•1)的系数矩阵与单位相关一个秩”的矩阵,而且’很小时,则共轭梯度法将会收敛得很快。 定理5•2•4用共轭梯度法求得的有如下的误差估计 其中」\J.一: . 证明由定理5•2•1可知,对任意的有 -X=Z(-+叫讥+丑7卫心+…+农廳卫社” 二山+£3灿占心+空脸£'心总嵐』*尸°)=/T(d+%/+%才+・・・+%炉)© k 如(几)=1+》・昇 记二,则九是常数项为1的'次实系数多项式。 令二为 所有常数项为1的次数不超过: 的实系数多项式的全体,则由定理5•2•2和引 理5•1•1得 忸一斶L=mm{|贋7丄+疋(乂心左)} 其中'': …'--'■'是"的特征值。 由Chebyshev多项式逼近定理及 Chebyshev多项式的性质,定义在[-1,1]区间上的;次Chebyshev多项式: '"<;1: : ,: 是所有常数项为1的次数不超过'的实系数多项式中,在[-1,1]上与“0”的偏差值最小的多项式。 且偏差值为1,对应的交错点组为: xi-cos—-0,1…,氐 上。 因此,多项式 是门中在』7上与“0”的偏差值最小的多项式。 即 minmaxp,(几)=max\ps(X) pk^a <^rit 于是,我们有 虽然定理5•2•5所给出的估计是十分粗糙的,而且实际计算时其收敛速度 往往要比这个估计快得多,但是它却提示了共轭梯度法的一个重要的性质: 只要 线性方程组(5•1•1)的系数矩阵是十分良态的(即-■: ■),贝快轭梯度法就会收敛的很快。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 共轭 梯度 及其 基本 性质