附录5最优化方法复习题.docx
- 文档编号:23417384
- 上传时间:2023-05-16
- 格式:DOCX
- 页数:22
- 大小:207.50KB
附录5最优化方法复习题.docx
《附录5最优化方法复习题.docx》由会员分享,可在线阅读,更多相关《附录5最优化方法复习题.docx(22页珍藏版)》请在冰豆网上搜索。
附录5最优化方法复习题
附录5《最优化方法》复习题
1、设ARnn是对称矩阵,bRn,cR,求f(x)
1
-xtAxbTxc在任意点x处
2的梯度和Hesse矩阵.
解f(x)Axb,2f(X)a.
HIddTf(x)f(x)TdTf(x)f(x)Tf(x)
其中I
证明
为单位矩阵,证明方向PHf(x)也是函数f(X)在点X处的下降方向.
由于方向d是函数f(X)在点X处的下降方向,因此f(x)Td0,从而
f(x)TPf(x)THf(x)
f(x)T(I卷ff^)f(x)
f(x)Tf(x)f(X)Tdf(x)Tf(x)
f(x)Td0,
k
又一—0,i1,2,L,k,—
1k1i11k1
则由归纳假设知,ys,而XkiS,
且S是凸集,故X
f为S上的凸函数的
5、设SRn为非空开凸集,f:
SR在S上可微,证明:
充要条件是f(X2)
f(Xi)f(Xi)T(X2
Xi),Xi,X2
证明必要性.设
f是S上的凸函数,
则Xi,X2
(0,1),有
f(X2(i)Xi)
f(X2)(1
)f(x,),
于是f(Xi(X2
Xi))f(X)
f(X2)
f(Xi),
因S为开集,f在S上可微,故令
f(x,)T(X2X,),Xi,X2S.
f(Xi)T(X2Xi)f(X2)f(Xi),即f(X2)f(Xi)
充分性.若有f(X2)f(Xi)f(Xi)T(X2Xi),Xi,X2
则[0,i],取X
x,
(1)x2S,从而
f(Xi)f(X)f(x)T(Xi
将上述两式分别乘以和i后,
相加得
f(Xi)(i)f(X2)f(x)
f(x)T(Xi(i)X2X)
f(X)f(Xi(i)X2)
所以f为凸函数.
6证明:
凸规划
minf(x)的任意局部最优解必是全局最优解.
证明用反证法.
设XS为凸规划问题minf(X)的局部最优解,即存在X的某
XS
个邻域N(X),
使f(X)f(X),XN(X)IS.若X不是全局最优解,则存在
(0,1),有
f(x
(1)%f(x)
(1)f()%f(x).
当充分接近1时,可使x
(1)%N(x)|S,于是f(x)f(x
(1)%
矛盾.从而x是全局最优解.
7、设SRn为非空凸集,f:
SR是具有一阶连续偏导数的凸函数,证明:
X
证明必要性.若X为问题minf(x)的最优解.反设存在%S,使得
XS
f(x)T(%x)0,则d%x是函数f(x)在点x处的下降方向,这与x为问题
minf(x)的最优解矛盾.故f(X)T(xx)0,xS.
充分性.若f(X)T(xX)0,XS.反设存在)%S,使得f(X)f(X).
f(x(%X))f(x)f(%
(1)X)f(X)
f(%0)f(x)f(x)f(%f(X)0((0,1),
因S为凸集,f在S上可微,故令0,得
f(X)T(%X)f(%f(x)0,这与已知条件矛盾,故x是问题minf(x)的最优
xS
解.
8、设函数f(x)具有二阶连续偏导数,Xk是f(x)的极小点的第k次近似,利用
f(x)在点Xk处的二阶Taylor展开式推导Newton法的迭代公式为
21
Xk1Xk[f(Xk)]f(Xk).
证明由于f(x)具有二阶连续偏导数,故
Xk)T2f(Xk)(XXk).
为求(X)的极小点,可令
1
f(x)(x)f(Xk)f(Xk)T(xXk)-(X
且2f(xk)是对称矩阵,因此(X)是二次函数.
(X)0,即卩f(Xk)2f(Xk)(xXk)0,若2f(Xk)正定,则上式解出的(X)
的平稳点就是(X)的极小点,以它作为f(x)的极小点的第k1次近似,记为
Xk1,即Xk1Xk[2f(Xk)]1f(Xk),这就得到了Newton法的迭代公式.
9、叙述常用优化算法的迭代公式.
10、已知线性规划:
求解对偶问题的最优解和最优值.
解
(1)引进变量X4,X5,X6,将给定的线性规划问题化为标准形式:
minf(X)2xix?
X3;
s.t3xiX2X3X460,
X2x22x3X510,
X2X3X320,
为,X2,L,X60.
X1
X2
X3
X4
X5
X6
X4
3
1
1
1
0
0
60
X5
1
-2
2
0
1
0
10
X6
1
1*
-1
0
0
1
20
f
-2
1
-1
0
0
0
0
X4
2
0
2
1
0
-1
40
X5
3
0
0
0
1
2
50
X2
1
1
-1
0
0
1
20
f
-3
0
0
0
0
-1
-20
所给问题的最优解为X(0,20,0)T,最优值为f20.
(2)所给问题的对偶问题为:
(3)将上述问题化成如下等价问题:
minh(y)
s.t3y1
y1
y1
60%10y220y3;y32,
y31,
y31,
0.
y2
2y2
2y2
yi,y2,y3
引进变量y4,y5,y6,将上述问题化为标准形式:
20y3;
2,
1,
1,
问题
(2)的最优解为y
minh(y)60比10y2s.t3y1y2y3*
y12y2y3y5y12y2y3y6y1,y2,L,y60.
y
y2
y4
y5
y
y4
-3
-1
-1
1
0
0
2
y5
-1
2
-1*
0
1
0
-1
y6
-1
-2
1
0
0
1
1
h
-60
-10
-20
0
0
0
0
y4
-2
-3
0
1
-1
0
3
y3
1
-2
1
0
1
0
1
y6
-2
0
0
0
1
1
0
h
-40
-50
0
0
-20
0
20
(0,0,1)T,最优值为h20(最小值).
11、用0.618法求解min(t)(t3)2,要求缩短后的区间长度不超过0.2,初始区间取[0,10].
解第一次迭代:
取[亦][0,10],
0.2
确定最初试探点
1分别为
1a10.382(b1
印)3.82,
1a0.618(b1a1)6.18.
求目标函数值:
(1)(3.82
3)20.67,
(1)(6.183)210.11.
比较目标函数值:
(1)(
1)•
第二次迭代:
a2a1
0,b21
6.18,213.82,
(2)
(1)0.67.
2a2
0.382(b2
a2)0.382(6.18
0)
2.36,
2)(2.363)2
0.4.
(2),2
a23.82
第三次迭代:
a3a2
0,b32
3.82,32
2.36,
(3)
2)0.4.
3a3
0.382(b3
a3)
0.382(3.82
0)
1.46,
3)
2
(1.463)2
2.37.
(3),b3
3.821.46
第四次迭代:
a431.46,b4
b3
3.82,
432.36,
0.4.
4a40.618(b4
a4)
1.46
0.0.618(3.82
1.46)
2.918,
0.0067.
(4)(4),b4
3.82
2.36
第五次迭代:
a542.36,b5
b4
3.82,
542.918,
4)
0.0067.
5a50.618(b5
a5)
3.262,(5)
0.0686.
(5)(5),5
a5
3.2622.36
第六次迭代:
a6a5
2.36,b6
3.262,65
2.918,(6)
0.0067.
6a6
0.382(b6
a6)
2.7045,(6)
0.087.
(6),b6
3.2622.7045
第七次迭代:
a762.7045,b7b63.262,7
62.918,(7)
(6)0.0067.
7a70.618(b7a7)3.049,(7)
0.002.
第八次迭代:
第九次迭代:
亍3.024・
代两次.
解f(x)(2X1
4,2X14X23)t,
将f(x)写成f(x)
1
1xTQxbTx的形式,则Q
2
2
4,b
第一次迭代:
(0)
f(X(0))Tf(X(0))
f(x®)TQf(x®)
£/(0)、
f(x)
0
(0,3)3
22
(0,3)24
1/4
第二次迭代:
x
(2)
x
(1)
f(x⑴)T
f(x⑴)
f(x⑴)Tqf(x⑴)
f(x⑴)
3/2
(3/2,0)
0
2
1/42
(3/2,0)2
3/2
0
7/4
1/4
13、用FR共轭梯度法求解
2
minf(x)(x1x2x3)(x1x2
X3)2
(xix
X3)2
,取X®(*1,$,迭代
两次.若给定
0.01,判定是否还需进行迭代计算.
解f(X)3(xj
2
X2
X32)
2(XiX2X1X3X2X3),
1
再写成f(x)2X
tGx,
2
2,f(X)Gx
6
第一次迭代:
f(X(0))(0,4,0)T,令d。
f(X(0))
(0,4,0)T,
从X(0)出发,沿d0进行一维搜索,
即求minf(X®
do)
216482的最优解,
01/6,x⑴
X(0)
0d0
(1/2,1/3,1/2)T.
第一次迭代:
f(X⑴)(4/3,0,4/3)t.
If(x⑴)
f(x®)||2
d1f(x⑴)0d0(4/3,
8/9,4/3)t.
从X⑴出发,沿d1进行一维搜索,即求
minf(x⑴
141814
1)(23,39,23
1
2
1
3
1
2
4
3
8
9
4
的最优解,得
此时
3⑵
1-,X()
1/2
4/3
X⑴
1d11/3
3
8/9
8
8
1/2
4/3
f(x)
(0,0,0)T
|f(x
(2))||
0
0.01
(0,0,0)T•
得问题的最优解为x(0,0,0)T,无需再进行迭代计算.
14、用坐标轮换法求解minf(x)x:
2xf4为2%2,取x(0)(1,1)T,迭代
步.
解从点x(0)
(1,1)T出发,沿
ei(1,0)T进行一维搜索,
即求minf(x(0)
e)24
3的最优解,得
2,xx®
00(3,1)T.
再从点X⑴出发,
沿e2(0,1)T进行一维搜索,
即求minfd⑴
e2)222
7的最优解,得
程2(3,3/2)T.
15、用Powell法求解minf(x)
向组d0
X12X;3X1X1X2,取X®(0,0)T,初始搜索方
(0,1)T,d1(1,0)T,给定允许误差0.1(迭代两次).
解第一次迭代:
令y®x(0)(0,0)T,从点y®出发沿d0进行一维搜索,易得
00,y⑴y(0)0d0(0,0)T;
接着从点y⑴出发沿d1进行一维搜索,得
3
(2)
(1)」/3c、T
12,yy1d1(2,0)
由此有加速方向d2y⑵y®(|,0)T.
因为lldzll3/2,所以要确定调整方向.
由于什)0,f(y⑴)0,廿)9,按(S")式有
f(y⑴)f(y⑵)max{f(y⑴)f(y(j1))|j0,1},
因此m1,并且
f(y(m))f(y(m1))f(y⑴)f(y⑵)
又因f(2y⑵
y(0))0,故(8418)式不成立.于是,不调整搜索方向组,并
令X⑴y
(2)(|,0)T.
第二次迭代:
取y®X⑴(|,0)T,从点y(0)出发沿d0作一维搜索,得
3
(1)(0)」/33\T
0;,yy0*(;,;)•
424
接着从点y⑴出发沿方向d1作一维搜索,得
3⑵
(1)」Z153T
18,yV1d1(討-
由此有加速方向
d2y
(2)y(0)(|'|)T-
因为||d2||3亦/8,所以要确定调整方向.因
由于
2d2(2,1)To
1⑵⑵
2-,x()y()
3
同时,以d2替换d0,即下一次迭代的搜索方向组取为
33
d0(诃,d1(打•
16、用外罚函数法在直线xy1上求一点P(x,y),使得P到原点0(0,0)的距离近似最
22
minf(x,y)xy;
s.t.h(x,y)xy10.
引入罚函数F(x,y,
'22/八2
k)xyk(xy1).
则原约束最优化问题相应的一系列无约束最优化问题为:
同时kP(Xk,yk)
2・
(12k)
k
k
12k
(Xk,yk)T
kP(Xk,yk)
1
0.5
2
(0.25,0.25)t
1.2500101
2
1
3
(0.3333,0.3333)t
1.1111101
3
2
5
(0.4,0.4)t
8.0000102
4
4
9
(0.4444,0.4444)t
4.9383102
5
8
17
(0.4706,0.4706)t
2.7682102
6
16
33
(0.4848,0.4848)t
1.4692102
7
32
65
(0.4923,0.4923)t
7.5740103
8
64
129
(0.4961,0.4961)t
3.8459103
9
128
257
(0.4981,0.4981)t
1.9380103
10
256
513
(0.4990,0.4990)t
9.7276104
11
512
1025
(0.4995,0.4995)t
4.8733104
12
1024
2049
(0.4998,0.4998)t
2.4390104
13
2048
4097
(0.4999,0.4999)t
1.2201104
(xk,yk)T和kP(Xk,yk),结果如下表所示.
依次对k1,2,L用上述公式计算
14
4096
8193
(0.4999,0.4999)t
6.1O21O5
由迭代终止条件kP(Xk’yQ
k
(12k)2
104可得原约束问题的近似最优解(保
X),f(X2)f(x)f(x)T(X2X),
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 附录 优化 方法 复习题