第15讲随机型动态规划及软件介绍_精品文档.ppt

第15讲随机型动态规划及软件介绍_精品文档.ppt

《第15讲随机型动态规划及软件介绍_精品文档.ppt》由会员分享，可在线阅读，更多相关《第15讲随机型动态规划及软件介绍_精品文档.ppt（26页珍藏版）》请在冰豆网上搜索。

第第6章章动态规划动态规划动态规划的基本理论动态规划的基本理论（2学时）学时）确定型动态规划确定型动态规划（2学时）学时）随机型动态规划随机型动态规划（1学时）学时）动态规划的软件求解简介动态规划的软件求解简介（1学时）学时）1第八章动态规划一、离散随机性动态规划一、离散随机性动态规划随机型的动态规划是指状态的转移律是不确定的，即对给定的状态和决策，下一阶段的到达状态是具有确定概率分布的随机变量，这个概率分布由本阶段的状态和决策完全确定。

随机型动态规划的基本结构如下图：

sk状态xk决策概率k阶段的收益p1p2pN.k+1阶段的状态sk+1c1c2cN12N第15讲随机型动态规划及软件介绍2第八章动态规划图图中中NN表表示示第第k+1k+1阶阶段段可可能能的的状状态态数数，pp11、pp22、ppNN为为给给定定状状态态sskk和和决决策策xxkk的的前前提提下下，可可能能达达到到下下一一个个状状态态的的概概率率。

ccii为为从从kk阶阶段段状状态态sskk转转移移到到k+1k+1阶阶段段状状态态为为ii时时的的指指标函数值。

标函数值。

在随机性的动态规划问题中，由于下一阶段到达的状在随机性的动态规划问题中，由于下一阶段到达的状态和阶段的效益值不确定，只能根据各阶段的期望效益值态和阶段的效益值不确定，只能根据各阶段的期望效益值进行优化。

进行优化。

3第八章动态规划例例11某公司承担一种新产品研制任务，合同要求三个月内交出一件合格的样品，否则将索赔2000元。

根据有经验的技术人员估计，试制品合格的概率为0.4，每次试制一批的装配费为200元，每件产品的制造成本为100元。

每次试制的周期为1个月。

问该如何安排试制，每次生产多少件，才能使得期望费用最小？

（类例教材（类例教材1：

例：

例6-7）4第八章动态规划解：

把三次试制当作三个阶段（解：

把三次试制当作三个阶段（k=1,2,3k=1,2,3）,决策变量决策变量xxkk表示第表示第kk次生产的产品的件数；状态变量次生产的产品的件数；状态变量sskk表示表示第第kk次试制前次试制前是否已经生产出合格品，如果有合格品，则是否已经生产出合格品，如果有合格品，则sskk=0=0；如果没有如果没有合格品，记合格品，记sskk=1=1。

最优函数最优函数ffkk（s（skk）表示从状态表示从状态sskk、决策决策xxkk出发出发的第的第kk阶段以后的最小期望费用。

故阶段以后的最小期望费用。

故有有ffkk（0）（0）00。

生产出一件合格品的概率为生产出一件合格品的概率为0.40.4，所以生产，所以生产xxkk件产品都不件产品都不合格的概率为合格的概率为，至少有一件合格品的概率为，至少有一件合格品的概率为1-1-，故，故有状态转移方程为有状态转移方程为5第八章动态规划用用C（xC（xkk）表示表示第第kk阶段的费用，第阶段的费用，第kk阶段的费用包阶段的费用包括制造成本和装配费用，故有括制造成本和装配费用，故有根据状态转移方程以及根据状态转移方程以及C（xC（xkk），可得到可得到6第八章动态规划如果如果33个月后没有试制出一件合格品，则要承担个月后没有试制出一件合格品，则要承担20002000元的罚金，因此有元的罚金，因此有ff44

（1）=20

（1）=20。

当当k=3k=3时，计算如下表：

时，计算如下表：

x3s3C（x3）+20f3（s3）x3*012345600001201511.29.328.598.568.938.5657第八章动态规划当当k=2k=2时，计算如下表：

时，计算如下表：

x2s2C（x2）+8.56f2（s2）x2*01234000018.568.147.086.857.116.8538第八章动态规划当当k=1k=1时，有时，有x1s1C（x1）+6.85f1（s1）x1*0123000016.857.116.466.486.4629第八章动态规划上上面面三三个个表表中中并并没没有有列列出出xxkk取取更更大大数数值值的的情情况况，因因为为可可以以证证明明以以后后的的C（xC（xkk）+）+ffk+1k+1

（1）

（1）的的值值是是对对xxkk单单调调增加的。

增加的。

因此得到的最优策略是，在第因此得到的最优策略是，在第11个阶段试制个阶段试制22件产件产品；如果都不合格，在第品；如果都不合格，在第22阶段试制阶段试制33件产品；如果仍都件产品；如果仍都不合格，则在第不合格，则在第33个阶段试制个阶段试制55件产品。

该策略得到的最件产品。

该策略得到的最小的期望费用小的期望费用6.466.46。

10第八章动态规划例例2不确定性采购问题（类例教材不确定性采购问题（类例教材1：

例：

例6-8）某厂生产上需要在近五周内必须采购一批原料,而估计在未来五周内原材料的价格是波动的，浮动价格和概率已知。

如何采购使其采购价格的数数学学期期望最小望最小，并求出期望值。

单价概率5000.36000.37000.411第八章动态规划动态规划的数学模型动态规划的数学模型该问题分成五个该问题分成五个阶段阶段，k表示周，表示周，k1，2，3，4，5设设Sk表示为第表示为第k周的实际价格。

周的实际价格。

决决策策变变量量Uk,Uk1表表示示为为第第k周周决决定定采采购购，Uk0表表示示为为第第k周决定等待。

周决定等待。

XkE表表示示为为第第k周周决决定定等等待待,而而在在以以后后采采取取最最优优决决策策时时采采购购价格的期望值。

价格的期望值。

fk（Sk）表表示示第第k周周实实际际价价格格为为Sk时时，从从第第k周周到到第第5周周采采取取最优策略所得的最小期望值。

最优策略所得的最小期望值。

递推关系式：

递推关系式：

fk（Sk）minSk，XkE边界条件：

边界条件：

f5（S5）S5其中：

其中：

XkE=0.3fk+1（500）+0.3fk+1（600）+0.4fk+1（700）Sk500,600,70012第八章动态规划f5（S5）S5S5500,600,700f5（500）500f5（600）600f5（700）700即在第五周，不论原材料的市场价格如何，都必须购买。

当当k=5k=5时时f4（S4）minS4，X4EX4E=0.3f5（500）+0.3f5（600）+0.4f5（700）610f4（500）500f4（600）600f4（700）610当当k=4时时UU4411，当，当SS44500500，600600UU4400，当，当SS44700700即在第四周时，当市场价格为500或600时，选择购买原材料。

若市场价格为700时，则继续等待。

13第八章动态规划当k=3时，f3（S3）minS3，X3EX3E=0.3f4（500）+0.3f4（600）+0.4f4（700）574f3（500）500f3（600）574f3（700）574U31，当S3500U30，当S3600，700即在第三周时，当市场价格为500时，选择购买原材料。

若市场价格为600或700时，则继续等待。

14第八章动态规划当当k=2时时，f2（S2）minS2，X2EX2E=0.3f3（500）+0.3f3（600）+0.4f3（700）551.8f3（500）500f3（600）551.8f3（700）551.8U21，当，当S2500U20，当，当S2600，700即在第二周时，当市场价格为500时，选择购买原材料。

若市场价格为600或700时，则继续等待。

当当k=1时，时，f1（S1）minS1，X1EX1E=0.3f2（500）+0.3f2（600）+0.4f2（700）536.26f1（500）500f1（600）536.26f1（700）536.2615第八章动态规划U11，当，当S1500U10，当，当S1600，700即在第一周时，当市场价格为500时，选择购买原材料。

若市场价格为600或700时，则继续等待。

由上可知，在第1、2、3周时，当价格为500时，选择购买原材料，若价格为600或700，则继续等待。

在第4周时，当价格为500或600时，选择购买原材料，若价格为700，则继续等待，在第5周，则无论时什么价格都购买。

依照这样的最优策略，价格的数学期望值为价格的数学期望值为：

5000.3+536.260.3+536.260.4=525.38216第八章动态规划二、动态规划软件求解简介二、动态规划软件求解简介11使用使用LingoLingo求解最短路求解最短路17第八章动态规划例例6-96-9求求AA到到GG的最短距离路线，各地间的距离如图的最短距离路线，各地间的距离如图6-36-3所示。

所示。

图图6-36-3例例6-96-9的图的图18第八章动态规划19第八章动态规划20第八章动态规划21第八章动态规划二、动态规划软件求解简介二、动态规划软件求解简介22使用使用MatlabMatlab求解最短路求解最短路22第八章动态规划【例例6-106-10】用用MatlabMatlab求解图求解图6-76-7的最短路。

的最短路。

图图6-76-7上海至灾区的公路网络图上海至灾区的公路网络图解解:

计算机求解计算机求解在该题中首先用在该题中首先用1,2,3,4,5,6,7,8,9,101,2,3,4,5,6,7,8,9,10来代表来代表。

23第八章动态规划24第八章动态规划25第八章动态规划三、动态规划应用案例分析三、动态规划应用案例分析（6.5）（6.5）论文论文1:

1:

基于基于MatlabMatlab的的0-10-1背包问题的动态规划方法求解背包问题的动态规划方法求解论文论文2:

2:

基于基于MATLABMATLAB的动态规划常用算法的实现的动态规划常用算法的实现论文论文3:

3:

基于启发式动态规划方法的发电商最优竞价策略基于启发式动态规划方法的发电商最优竞价策略论文论文4:

4:

基于自适应动态规划的系统边际电价预测基于自适应动态规划的系统边际电价预测11电厂内部机组负荷的经济分配电厂内部机组负荷的经济分配22电力企业购网电量分配案例分析电力企业购网电量分配案例分析四、动态规划文献阅读四、动态规划文献阅读作业作业:

习题习题66,7,866,7,826第八章动态规划