随机过程第7讲.docx
- 文档编号:1815206
- 上传时间:2022-10-24
- 格式:DOCX
- 页数:13
- 大小:376.63KB
随机过程第7讲.docx
《随机过程第7讲.docx》由会员分享,可在线阅读,更多相关《随机过程第7讲.docx(13页珍藏版)》请在冰豆网上搜索。
随机过程第随机过程第7讲讲7马尔可夫链内容提要马尔可夫链的概念及转移概率马尔可夫链的状态分类状态空间的分解的渐近性质与平稳分布马尔可夫过程的四种类型马尔可夫链-时间、状态都离散马尔可夫序列-时间离散、状态连续连续时间马尔可夫过程-时间连续、状态离散连续马尔可夫过程(或扩散过程)-时间、状态都连续7.1马尔可夫链的概念及转移概率定义设有随机过程Xn,nT,若对于任意的整数nT和任意的,条件概率满足则称Xn,nT为马尔可夫链,简称马氏链。
马氏性(无后效性)马尔可夫链的统计特性完全由以下条件概率所决定:
转移概率定义称条件概率为马尔可夫链Xn,nT在时刻n的一步转移概率,其中i,jI,简称为转移概率。
不仅与状态i,j有关,而且与时刻n有关。
当与时刻n无关时,表示马尔可夫链具有平稳转移概率,此时称齐次马尔可夫链,我们只研究齐次的,通常将齐次省略。
齐次马尔可夫链定义若对任意的i,jI,马尔可夫链Xn,nT的转移概率与时刻n无关,则称马尔可夫链是齐次的,并记为为。
一步转移概率矩阵性质:
(随机矩阵)n步转移概率定义称条件概率为马尔可夫链Xn,nT的n步转移概率,并称为马尔可夫链的n步转移矩阵。
规定:
n步转移概率的性质定理设Xn,nT为马尔可夫链,则对于任意整数n0,0l0是齐次马尔可夫链,其状态空间I=0,1,2,,转移概率是,i,jI,初始分布为,jI。
(1)状态的周期性定义如集合n:
n1,0非空,则称该集合的最大公约数d=d(i)=G.C.Dn:
0为状态i的周期。
如d1就称i为周期的;如d=1就称i为非周期的。
定理如果状态i的周期为d,则存在正整数M,对一切nM,有0。
(2)状态的常返性首中概率状态i经n步首次到达状态j的概率:
系统从状态i出发,经有限步迟早会(首次)到达状态j的概率:
常返性的定义1、若,则称状态i是常返的;若,则称状态i是非常返的(或滑过的)。
2、称期望值为状态i的平均返回时间。
3、若,则称常返态i是正常返的;若,则称常返态i是零常返的。
4、非周期的正常返态称为遍历状态。
与的关系定理对任意状态i,jI及1n0,使得0,则称自状态i可达状态j,并记为ij;
(2)若ij,且ji,则称状态i与状态j互通,并记为ij。
定理1若ij,且jk,则ik;若ij,且jk,则ik。
定理2若ij,则
(1)i与j同为常返或非常返;
(2)i与j同为正常返或零常返;(3)i与j有相同的周期。
例(例4.9)设马氏链的状态空间I=0,1,2,,其转移概率为分析各状态的类型。
解:
先考查状态0,可见状态0为正常返,且是非周期,因而是遍历的。
因为i0,故i也是遍历的。
7.3状态空间的分解定义状态空间I的子集C,若对于任意iC及kC都有,则称子集C为(随机)闭集。
若闭集C的状态互通,则称C为不可约的。
若马氏链Xn的状态空间是不可约的,则称该马氏链为不可约。
闭集的充要条件定理C是闭集的充要条件是:
对于任意iC及kC都有,n1。
状态i为吸收态()单点集i是闭集。
例(例4.11)设马氏链Xn的状态空间I=1,2,3,4,5,转移矩阵为P,试分析其闭集及不可约性。
状态3为吸收态,故3是闭集;1,4,1,4,3,1,4,2,3都是闭集;3和1,4是不可约闭集;因为I含有闭子集,故马氏链Xn不是不可约链。
分解1按照常返性和互通性进行定理任一马氏链的状态空间I,可唯一地分解成有限个或可列个互不相交的子集D,C1,C2,之和,使得
(1)每个Cn是常返态组成的不可约闭集;
(2)Cn中的状态同类(全为正常返或零常返),它们有相同的周期,且,j,kCn;(3)D由全体非常返态组成。
自Cn中的状态不能到达D中的状态。
称Cn是基本常返闭集例(例4.13)设状态空间I=1,2,6,转移矩阵为P,试分解此链并指出各状态的常返性及周期性。
随机矩阵定义若矩阵的元素非负且对每个i都有,则称矩阵为随机矩阵。
显然,k步转移矩阵是随机矩阵。
定理设C是闭集,又是C上所得的k步转移子矩阵,则G仍是随机矩阵。
分解2对周期的不可约马氏链的分解定理周期为d的不可约马氏链,其状态空间C可唯一地分解为d个互不相交的子集之和,即且使得自中任一状态出发,经一步转移必进入中(其中)。
例(例4.14)设不可约马氏链的状态空间C=1,2,3,4,5,6,转移矩阵为P,试对其状态空间进行分解。
周期性不可约马氏链的子链定理设Xn,n0是周期为d的不可约马氏链,
(1)若只在时刻0,d,2d,上考虑Xn,即得一新马氏链(子链),其转移矩阵,对此新链,每一子状态空间Gr是非周期的不可约闭集;
(2)若原马氏链Xn常返,则子链也常返。
例(例4.15)设Xn是例4.14中的马氏链,已知d=3,则,n0的转移矩阵为7.4的渐近性质与平稳分布对于转移概率的极限1)是否存在?
2)是否与i有关?
(1)的渐近性质定理若j非常返或零常返,则推论1有限状态的马氏链,不可能全是非常返态,也不可能含有零常返态;不可约的有限马氏链必为正常返的。
推论2若马氏链有一个零常返态,则必有无限多个零常返态。
的定义自状态i出发,在时刻n=r(mod(d)首次到达j的概率记为:
显然,正常返态的渐近性定理若j正常返,周期为d,则对任意i及0rd1,有推论对于不可约、周期为d的正常返马氏链,其状态空间为C,则对任意i,jC,有常返或到达的平均次数定理对于任意状态i,j,有推论若Xn不可约常返,则对任意i,j,有
(2)平稳分布定义称绝对概率分布,jI为齐次马氏链的平稳分布,若它满足平稳分布定理不可约非周期马氏链是正常返的充要条件:
存在平稳分布,且此平稳分布就是极限分布推论1有限状态的不可约非周期马氏链必存在平稳分布。
推论2若不可约马氏链的所有状态是非常返或零常返的,则不存在平稳分布。
推论3若j,jI是不可约非周期马氏链的平稳分布,则例(例4.16)设马尔可夫链的转移概率矩阵为P,求马氏链的平稳分布及各状态的平均返回时间。
解:
因为该马氏链是不可约的非周期有限状态,所以存在平稳分布。
平稳分布为:
各状态的平均返回时间分别为:
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 随机 过程