随时确定性随机连续时间马尔可夫过程.docx

随时确定性随机连续时间马尔可夫过程.docx

《随时确定性随机连续时间马尔可夫过程.docx》由会员分享，可在线阅读，更多相关《随时确定性随机连续时间马尔可夫过程.docx（12页珍藏版）》请在冰豆网上搜索。

随时确定性随机连续时间马尔可夫过程

管理工程学院

电

子

商

务

信

息

管

理

专业：

电子商务

班级：

1333班

姓名：

李瑞平

学号：

201321102330

随时确定性的随机连续时间马尔可夫过程

厄尔布斯拉

加州大学河滨分校

基督教r谢尔顿

加州大学河滨分校

摘要

我们描述一个随机确定性方法、计算过滤和平滑分布，在大型variable-based连续时间马尔可夫的变化过程。

之前，不随机算法，收敛到真实的极限分布，无限的计算时间。

当内部使用的期望导致不稳定，抽样算法可以给不同的结果每次运行最大化或其他算法。

我们的方法，结合了随时收敛的性质，与随机收敛的性质，与随机抽样杂文集一一的性质操作方法。

它是建立在一个时间允许订购产品的扩张矩阵前，我们证明我们的方法形式比当前最好的抽样方法对基准问题。

1.连续随机系统

连续系统离散状态随机模型描述系统的事件时间不同步于全局时钟。

例如：

网页搜索（gvnawar-达纳etal,2012），计算机网络（徐、谢尔顿.2010）.社交网络（风扇、谢尔顿2009）。

机器人技术（Ngetal.2005），系统验证（Baieretal;2003）以及系统发育树（Cohn,etal,2009）等等。

离散化时间可以计算昂贵，这个“分配”宽度必须比美国东部事件之间的时间短的多。

这可能导致低效的com-pntation事件或预期的事件的时期不太频繁，很多像表示“状态”的数值算法。

（浮点而及其实现比定点表示）在发展数值算法中是有用的，连续时间对随机动系统来说是有用的。

本文重点是马尔可夫的模型，一个离散时间马尔可夫过程，row-stochastil矩阵M和分布V（作为一个行向量）的计算。

素食新闻=xmn向前传播n次步骤，在一个连续时间马尔可夫过程（CTMP）率（一紧张度）矩阵Q，Vt=VeQt。

单位以相同的方法向前传播，这是在计算一步过滤平滑和参数估计中的关键，当V的规模很大，结构（al-v和问降低他们的效率表示）我们关注如何计算这个矩阵指数。

除了最简单的情况下，Vt内部没有真正的；特别是在由联合作业的假设状态空间分解下的状态变量，即使V是完全独立的，Vt不再有任何结构（除非Q也代表了一种完全的影响系统），这是同样的问题出现在dy-向前运动的贝叶斯网络（DNNS）propa-gation导致耦合系统中的所以变量，我们假设一个完整的分布状态空间太大的存储，因此寻求一个近似。

1.1以前的工作

这个问题在消失的decision-diagram-base表示强度矩阵Q得到关注，然而，这背后的假设文学是，尽管Q可能保持代表，需要一个确切的答案，因此，Vt表示为一个完整的向量，随机算法是其中之一，例如（费尔南德etal;1998）.

相比之下，我们假设代表Vt明确不可能的，我们将要对分销Vt进行预期计算。

在我们的方法中，我们共同在连续时间贝叶斯网络（NodelmanCentrate-etal;2002），（CTBNS）。

但该方法一般针对任何Q的克罗内克产品的总和，即使最简单的期望（如边界）是计算（np困难证据证明的是一个简单的扩展贝叶斯网络）,所以我们关注近似。

在文献丁腈,有许多这样的方法,大致分为两组。

第一个是变分方法如预期传播（El-Hayetal.,2010）和平均场（科恩etal.,2009）。

这些方法是确定的。

然而,他们不收敛真正价值随着计算时间增加,一般只计算边界或类似的期望。

美国证券交易委员会（sec）-作为集团包括重要性抽样方法抽样（风扇etal.,2010）和吉布斯抽样（Rao&起来,2011）。

这些方法收敛到真值并且可以估计任何期望的vt。

然而,随机内使用时,这会产生问题算法（如expectation-maximization）。

1.2我们的方法

我们建议的方法是确定性和收敛限制的无限的计算时间。

它可以被视为一个抽样和确定性方法之间的桥梁。

我们将系统分解成两个部分:

一个系统（一个）完全独立的组件,修正（B）。

我们关于系统的确切原因和添加增加修正条款来源于B。

我们生成一个计算树遍历它使用一个优先级队列,选择较大的修正条款。

我们首先假设问和proba——提出我们的方法性向量可以存储。

然后,我们将演示如何进行有效地计算时问吗是结构化的。

在2.4节中,我们提出一个简单的例子地面派生。

最后我们展示结果比较我们的方法的计算效率其他任何时候收敛的方法。

2.矩阵指数的计算

考虑一个CTMP和离散状态描述由一个初始状态分布行向量的大小n和vn-by-n率矩阵Q的大小。

率矩阵表示的利率系统状态之间的转换。

过渡的速度从我jqij0和状态过渡的状态我是气的速度=Pjqij。

的率矩阵的对角元素是消极的行总结:

qii=气。

如上所述,分布在时间t,t0,计算了vt=veQt在eQt世博会矩阵是-用泰勒展开式eQtnential=P1k=01的矩阵指数的计算非常广泛应用于美联社-于数学和数值方法有很多解决（硅藻土&贷款,2003）。

如果状态方程结构联合作业变量,它的大小,n,随数增加呈指数增长的变量,米。

这使得eQt计算棘手的对于大型系统。

通过问这丛——的结构是不简单的,因为它是不保存的矩阵指数，此外,交换道具-erty不一般的矩阵指数:

为任何相同矩阵A和Be（A+B）t≠eAteBt≠eBteAt,除非换向器[A,B]==AB－BAvan-ishes.一个可能的分解来自“Kro-内克尔和属性:

然而,克罗内克资金只能描述率矩阵系统所有变量是独立的。

一般情况下,e（A+B）可以被视为一个微扰吃的的方向Bt（Najfeld&哈维尔,1995）可以表示为：

这是一个递归函数。

本系列,第一次探索量子场理论（戴森,1949）被称为以时间为顺序的系列产品（上）,或一些-次path-ordered指数。

在随机过程中,Mjolsness&Yosiphon（2006）称之为以时间为顺序的产品扩张和用它来指导抽样算法-rithm。

我们将采用扩张获得阻止-ministic方法,以时间为顺序的树产品（TTOP）。

2.1计算树顶

我们两个假设:

可以分为Q=A+B,在veAt是相对简单的计算,和B=PJJ可控的条件j=1Bj。

我们将展示如何实现这些假设在接下来的部分。

我们使用方程1和应用dis-的扩张矩阵乘法的tributive属性之和外的积分:

让外语（t）表示TH的扩张。

然后,方程可以改写为：

建设的第一个任期内,veAt很简单,解决（如将解释2.2节）。

2.1.1积分扩张

我们计算每个积分用下面的扩张我们对待一个多项式部分完全和使用自适应正交估计non-polynomial穷-。

q（t）是一个分片多项式。

进一步的指示问（t）=rt0（年代）ds和q（r1,r2）（t）=（r1t

然后我们可以编写一个积分的形式

对于任何选择g0逼近g作为常数g（s0）并添加2修正条款（相同的形式）子-部分的时间间隔。

在这里,[a,b]问的支持范围,和s0=a+b/2。

为了方便起见,我们把这个范围分成二:

[一个;a+b/2]和[a+b/2,b）。

我们使用两个细分下面,但超过泛化两个sub-intervals很简单。

递归方程5将生成无限扩张许多条款的形式问（t）（g（s0）g0）:

qk（t）是特定的问,问（t）和英国（g（s0）g0）为特定的g和g0。

2.1.2完整的计算树

假设水平l方程可以表示为3

图1所示一般形式的扩张

（当然是适用于l=0:

q00（t）=1,半0=v）,然后我们展示如何构建级别同样l+1:

在最后两行中,我们已经取代了积分方程6的扩张。

特别是强度-格雷申感兴趣的h（t,qlk开始0;ulk0eAtBje在,0）,我们让集fqk;ukgk生成h被表示为NQLk开始0;k;j,ulk开始0;k;joK。

代表一个节点级compu-l界定树。

因此,对于每一个k开始0,我们生成J节点的水平l+1,每一种都是扩张的树的根相应的积分。

结果是一个扩张皋兰山方程7+1相同的形式。

N（问;u;半;j）。

它和它的后代在同一水平l代表h（t,q;ueAt在;半）。

儿童水平l+1代表新条款在外语+1。

节点N（q;u;半;j）造成这一术语

的总额。

两个孩子在同一个水平N（q（s0）;u;w;j）和N（q（盲;b）;u;w;j）,s0=a+b/2。

算法1TTOP过滤器初始化与N优先级队列PQ（1;v,0,0）而PQ非空和计算时间N（q;u;u0;j）Pop（PQ）Set（a;b）bethesupportrangeofqSets0=a+b2,andw=ueAs0Bje􀀀As0问（t）先添加到运行总和（见方程9）fNext线可以推广到超过2splitsgN（q[a;s0];u;w;j）andN（q[s0;b];u;w;j）toPQforj0=1toJdofori=1tomdoAddN（_q;di（w;u0）;0;j0）toPQ在下一个level,它生成一个节点N（q;w􀀀u0;0;j0）,所有1j0j.图1显示了这种扩张。

原因将在下一节中,我们不能形成w􀀀半（even虽然我们每个individually）.可以形成Thus,节点N（q;w􀀀u0;0;j0）可以描述的两nodes:

N（q;w;0;j0）N（qu0;0;j0）.然而,第二个节点将本质上“撤销”计算完成其他地方。

我们解决这个问题在下一节。

这些树代表一个无限递归生成的节点veQt是谁的总和。

节点有一个单一值,再加上“samelevel”孩子代表更好的近似的积分,和“下一阶段”的孩子代表一个组件脂肪肝的下一级l。

所有节点的总和在l级描述了显示系统的发展（而不是问）,但在l时间点（位置anywhere）,校正B=Q􀀀Aapplied.如果=0,然后每一层问泰勒展开式的一个术语。

传统的1我!

系数在这种扩张捕获由我们的分片多项式集成。

如果我们探索树,每个节点将访问在无限的计算时间的限制,然后我们可以添加每个节点在时间t的评价运行总和和计算veQt。

算法1概述了该方法使用一个优先级队列的集中计算部分树大贡献。

2.2结构化的高级计算

对于感兴趣的场景,向量v和矩阵Q太大而不能显式地表示由于状态空间由每一个状态的赋值的一组变量,通过XmX1。

我们将假设v是一个独立的分布（尽管我们可以扩展这个工作在v的依赖,但这简化了博览会）。

在克罗内克代数这意味着v=纳米i=1vi,每个六世是一个小习行向量的边缘分布。

我们现在展示如何保持每个数量计算树能上演的一样类似的因素分布一个克罗内克积每个变量的一个术语。

如果一个=lmi=1Ai,然后eat=纳米i=1eAit。

我们假设每个Ai（只是Xi）的状态空间足够小,以便计算eAit可以执行效率。

如果我们还要求每个Bj=纳米i=1Bj,,然后所有的向量和矩阵相乘的计算树是克罗内克等产品。

特别是,在节点N（问;u;半;j）,我们需要计算w方程（9）其贡献之和。

因为你,Bj,eAs0就是一切克罗内克产品和（B）（CD）=（AC）（BD）,矩阵的所有产品可以有效地执行只是操作上的独立子空间在每个变量。

因此w（通过扩展节点的贡献总和）是一个完全分解向量表示为克罗内克积（即所有变量的分布是独立的）。

生成新节点不需要任何其他操作,操纵一维除外分段多项式。

因此,我们的答案是一个加权独立分布的总和（克罗内克产品）。

它不是克罗内克积,因为它是一个可表示的吗完整的分布。

然而,任何期望的分布可以通过总结计算的贡献每一个独立的条件。

当我们提到earlier,N（q;w􀀀u0;0;j0）表达式w􀀀u0而不是克罗内克积（despitew和半都是）。

处理这个问题,我们注意到

因为我们如何选择Bj（seebelow）,xi0􀀀yi0只是非零几i0（家庭变量j）。

此外,这允许我们分手多少的节点偏差（w􀀀u0）variable,贡献的集中这些变量的近似计算是最困难的。

因此,我们使用这个分解和划分节点N（q;wu0;0;j0）（see图1）节点N（问;di0（w;半）;0;j0）为所有i0wi06=u0i0。

必要的形式Q=lm我=1Ai+PJj=1纳米我=1Bj,都是可能的,尽管它可能导致一个Bj问的每个元素（一般是指数状态变量的数量）。

二元决策图通常用于编码问:

在随机逻辑应用程序分离的分区会非常自然这种结构（伯奇etal.,1991;Ciardo玉,2005）。

然而,它们编码的形式=0。

技术类似于我们下可以应用于描述

图2两节点丁腈和分解。

大型矩阵（4-by-4）是隐式的。

问被分解为一个独立的和两个校正矩阵,B1和B2。

拉强度从Bj矩阵中,但我们会关注在一个不同的表示。

2.3连续时间贝叶斯网络

一个连续时间贝叶斯网络（、（Nodelmanetal.,2002）是一个图形化的模型提供了一个结构化的CTMP的表示。

最初的分布是描述了一个贝叶斯网络,我们假设没有边缘（但这工作可以扩展到依赖初始分布）。

被指定为转换模型导演和可能的循环图,其中节点模型代表变量的马尔可夫过程,每个节点的动态取决于其父母的状态在图中。

每个节点,我=1,:

:

:

米,有一个Ui的父母。

率矩阵Q是考虑到有条件的率矩阵,为每个任务的uiQijuiui。

每个条件强度矩阵给出了利率习变量转换在瞬间Ui=Ui。

没有两个变量可以在完全相同的即时所以任何过渡在全球Q矩阵元素描述多种变化变量为0。

全球Q矩阵可以表示为丁腈克罗内克代数。

让Rijui=Ni0R（ijui）;i0克罗内克为每个变量在一个矩阵R（ijui）;i0=8><>:

Qijui如果i0=我如果i02k,kPa（Xi）&kval.i0的ui我否则:

（12）在k,k是一个矩阵的零,除了一个位置k,k。

这样,RijuiinQijui分配率在适当的位置问:

丁腈的问

因此Q=MXi=1X用户界面Moi0=1R（ijui）;来自他们!

（13）:

这对应于我们的层表示的问是0和有一个Bj为每个变量和实例化它的父母。

我们可以强度拉进一个矩阵定义B（ijui）;i0=8><>:

Qijui􀀀Ai如果i0=i如果i02k,kPa（Xi）&kval.i0的ui我否则:

（14）然后Q=米I人工智能+MXi=1X用户界面Moi0=1B（ijui）;来自他们!

（15）:

代数是长,但是很简单。

它因为人工智能是恒定的ui和对ui表示求和每个可能的实例化一次。

结果是Ai代表一个独立的、近似的过程习。

一个是联合这些独立的过程近似。

独立之间的差异过程,给出了丁腈Bijui为每个变量及其父母的实例化。

注意（ijui）;i0=我如果i0不是我的父母。

因此,大多数的组件任何Bj的身份和计算ueAsBe􀀀As这些组件是微不足道的（它们是一样的u）。

因此,计算N（问;u;半;j）是当地的价值物体

图3计算树的部分

例如图2t=4。

每个框计算树中的一个节点（见图1）。

a和b节点是根的孩子。

节点d、e的孩子下一个级别（l=2）。

节点c是一个例子细化（节点b）。

方程11规定的儿童如何cl=2计算,因为半6=0的节点。

2.4丁腈的例子

图2显示了一个简单的2-variable丁腈和一个可能的矩阵分解为A和b.这里当地的人工智能选择最低的利率。

因为X1没有父母,A1是准确、没有条件。

X2生成2B。

如果我们让v=v1v2（v1和v2独立的边界X1和X2）,然后如图3所示计算树的一小部分。

该方法本质上是准确计算的影响和包含的影响B泰勒展开,添加越来越多的条件。

注意,在图2中,A1和A2适当强度矩阵（行数目0）。

这意味着B2j0和B2j1负对角元素。

这导致一个对应的计算泰勒展开式与交替的迹象。

这会导致计算问题。

另一个选择是安排B没有负面元素。

例如A2=4234,导致B2j0=2010和B2j1=0201。

缺点是v2eA2t金额小于1。

非根节点添加概率答案（而不是移动在答案）。

最后,丁腈,Bj尤其乘法简单。

j值索引变量（Xi）和一个实例化其父母（ui）。

一个分解向量乘以Bj,Xi组件乘以Qijui􀀀Ai.为每一个零组件与父母有关,所有元素向量的除了一个一致的用户界面。

向量对照管节点不变。

2.5平滑和计算方面的考虑

到目前为止的讨论都集中在过滤。

我们会也喜欢进行平滑。

我们将限制自己的情况下最初的分布在时间为0,v,知道,在稍后的时间T的证据向量vT代表的证据的可能性系统的每个可能的状态。

我们假设这两个正如以前讨论的媒介因素。

我们的目标是计算（预期）的分布在时间t条件在时间t的证据由计算阿达玛（逐点）的产品veQt和vTeQ>（T􀀀t）（and然后result）.正常化首先,考虑每个指数分别计算。

让“转发”方向的结果pJ.提出计算的jth节点贡献在哪里j=纳米i=1j,i。

让“落后”的方向是类似的

图4.计算时间与吉隆坡发散的环形线圈网络=2时,=0:

5

图5.计算时间与吉隆坡发散的环形线圈网络=2时,=1

表示为

它可以很容易地可显示为

因此,我们必须考虑每两个节点,一个从向前扩张和一个来自向后扩张。

对于每一对,分解想必的组件同轴和逐点地增加在一起得到的对答案的贡献。

我们想要包括这些条件对最好明智地使用预算有限的计算。

我们这样做是通过保持一个弗伦联盟-层组对计算节点,一个向前的树和一个从落后的树。

如果我们有了（添加到平滑结果）jk,我们添加到弗伦联盟-层组j和k的所有儿童和j的孩子配上k。

我们用一个封闭列表以确保没有一对接下来的问题是如何优先弗伦联盟的成员层。

我们需要估计的总贡献这副图和所有后续对。

我们选择这个查询节点的贡献值的总和（呈献值的变化）,最大的产物每个节点的价值。

3、实验

我们实现了我们的方法,TTOP（树的时间-订购产品）,如CTBN-RLE代码库的一部分（谢尔顿etal.,2010）,它将包括在未来版本。

我们评估我们的方法合成网络伊辛模型的动力学。

是一个著名的伊辛模型与应用程序交互模型在许多领域萤火虫-荷兰国际集团（ing）统计力学、遗传学和神经科学（周&施密德尔,2009）。

实验结果-关注最后准确给定网络。

伊辛模型被选中,这样我们可以计算出真正的答案吗合理的时间和规模大小的问题。

使用这个模型,我们生成了一个导演环形线圈净-工作结构周期后（El-Hayetal.,2010）。

根据耦合节点遵循父母的州强度参数（）。

速度参数（）决定节点状态之间的切换速度。

我们全国矿工工会——规模误码率的节点在网络但限制21能够比较结果的推理。

我们使用三个网-作品分别m=9、15和21个二进制变量。

我们可以不包括网络超过21二进制因为我们无法做精的求幂运算的变量矩阵的大小超过221221在合理的时间。

我们规模网络的节点通过添加行。

对于这些网络我们修复参数和不同。

节点可以值1和+1。

我们比较TTOP两个随时有效算法:

辅助吉布斯抽样（AuxGibbs）（Rao&诗词学会,2011）和重要性抽样（是）（风扇etal.,2010）。

我们也相比平均场变分方法（MF）（科恩etal.,2009）;然而,错误forMF超过误差范围其他方法的计算时间。

由于这个原因,我们在故事情节省略MF的结果。

我们分析错误在边界相对准确,计算每个方法过。

我们专注于计算时间,因为在我们的实验记忆和整个computa——不是一个问题树只有少数GBs占领。

TTOP,我们设置了数字正交的分裂（见方程5）10,因为它产生一个好的compu-界定的时间和错误的性能。

我们改变compu-界定时间预算观察compu——之间的权衡界定时间和错误。

AuxGibbs,我们不同样本大小和50之间5000年,设置这个值的老化期为10%。

的是,500年到50000年之间的样本大小各不相同。

我们跑实验为每个测试对山姆-100倍当乞丐的方法。

所示的计算时间的情节平均这些运行给定的萨姆-pl。

这个错误是所有的KL-divergences之和从他们的真实值边界。

我们的实验关注平滑。

网络开始从一个确定的状态,在t=0m=9:

变量1-5+1和6-9是1。

在t=1、变量1-3转到1,4-5+1,6-9已经转向+1。

m=15和21的增强型植被指数——我们使用一个类似的模式丹斯原因比较。

m=15,变量1-5、7-8、10-11+1开始,剩余的变量从1开始。

变量1-3开关1,4-5、7-8、10-11留在+1,6、9和12-15+1。

m=21的证据也遵循相同的模式扩展到21个节点。

节点之间没有观察到t=0和t=1。

我们查询在t=0:

5边际分布的节点。

图4和图5显示计算时间与笔吉隆坡-地区的差异。

我们专注于第一个20秒计算时间,因为通常几秒钟足以让我们的推理任务。

块中的行con-继续他们的趋势和交叉在某种程度上,除了图4b。

KL-divergence笔102通常是准确的对于这些网络。

图4显示了结果=2,=0:

5。

对于大多数这些实验,TTOP执行比抽样方法。

当网络的耦合强度=1,如图5所示,TTOP更多误差随着计算时间的增加而变化总体上仍然有更好的性能。

偶尔的山峰在错误发生,因为有时一个com——的一部分putation树扩展添加到总和,没有部分平衡,因为预算的时间过期。

这可以被视为更多的计算时间的算法,平衡的错误减少的部分。

方法使计算时间与错误的优势。

此外,我们的方法和其他人——之间的差距皱纹与网络的大小。

特别是当=1,它执行更好的更大的网络。

虽然我们可以-不执行精确推理更大的网络,我们预计这些趋势将继续随着问题规模的增加。

TTOP也更短的计算时间,是-导致它解决e（上）直接集成在山姆-当乞丐方法可以生成只有少数样本。

虽然的衍生品小TTOP线,这可能可能固定有更好的节点优先级。

最好的节点优先级会看着contri-bution整个子树的根节点,而不是只有该节点的贡献。

我们的启发式是好的最初的几个级别的树,但它确实不一样当我们去更深层次的在树上。

预计TTOP误差的波动。

的抽样误差从单一运行会波动好。

我们的方法的绘制结果来自一个运行相比平均抽样方法的结果100年运行。

4、结论

我们演示了一个结构化的随时算法CTMP滤波和平滑。

不同于之前的工作,这是德-terministic,可以当用在学习中受益荷兰国际集团（ing）的方法。

在实验中,它具有更好的计算时间和误差性能比之前随时转换绅士的方法,尤其是对松散耦合的系统。

也随着网络规模的增加和耦合强度保持相同的,我们的方法的优势增加。

应答

这项工作是由劳拉·p·利兰K。

惠蒂尔虚拟PICU洛杉矶儿童医院（加州大学河滨分校的奖项-12101024和8220-sgnzz0777-00）美国国防部高级研究计划局（奖fa8750-14-2-0010）。

引用

赫尔曼斯Christel,BaierHaverkort、Boudewijn,Holger,和KatoenJoost-Pieter。

模型检测算法

连续时间马尔可夫链。

ieee软件工程,29（6）:

524-541年,524年6月。

伯奇,杰瑞·r。

克拉克,埃德蒙。

长,大卫·e。

符号模型检测和重新分区的过渡颁布的。

在国际会议上非常大的规模集成、49-58页。

1991年8月。

Ciardo,詹弗兰科和Yu,安迪Jinqing。

饱和,使用连接词