蒙特卡罗.pptx
- 文档编号:2649592
- 上传时间:2022-11-05
- 格式:PPTX
- 页数:30
- 大小:824.53KB
蒙特卡罗.pptx
《蒙特卡罗.pptx》由会员分享,可在线阅读,更多相关《蒙特卡罗.pptx(30页珍藏版)》请在冰豆网上搜索。
蒙特卡罗方法1目录CONTENTS02030401蒙特卡罗采样基础重要性采样马尔科夫链蒙特卡罗方法吉布斯采样201蒙特卡罗采样基础3蒙特卡罗方法,是以概率统计理论为基础的一种计算方法,将所求解的问题同一定的概率模型相联系,用电子计算机实现统计模拟或抽样,以获得问题的近似解,故又称统计模拟法或随机抽样法。
用驰名世界的赌城摩纳哥的MonteCarlo来命名这种方法,就是为了象征性地表明该方法的概率统计特点。
4一、蒙特卡罗采样基础5一、蒙特卡罗采样基础6我们可以通过从p中抽取n个样本来近似s并得到一个经验平均值:
以上的结论依赖于,我们可以从基准分布p(x)中轻易地采样,但是这个假设并不总是成立。
当我们无法从p中采样时,就用到了重要采样和马尔科夫链蒙特卡罗采样。
一、蒙特卡罗采样基础02重要性采样78二、重要性采样如果符合p(x)分布的样本不太好生成,我们可以引入另一个分布q(x),可以很方便地生成样本。
使得:
9二、重要性采样重要性采样取得到的是带有重要性权重的服从q(z)分布的样本,这个权重乘以样本之后的结果其实就是服从p(z)分布的。
我们将问题转化为了求g(x)在q(x)分布下的期望,我们称其中的叫做ImportanceWeight1.加速训练具有大规模词表的神经网络语言模型的过程2.估计配分函数3.深度有向图模型比如变分自编码器中估计对数似然采用随机梯度下降训练模型参数时重要采样可以用来改进对代价函数梯度的估计,尤其是分类器这样的模型,其中代价函数的大部分代价来自于少量错误分类的样本。
在这种情况下,更加频繁地抽取这些困难的样本可以减小梯度估计的方差(Hintonetal.,2006a)。
重要采样的应用1003马尔科夫链蒙特卡罗方法1112三、马尔科夫蒙特卡洛算法(MCMC)1、马尔可夫链设Xt表示随机变量X在离散时间t时刻的取值。
若该变量随时间变化的转移概率仅仅依赖于它的当前取值,即即状态转移的概率只依赖于前一个状态,其中s0,s1,si,sj为随机变量X可能的状态。
这种性质称为马尔可夫性质,具有马尔可夫性质的随机过程称为马尔可夫过程。
马尔可夫链指的是在一段时间内随机变量X的取值序列(X0,X1,Xm),它们满足如上的马尔可夫性质。
131、马尔可夫链马尔可夫链是通过对应的转移概率定义的,转移概率指的是随机变量从一个时刻到下一个时刻,从状态转移到另一个状态的概率,即:
记表示随机变量X在时刻t的取值为的概率,则随机变量X在时刻t+1的取值为的概率为:
141、马尔可夫链假设状态的数目为n,则有:
152、马尔可夫链定理如果一个非周期马氏链具有转移概率矩阵P,且它的任何两个状态是连通的,那么存在且与i无关,记,我们有:
1、2、3、是方程P=的唯一非负解,其中称为马氏链的平稳分布。
所有的MCMC(MarkovChainMonteCarlo)方法都是以这个定理作为理论基础的。
16既然马尔科夫链可以收敛到平稳分布,那么我们可以建立一个以为平稳分布的马尔科夫链,对这个链运行足够长时间之后,可以达到平稳状态,此时马尔科夫链的值就相当于在分布(x)中抽取样本。
因此,MCMC方法就是构造合适的马尔科夫链进行抽样并使用蒙特卡洛方法进行积分计算。
马氏链的收敛性质主要由转移矩阵P决定,所以基于马氏链做采样的关键问题是如何构造转移矩阵P,使得平稳分布恰好是我们要的分布p(x)。
如何能做到这一点呢?
我们主要使用如下的定理。
三、马尔科夫蒙特卡洛算法(MCMC)17细致平稳定理:
如果非周期马氏链的转移矩阵P和分布(x)满足:
则(x)是马氏链的平稳分布,上式被称为细致平稳。
假设我们已经有一个转移矩阵为Q的马氏链,(q(i,j)表示从状态i转移到状态j的概率)显然,通常情况下18三、马尔科夫蒙特卡洛算法(MCMC)也就是细致平稳条件不成立,所以p(x)不太可能是这个马氏链的平稳分布。
我们可否对马氏链做一个改造,使得细致平稳条件成立呢?
譬如,我们引入一个(i,j),我们希望取什么样的(i,j)以上等式能成立呢?
最简单的,按照对称性,我们可以取19三、马尔科夫蒙特卡洛算法(MCMC)()=()细致平稳方程就满足了,所以有于是,转移矩阵为Q的一个普通马氏链,变成转移矩阵为Q的马氏链,而Q恰好满足细致平稳条件,其平稳分布就是p(x)。
(i,j)称为接受率,物理意义可以理解为在原来的马氏链上,从状态i以q(i,j)的概率转跳转到状态j的时候,我们以(i,j)的概率接受这个转移,于是得到新的马氏链Q的转移概为q(i,j)(i,j)。
20三、马尔科夫蒙特卡洛算法(MCMC)MCMC采样算法:
21由于接受率的存在(通常1),以上MCMC算法的效率不够高。
能否找到一个转移矩阵Q使得接受率=1呢?
04吉布斯采样2223我们发现,四、吉布斯采样我们先看看二维的情形,假设有一个概率分布p(x,y),考察x坐标相同的两个点A(x1,y1),B(x1,y2),24四、吉布斯采样所以,即,我们发现,在x=x1这条平行于y轴的直线上,如果使用条件分布p(y|x1)做为任何两个点之间的转移概率,那么任何两个点之间的转移满足细致平稳条件。
25同样,如果我们在y=y1这条直线上任意取两个点A(x1,y1),C(x2,y1),也有如下等式四、吉布斯采样26四、吉布斯采样于是,我们可以如下构造平面上任意两点之间的转移概率矩阵Q,有了如上的转移矩阵Q,我们很容易验证对平面上任意两点X,Y,满足细致平稳条件,于是这个二维空间上的马氏链将收敛到平稳分布p(x,y),而这个算法就称为GibbsSampling算法。
27四、吉布斯采样二维GibbsSampling采样算法如图,马氏链的转移只是轮换的沿着x轴和y轴做转移,于是得到本(x0,y0),(x0,y1),(x1,y1),(x1,y2),(x2,y2),马氏链收敛后,最终得到的样本就是p(x,y)的样本。
28四、吉布斯采样n维GibbsSampling采样算法以上算法收敛后,得到的就是概率分布p(x1,x2,xn)的样本。
用条件分布的抽样来替代全概率分布的抽样a)遍历均值图:
MCMC的理论基础是马尔科夫链的遍历定理。
因此可以用累积均值对迭代步骤作图,观察遍历均值是否收敛。
b)迹图:
将所产生的样本对迭代次数作图,生成马氏链的一条样本路径。
如果当t足够大时,路径表现出稳定性没有明显的周期和趋势,就可以认为是收敛了。
MCMC收敛性诊断29谢谢观赏!
30
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 蒙特卡罗