em算法及其改进.ppt
- 文档编号:190931
- 上传时间:2022-10-06
- 格式:PPT
- 页数:12
- 大小:72.50KB
em算法及其改进.ppt
《em算法及其改进.ppt》由会员分享,可在线阅读,更多相关《em算法及其改进.ppt(12页珍藏版)》请在冰豆网上搜索。
EM算法及其改进,E步:
对或求条件期望,从而把Z去掉,即M步:
将极大化,找到一个点,使即反复迭代,直到或充分小时停止迭代。
EM算法,优点:
其一,M步仅涉及完全数据极大似然,通常计算比较简单;其二,它的收敛是稳定的,因为每次迭代似然函数是不断增加的.缺点:
当缺失的信息量很大或完全数据对数似然的估计本身比较复杂时,EM算法的收敛速度将很缓慢。
基于EM算法的缺点产生了各种改进的算法,这些改进的算法都着眼于改善收敛速度和保证收敛性质。
EM算法优缺点,在很多问题中,若对参数施加一定的函数约束,可以使完全数据极大似然估计变得相对简单。
ECM算法中E步采用和EM算法相同的计算过程,用几个简单的CM步来代替EM算法的M步,CM步中每步都是在对应参数约束下,使得EM算法定义的Q函数达到最大。
ECM算法,其中的CM步定义如下:
把参数划分为,是关于的函数,当第t+1次迭代时,分别在的约束下找到,使之在中最大化。
在EMC算法中下一次迭代的初始值。
ECM算法,要保证ECM算法的收敛性质,的选取十分重要的,一个常用的选则是,即在M步的第k+1次迭代中,要进行s次估计,每次估计出中的一个参数。
当估计时,假定其他s-1个估计的参数不变,然后采用一般的似然估计的方法估计它,接着用新的估计值代替原来的估计值进行对参数的估计,并保持其他参数不变。
以此类推完成对的估计。
(1)当M步没有显式的表达式时,CM步通常有显式的表达式.
(2)即使CM步没有显式的表达式,但ECM算法通常更加稳定,因为它的极大化是在更低维度的参数空间中进行的.,ECM算法优点,它是ECM算法的推广,在ECM算法中,CM步是对完全数据对数似然函数的期望进行极大化。
同样,可以把这种思想运用到观察数据对数似然上,也就是说,在CM步上,可以考虑在一定的约束条件下,对对数似然函数进行极大化,因此就产生了ECME算法。
ECME算法,ECME算法形式化定义:
ECME算法的第t+1次迭代步骤如下:
E步:
与ECM算法的E步相同。
CM步:
当时,求出,使得当时,求出,使得,ECME算法,Aitken-ECM法:
首先在参数估计的初始阶段采用ECM算法,当算法的收敛速度比较缓慢的时候我们切入Aitken算法来提速。
考虑到Aitken在附近无法稳定收敛,则再转入ECM算法进行最后的稳定收敛过程。
A-ECM算法,Aitken算法的第k+1次迭代是按照如下步骤进行的:
(1)是Aitken第k次迭代的估计值
(2)以为标准EM算法的初始值,进行迭代计算第k+1步估计值(3)然后将带入公式进行计算得到第k+1步的Aitken估计值(4)重复以上的步骤直至收敛为止,Aitken加速收敛算法,
(1)ECM算法收敛速度进入缓慢阶段,切换为Aitken算法的判定可以根据以下准则:
(2)可以根据似然函数的数值来判定Aitken算法是否出现小范围振荡,出现振荡而非稳定增加的时候就可切换入ECM算法完成最后的收敛过程。
注意事项:
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- em 算法 及其 改进