最大期望值EM算法PPT资料.ppt
- 文档编号:14006106
- 上传时间:2022-10-16
- 格式:PPT
- 页数:25
- 大小:2.47MB
最大期望值EM算法PPT资料.ppt
《最大期望值EM算法PPT资料.ppt》由会员分享,可在线阅读,更多相关《最大期望值EM算法PPT资料.ppt(25页珍藏版)》请在冰豆网上搜索。
根据样本值估计参数=模型=结果例如:
money=k1*x+k2*y+k3*zX:
面积y:
地段z:
楼层k:
参数money:
房价根据某一单元的10户房的样本x,y,z,money。
根据已知10组数据用最大似然法求出k1,k2,k3这三个参数为0.6,0.3,0.1,得出模型money=0.6*x+0.3*y+0.1*z只要知道小区里某个房子的面积、地段、楼层=房价,套用模型,3,最大化似然估计,4,此表达式不是条件概率,因为此时参数看作变量,最大化似然估计,求最大似然函数估计值的一般步骤:
(1)写似然函数;
(2)取对数;
(3)求导数,令导数为0,得到似然方程;
(4)解似然方程,得到的参数即为所求。
5,期望最大化思想,机器学习十大算法之一期望最大化算法(EM)用来干嘛的?
解决参数估计问题EM很简单,简单在于它的思想,仅包含了两个步骤就能完成强大的功能;
(E步骤,M步骤)EM又很复杂,复杂在于它的数学推理涉及到比较繁杂的概率公式等。
(凸函数,琴生不等式,拉格朗日中值定理,贝叶斯,最大似然估计等),6,期望最大化思想,EM算法是一种有效的迭代过程。
EME步骤:
根据上一次迭代的参数来计算出隐藏变量的后验概率,其实就是隐藏变量的期望。
=p(|x)值=p(z|x,)M步骤:
将似然函数最大化以获得新的参数值。
估计的模型参数使得观察的数据出现概率是最大的。
=更新值EM算法有很多的应用,最广泛的就是clustering、GMM、HMM等等。
7,期望最大化思想,K-means聚类例子期望步(E-步):
给定当前的簇中心,每个对象都被指派到簇中心离该对象最近的簇,期望每个对象都属于最近的簇。
最大化步(M-步):
对于每个簇,算法调整其中心,使得到该新中心的距离之和最小化。
将指派到一个簇的对象的相似度最大化。
8,期望最大化思想,GMM混合高斯模型例子:
班上学生的身高就是一个GMM混合高斯模型,由男生身高的高斯分布和女生身高的高斯分布组成。
估计每个样例是男生还是女生=分别估计均值和方差。
9,期望最大化思想,NY,10,利用当前参数值计算数据j由第i个类生成的概率,收敛?
最后参数值,期望最大化思想,11,EM,期望最大化思想,12,13,期望最大化思想,14,期望最大化思想,这里有10个样例,每个样例两个特征,第一步,分别求x和y的平均值,然后对于所有的样例,都减去对应的均值。
15,16,期望最大化推导,17,Convexfunctions,Definition1若对于a,b内任意两点x1和x2,且任意0,1都满足f(x1+(1-)x2)f(x1)+(1-)f(x2)通常称函数f(x)在区间(a,b)内是“下凸函数”。
特别情形取=1/2,琴生不等式,期望最大化推导,19,固定其他参数后,Qi(z(i)的计算公式就是后验概率,期望最大化推导,20,期望最大化推导,21,假定(t)和(t+1)是EM第t次和t+1次迭代后的结果。
选定(t)后,我们得到E步Jensen不等式中的等式成立,期望最大化推导,22,E步求出来的L(t),琴生不等式,期望最大化推导,23,一种收敛方法是l()不再变化,还有一种就是变化幅度很小。
那么最终我们会到达最大似然估计的最大值。
期望最大化推导,24,25,谢谢,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 最大 期望值 EM 算法