LLE算法示意图PPT推荐.pptx
- 文档编号:13930041
- 上传时间:2022-10-15
- 格式:PPTX
- 页数:71
- 大小:3.13MB
LLE算法示意图PPT推荐.pptx
《LLE算法示意图PPT推荐.pptx》由会员分享,可在线阅读,更多相关《LLE算法示意图PPT推荐.pptx(71页珍藏版)》请在冰豆网上搜索。
选取尽可能多的,可能有用的特征,然后根据需要进,从降维问题说起,降维的动机,特征选择,特征约简,特征提取,依据某一标准选择性质最突出的特征,实验数据分析,数据可视化(通常为2维或3维)等也需要维数约简,6,经已有特征的某种变换获取约简特征,降维方法概述,线性降维通过特征的线性组合来降维本质上是把数据投影到低维线性子空间线性方法相对比较简单且容易计算代表方法主成分分析(PCA)线性判别分析(LDA)多维尺度变换(MDS),7,线性降维方法,主成分分析(PCA)Jolliffe,1986降维目的:
寻找能够保持采样数据方差的最佳投影子空间求解方法:
对样本的散度矩阵进行特征值分解,所求子空间为经过样本均值,以最大特征值所对应的特征向量为方向的子空间Principalcomponent,8,线性降维方法,主成分分析(PCA)Jolliffe,1986PCA对于椭球状分布的样本集有很好的效果,学习所得的主方向就是椭球的主轴方向.PCA是一种非监督的算法,能找到很好地代表所有样本的方向,但这个方向对于分类未必是最有利的,9,线性降维方法,线性判别分析(LDA)Fukunaga,1991降维目的:
寻找最能把两类样本分开的投影直线,使投影后两类样本的均值之差与投影样本的总类散度的比值最大求解方法:
经过推导把原问题转化为关于样本集总类内散度矩阵和总类间散度矩阵的广义特征值问题Bestprojectiondirectionforclassification,10,11,降维方法概述,线性降维主成分分析(PCA)Jolliffe,1986线性判别分析(LDA)Fukunaga,1991,PCA,LDA,12,降维方法概述,线性降维主成分分析(PCA)Jolliffe,1986线性判别分析(LDA)Fukunaga,1991多维尺度变换(MDS)Cox,1994,xi,xj,d,ij,Mapping,z,i,zj,gij,原始空间,可能非欧式,低维欧式空间,13,线性降维方法的不足,原始数据无法表示为特征的简单线性组合比如:
PCA无法表达Helix曲线流形,1-DHelix曲线流形,14,线性降维方法的不足,#1引自J.B.Tenenbaumetal.2000#2引自Jenkinset.al,IROS2002,#2,真实数据中的有用信息不能由线性特征表示比如:
如何获取并表示多姿态人脸的姿态信息#1比如:
如何获取运动视频序列中某个动作的对应帧,降维方法概述,线性降维传统非线性降维核主成分分析(KPCA)Scholkopf,1998主曲线(PrincipalCurves)Hastie,1989Tibshirani,1992自组织映射(SOM)Kohonen,1995产生式拓扑映射(GTM)Bishop,1998,15,降维方法概述,基于流形学习的非线性降维保距特征映射(ISOMAP)Tenenbaum,2000局部线性嵌入(LLE)Roweis,2000拉普拉斯特征映射(LE,LaplacianEigenmap)Belkin,2001HessianLLE(HLLE)Donoho,2003局部切空间对齐(LTSA,LocalTangentSpaceAlignment)Zhang,2004最大方差展开(MVU/SDE,MaximumVarianceUnfolding)Weinberger,2004局部保持映射(LocalityPreservingProjections)He,2003,16,提纲,研究背景,17,基本知识介绍经典方法概览总结讨论,18,流形学习框架,什么是流形?
流形是线性子空间的一种非线性推广拓扑学角度:
局部区域线性,与低维欧式空间拓扑同胚微分几何角度:
有重叠chart的光滑过渡黎曼流形就是以光滑的方式在每一点的切空间上指定了欧氏内积的微分流形,#1引自S.T.Roweisetal.2000,#1,Swiss-roll,S-curve,Fishbow,19,流形的数学定义设是一个Hausdorff拓扑空间,若对每一点都有的一个开邻域和的一个开子集同胚,则称为维拓扑流形,简称为维流形.,流形学习框架,#1引自M.H.Law,2004,#1,M,x,1,x2,R2,Rn,x,x:
coordinateforz,Uz,20,一些基本数学概念拓扑,Hausdorff空间,坐标卡,微分结构光滑函数,光滑映射,切向量,切空间参考文献陈省身,陈维桓,微分几何讲义.北京大学出版社,1983MBerger,BGostiaux.DifferentialGeometry:
Manifolds,CurvesandSurfaces,GTM115.Springer-Verlag,1974陈维桓,微分流形初步(第二版).高等教育出版社,2001,流形学习框架,21,度,心理学家认为人的形和拓扑连续性的,流形学习框架,#1引自Linetal.PAMI2008,流形学习的目的流形学习是一种非线性的维数约简方法高维观察数据的变化模式本质是由少数几个隐含变量所决定的如:
人脸采样由光线亮度、人与相机的距离、人的头部姿势、人的面部表情等因素决定从认知心理学的角认知过程是基于认知流#1,流形学习的数学定义,设是一个低维流形,是一个光滑嵌入,其中Dd.数据集察空间的数据,是随机生成的,且经过f映射为观流形学习就是在给定观察样本,集的条件下重构f和.V.deSilvaandJ.B.Tenenbaum.Globalversuslocalmethodsinnonlineardimensionalityreduction.NeuralInformationProcessingSystems15(NIPS2002),pp.705-712,2003.,22,非线性降维,高维数据空间data/observationspace,低维嵌入空间embedding/coordinatespace,保持一定几何拓扑关系,如测地距离/邻域线性重构关系,流形学习示例,23,提纲,研究背景,24,基本知识介绍经典方法概览总结讨论,经典流形学习方法一览,25,经典方法分类结构图,26,等距映射(ISOMAP)J.B.Tenenbaum,V.deSilva,andJ.C.Langford.Aglobalgeometricframeworkfornonlineardimensionalityreduction.Science,vol.290,pp.2319-2323,2000.局部线性嵌入(LLE)S.T.RoweisandL.K.Saul.Nonlineardimensionalityreductionbylocallylinearembedding.Science,vol.290,pp.2323-2326,2000.拉普拉斯特征映射(LaplacianEigenmap)M.Belkin,P.Niyogi,LaplacianEigenmapsforDimensionalityReductionandDataRepresentation.NeuralComputation,Vol.15,Issue6,pp.13731396,2003.,27,重点介绍的几个方法,等距映射(ISOMAP)J.B.Tenenbaum,V.deSilva,andJ.C.Langford.Aglobalgeometricframeworkfornonlineardimensionalityreduction.Science,vol.290,pp.2319-2323,2000.局部线性嵌入(LLE)S.T.RoweisandL.K.Saul.Nonlineardimensionalityreductionbylocallylinearembedding.Science,vol.290,pp.2323-2326,2000.拉普拉斯特征映射(LaplacianEigenmap)M.Belkin,P.Niyogi,LaplacianEigenmapsforDimensionalityReductionandDataRepresentation.NeuralComputation,Vol.15,Issue6,pp.13731396,2003.,28,重点介绍的几个方法,29,代表性算法-1,ISOMAP(Isometricfeaturemapping)保持全局测地距离测地距离反映数据在流形上的真实距离差异等距映射基于线性算法MDS,采用“测地距离”作为数据差异度量,#1引自J.B.Tenenbaumetal.2000,#1,欧式距离vs.测地距离,最短路径近似测地距离,降维嵌入空间,多维尺度变换(MDS),30,MDS是一种非监督的维数约简方法.MDS的基本思想:
约简后低维空间中任意两点间的距离应该与它们在原高维空间中的距离相同.MDS的求解:
通过适当定义准则函数来体现在低维空间中对高维距离的重建误差,对准则函数用梯度下降法求解,对于某些特殊的距离可以推导出解析解法.,MDS的准则函数,31,MDS的示意图,32,MDS的失效,33,测地线:
流形上连接两个点的最短曲线例如:
球面上的测地线就是球面上的大圆弧测地距离:
测地线的长度,A,B,Figurefromhttp:
/mathworld.wolfra,34,测地距离,35,ISOMAP算法流程,计算每个点的近邻点(用K近邻或邻域).在样本集上定义一个赋权无向图如果和互为近邻点,则边的权值为,计算图中两点间的最短距离,记所得的距离矩阵为.用MDS求低维嵌入坐标,令低维嵌入是的第1大到第d大的特征值所对应的特征向量.,M.Bernstein,V.Silva,J.C.Langford,J.B.Tenenbaum证明了如下的渐进收敛定理.假设采样点是随机均匀抽取的,则,则只要样本集充分大,渐进收敛定理给定且适当选择K,不等式,至少以概率,成立.,图距离逼近测地距离,36,ISOMAP实验结果,FiguresfromISOMAPpaper,37,Figurefromhttp:
/isomap.stanford.edu/handfig.html,ISOMAP实验结果,38,FiguresfromISOMAPpaper,ISOMAP实验结果,39,InterpolationonStraightLinesintheProjectedCo-ordinates,FiguresfromISOMAPpa40per,代表性算法-1,ISOMAP(Isometricfeaturemapping)前提假设数据所在的低维流形与欧式空间的一个子集整体等距该欧式空间的子集是一个凸集思想核心较近点对之间的测地距离用欧式距离代替较远点对之间的测地距离用最短路径来逼近算法特点适用于学习内部平坦的低维流形不适于学习有较大内在曲率的流形计算点对间的最短路径比较耗时,41,ISOMAP-summary,InheritsfeaturesofMDSandPCA:
g
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- LLE 算法 示意图
![提示](https://static.bdocx.com/images/bang_tan.gif)