高维数据降维方法_精品文档.pdf
- 文档编号:3179199
- 上传时间:2022-11-19
- 格式:PDF
- 页数:8
- 大小:1.70MB
高维数据降维方法_精品文档.pdf
《高维数据降维方法_精品文档.pdf》由会员分享,可在线阅读,更多相关《高维数据降维方法_精品文档.pdf(8页珍藏版)》请在冰豆网上搜索。
第5卷第8期2009年8月15图1人脸图像示例(左图是人脸原始图像,右图是在三维空间中将像素灰度值作为z轴重新画出的人脸)引言真实世界中的很多数据都是高维的,即数据包含很多属性或特征。
为表示方便,通常把一个数据样本表示为一个向量,向量的每个元素用来表示该样本在相应特征上的值。
例如,用灰度图像数据像素点上的灰度值作为特征,按逐行或逐列的顺序将其拉伸成一个向量,再用向量来表示图像。
但是,即使对于一幅中等规模的图像,经过拉伸后生成向量的维数也非常巨大,比如100像素100像素的图像对应的是10000维的高维空间(见图1)。
又如,对于文档数据(包括万维网(Web)文本、Email等),一般采用向量空间高维数据降维方法关键词:
高维数据降维张道强陈松灿南京航空航天大学表示法或“词袋”(Bag-of-Words)法,即先选取一组单词作为词典,然后统计词典中的单词在文档中出现的频度,从而用向量(维数等于词典大小)来表示该文档的大小。
由于实际词典的大小通常为几千甚至上万,因此用向量空间法得到的文档向量也成了维数非常巨大的高维数据(见图2)。
此外,现实中的高维数据还包括生物信息学中的基因阵列、时间序列以及高光谱遥感数据等等。
高维数据的挑战尽管高维数据比低维数据拥有更多的信息量,但在实际应用中对高维数据进行直接操1101009080706050403020101020304050607080902001501001101009080706050403020104020608050专题16第5卷第8期2009年8月第图2文档数据示例(左图是原始文档,右图是经“词袋”变换后的该文档向量)作会有一系列困难。
首先,“维数灾难”会导致分类学习所需要的有标记样本数随着维数升高而呈指数级增长。
“维数灾难”这一名词是贝尔曼(R.Bellman)于1961年首先提出的,含义是:
对于满足一定统计指标(如期望与方差)的模型(精度),随着维数的增加,其所需样本的数量将呈指数增长,或其复杂程度、表示长度呈指数增长23。
例如,大多数机器学习算法都要求训练样本在空间中是稠密的,如此方能达到较满意的性能。
在一维空间中的单位区间内,如果分布着100个样本,则可认为是稠密的;如果想要在十维空间中的单位超立方内达到同样的密度,则差不多需要10010=1020个样本。
图3给出了一个关于维数灾难的简单示意图,其中D表示空间的维数。
人们在低维空间中形成的一些直觉在高维空间中可能会失效。
例如,对于二维空间中的单位圆和单位正方形,二者的面积相差不多;对于三维空间中的单位球和单位立方体,二者的体积也差不多。
然而随着维数的升高,在高维空间中超球的体积相对于超立方体的体积会迅速变小。
换句话说,高维空间中超立方体绝大多数体积是集中在远离中心的角点处。
同时,由于高维空间中样本点通常非常稀疏,因此任意样本点间的距离会很大并趋向于相等,导致多数基于距离度量学习的算法失效。
高维数据带来的另一个挑战是大多数学习算法的计算开销随维数升高而显著增长,部分算法在极高维空间中甚至无法工作。
数据降维为了解决高维数据所面临的问题,一种有效的方法是对其进行降维。
笼统地说,降维是指为高维数据获取一个能忠实反映原始数据固有特性的低维表示。
降维可分为特征选择和特征抽取两个阵营。
前者是从原有属性或特征集中依据某种准则选择一组特征子集,后图3维数灾难示意图3X2X2X3D=1D=2D=3706050403020102000400060008000100001200000vehicledisplacementvalidcosinehandwrittenqualitysizeperformmateoorganizedarrayrestaveragealternativeweightmovingpositionhansonarticlefindrecovercontrolportionguessprovidetrainedstringpositionedcontentfactordirectionimplementedprocessdetecteddivisionmartintenspecializedgeneratedpostassignedachievesnetworksymbolratesdisconnectednoisesignallevelfullylowerchainscaledfeatureabstractrequiredcorrectgeneratesprocessedenvelopesnodecombinationalgorithmexactlyendcombinedpredicteddifficultwidthtestrowadjacentspacecowancentereddecideratepieceshardwarekingdomresistancearchitectureprocessingwiderepresentationspatialearlierpassimagesfieldlayoutboardidenticalrobustnesssaccadezerokaufmanncomplicatesorderrecentlyintroducelowchoicetrankeelersectionknowledgedeterminedjobmoduleguptamissfalsepatternfinaltotallygaussiancompetitioncomputationallyseparatecomparedtrainingchristophercommonliesdrawnsineneurallippmannmassdeficiencieseffectiveservetesauroregioncapitalartactivationtestedconsecutivetouchingseparatingpurposeshigherlowestintroductionrelyindexlackdataslidingasteriskmainstrongerwaveformsurviveoctobernitcourseformrecognitioncharacwindowshiftunconstrainedcomplicatedintegerextractedconferencehandprintmorganimagingrochesterfourthrecentruninformationconstraintbasissegmentationvariantgapproduceapproachedmoodyprovideddosefactgenerallysubimageslinepublicationfinallyrejectionallowregistrationspecialtechniquemarkvirtuallysizessaccadeslayerduplicateputtingprocedurelabelimprovedaveragedlettertestingdisambiguationboxincludeddesignedhiddenproblemthingmissedrolewangversioncorrespondedinvolvesspeedplatesweakerconclusionwideroriginalsanalarmimprovemiddlemodulesfoolreceptivebottomperformedfixednormalizechallengingorganizingplateclassesmarkovindicatingindividextractionthresholdingpreprocessedmodelpositioningprovidingthemedatabaseconvstructure17第5卷第8期2009年8月者是将原空间变换到一个维数更低的空间并将数据映射到该空间。
两者的特征选择仍然属于原有特征集,而区别是特征抽取会产生不属于原有特征集中的新特征。
比如,是原有特征的线性组合。
特征选择本质上是一个组合优化问题,属于计算复杂性中的NP难(NP-Hard)问题,一般采用启发式方法进行求解。
目前,特征选择主要有三种策略4:
(1)过滤法(Filter),即设计一个评分函数对每个特征进行评分,然后据此将特征按分数高低排序,最后把排在前面的少数特征作为其选出的特征子集;
(2)封装法(Wrapper),即把学习器作为一个黑箱并利用其上的错误率对候选特征子集进行评价,一般采取前向或后向搜索来生成候选特征子集;(3)嵌入式法(Embedded),即学习器在学习的同时进行特征选择,具体做法与特定的学习器有关。
文献4给出了近期有关特征选择方面的研究进展综述。
由定义不难看出,特征选择可视为一种特殊形式的特征抽取,例如,令X表示Dn大小的数据矩阵,其中X的每一列表示一个D维数据。
通过一个变换矩阵A(大小为dD,dD)将X变换到Y,即Y=AX。
显然,这是一个特征抽取过程。
然而如果对A进行如下约束:
(1)A中的元素只能取0或1;
(2)A中的任一行或任一列元素的和不超过1,则上述问题变成了一个特征选择问题。
有鉴于此,本文主要讨论特征抽取,并且狭义地将降维看作特征抽取的过程。
目前降维已成为机器学习、模式识别、数据挖掘、信息检索等多个研究领域共同关注的核心课题,并已有大量的有关降维的方法。
本文将对降维作一个较为浅显的介绍。
几种经典的降维方法是:
主分量分析(PrincipalComponentAnalysis,PCA)、线性判别分析(LinearDiscriminantAnalysis,LDA)、典型相关分析(CanonicalCorrelationAnalysis,CCA)。
历史回顾有关降维的研究源远流长,对目前仍广泛使用的经典主分量分析,最早可追溯到1901年5。
此外,还有线性判别分析、典型相关分析、因素分析(FactorAnalysis)和投影追踪(Projectionpursuit)等5。
后来又出现了著名的独立分量分析(IndependentComponentAnalysis,ICA)。
神经网络流行之后又提出了很多基于神经网络的降维方法,其中包括著名的自组织映射(Self-OrganizingMap,SOM)。
另外,降维方法还来源于其它一些领域,如粗糙集、遗传和进化计算等。
主分量分析主分量分析又被称为主成分分析、KarhunenLove变换(KarhunenLoveTransform,KLT)或霍特林变换。
主分量分析是1901年由皮尔森(K.Pearson)首先提出,1933年由霍特林(H.Hotelling)奠定了其数学基础。
主分量分析是一种把握事物主要性质的多元统计分析方法。
它将原始变量变换为一小部分反映事物主要性质的变量(称之为主分量),从而将高维数据投影到了低维空间,并且保证投影后的低维数据在最小平方意义下最优地表征原有高维数据。
主要步骤如下:
(1)计算数据样本的协方差矩阵;
(2)求解该协方差矩阵的特征向量,按照相应的特征值从大到小排序,选择排在前面的部分特征向量作为投影向量;(3)将原高维数据投影到投影向量张成的子空间中以达到降维的目的。
线性
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 方法 精品 文档
![提示](https://static.bdocx.com/images/bang_tan.gif)