机器学习方法.docx

机器学习方法.docx

《机器学习方法.docx》由会员分享，可在线阅读，更多相关《机器学习方法.docx（19页珍藏版）》请在冰豆网上搜索。

机器学习方法

浅谈机器学习方法

【摘要】本文以什么是机器学习、机器学习的发展历史和机器学习的主要策略这一线索，对机器学习进行系统性的描述。

接着，着重介绍了流形学习、李群机器学习和核机器学习三种新型的机器学习方法，为更好的研究机器学习提供了新的思路。

【关键词】机器学习；人工智能；李群机器学习；核机器学习；流形学习

briefremarksonmachinelearningmethodszhenpanhaoabstract：

firstofall，machinelearningisdescribedsystematicallyontheconceptofmachinelearning，thehistoryandmainstrategiesofmachinelearning.then，threenewmachinelearningmethodsofmanifoldlearning，liegroupmachinelearningandnuclearmachinelearningarereferredemphaticallytoprovideanewwayofthinkingforbetterresearchonmachinelearning.keywords：

machinelearning；artificialintelligence；liegroupmachinelearning；kernelmachinelearning；manifoldlearning0引言

计算机视觉是指用计算机实现人的视觉功能，希望能根据感知到的图像（视频）对实际的目标和场景内容做出有意义的判断如何能正确识别目标和行为非常关键，其中一个最基本的和最核心的问题是对图像的有效表达如果所选的表达特征能够有效地反映目标和行为的本质，那么对于理解图像就会取得事半功倍的效果正因为如此，关于机器学习的发展历史特征的构建和选取一直得到广泛关注近些年来人们已构建出许多特征，并且得到了广泛的应用，例如等等设计特征是一种利用人类的智慧和先验知识，并且将这些知识应用到目标和行为识别技术中的很好的方式但是，如果能通过无监督的方式让机器自动地从样本中学习到表征这些样本的更加本质的特征则会使得人们更好地用计算机来实现人的视觉功能，因此也是近些年人们关注的一个热点方向深度学习（deeplearning）的目的就是通过逐层的构建一个多层的网络来使得机器能自动地学习到反映隐含在数据内部的关系，从而使得学习到的特征更具有推广性和表达力本文旨在向读者介绍深度学习的原理及它在目标和行为识别中的最新动态，希望吸引更多的研究者进行讨论，并在这一新兴的具有潜力的视觉领域做出更好的成果首先对深度学习的动机历史以及应用进行了概括说明;主要介绍了基于限制玻尔兹曼机的深度学习架构和基于自编码器的深度学习架构，以及深度学习

近些年的进展，主要讨论了去噪自编码器（denoisingautoencoder），卷积限制玻尔兹曼机，三元因子玻尔兹曼机（3-wayfactorizedboltzmannmachine），以及神经自回归分布估计器（nade）等一些新的深度学习单元;对目前深度学习在计算机视觉中的一些应用以及取得的成果进行介绍;最后，对深度学习与神经网络的关系，深度学习的本质等问题加以讨论，提出目前深度学习理论方面需要解决的主要问题

1机器学习的发展历程

机器学习的发展大致可以分为四个阶段.

第一阶段：

20世纪50年代中叶至60年代中叶这个时期是机器学习研究的热烈时代研究对象是没有知识的学习，目标是各自组织和适应系统此阶段有两个代表，一是1957年rosenblatt提出了感知机算法，这是第一个具有重要学术意义的机器学习的算法二是50年代末，samuel编写了跳棋程序，利用启发式搜索技术，可以从经验和棋谱中进行学习，不断调整棋盘评价函数，提高棋艺.

第二阶段：

20世纪60年代中叶至70年代中叶，机器学习的冷静时期本阶段是模拟人类的学习过程，采用逻辑结构或图结构作为内部描述代表有：

1969年minsky与papert出版的对机器学习研究有深远影响的著作<感知机>一书.

第三阶段：

20世纪70年代中叶至80年代中叶，称为复兴时期在这个时期，人们从学习单一概念延伸至学习的多个概念，探索不同的学习策略和各种学习方法在此阶段中，研究

者已经将机器学习系统与现实应用相结合，完成相应的学习过程，取得了很大的成功1980年，在美国召开的第一届机器学习国际研讨会，标志着机器学习在全世界范围内的全面兴起.

第四阶段：

1986年至今由于作为机器学习科学基础之一的神经科学研究的重新兴起，机器学习也进一步受到了人们的重视另一方面，对实验研究和应用研究得到前所未有的重视.

2.1机械学习

机械学习是一种最基本的学习策略，把环境提供的信息简单存储起来，不经过任何推理，“死记硬背”式的学习。

适合于一些环境相对稳定，输入输出模式相对固定的系统中，例如医生给病人看病。

2.2传授学习

传授学习又叫做指导式学习或示教学习。

传授学习的学习过程可以简单地描述如下：

（1）请求：

先向指导者请求提出建议；

（2）解释：

接受建议并将其转化为内部表示形式；（3）操作化：

将解释后的建议转化为具体的知识；（4）归并：

将得到的新知识归并到知识库中；（5）评价：

对新知识进行评价，常用方法有，检查新知识与知识库里的知识是否矛盾，或者使用新知识执行某些任务，观察其执行情况。

2.3演绎学习

演绎学习以演绎推理为基础。

演绎推理是一种有一般到个别的推理方法，其核心是三段论。

例如，1动物都会死亡；2狗是一种动物；3狗会死亡。

只要对给定的知识进行演绎的保真推理，就能得出一个正确的新结论，然后把有价值的结论存储起来。

2.4归纳学习

归纳学习以归纳推理为基础。

从某个概念的一系列正例和反例中归纳出一个一般的概念描述。

归纳学习可分为有导师学习和无导师学习。

有导师学习，又称示例学习。

给学习系统提供正例和反例，学习系统通过归纳算法求解出一个总的概念描述。

无导师学习，又称观察与发现学习。

通过由环境提供的观察来进行学习，而且这些观察是未经过知道者分类的例子。

2.5类比学习

类比学习是一种利用相似性来认识新事物的学习方式，其基础是类比推理。

可以看作是演绎学习和归纳学习的组合学习形式。

学习过程：

（1）联想搜索匹配：

提取特征值，搜索和它相似的已知事物；

（2）检验相似程度：

判断相似程度，相似程度达到一定阈

值，则说明匹配成功；

（3）修正变换求解：

即类比映射，把对已知事物的有关知

识进行适当的调整或变换，以求出新事物的解；

（4）更新知识库：

求出新事物的解以后，将新事物及其解

并入知识库。

3机器学习方法

3.1流形学习

现实世界中的数据，例如语音信号、数字图像或功能性磁共振图像等，通常都是高维数据，为了正确地了解这些数据，我们就需要对其进行降维，降维的目的就是要找出隐藏在高维数据中的低维结构。

流形学习是一种新的数据降维方法，能揭示数据的内在变化规律，其目标是发现嵌入在高维数据空间中的低维流形结构，并给出一个有效的低维表示。

2000年以来，流形学习在包括数据挖掘、机器学习、计算机视觉等多个研究领域得到了广泛的

应用。

3.2李群机器学习

李群机器学习（liegroupmachinelearning，lml）作为机器学习领域的一种新的学习方法，一方面继承流形学习的优点，另一方面借用李群的思想，形成了具有创新特色的学习范式．自2004年提出至今，已引起加拿大、爱尔兰、芬兰、意大利、美国等国内外同行的广泛关注。

李群结构是目前学术界公认的对学习问题研究很有用的一套理论工具。

从数据分析的角度来说，用机器学习进行数据分析（数据挖掘），其目的就是揭示这些数据具有的规律，从而帮助用户提供解释的依据。

李群一方面具有好的数学结构，另一方面物理学家广泛使用李群方法来处理物理学中复杂数据的启发。

因此，引进李群理论对机器学习是一种可以探索的新思路。

3.3核机器学习

20世纪90年代初随着统计学习理论的完善和线性超平面函数集容量控制方法的发现，提出了著名的支撑矢量机方法（svms）。

随后，以支撑矢量机为核心算法的核机器（km）方法和fisher判断分析（fda）方法得到了机器学习、模式识别、网络搜索引擎技术、计算机视觉等等领域的广泛关注。

核机器方法以统计学习理论为基础，巧妙利用了mercer核技巧，使其获得了良好的推广能力、强大的非线性处理能力、灵活的相似性测度定义和简洁的模型表示，是目前在特征提取、模式识别、数据发掘领域公认的具有最佳性能的方法之一。

4.1基于限制玻尔兹曼机的深度学习架构

玻尔兹曼机（boltzmannmachine）本质上是一种能量模型能量模型是指对于参数空间（configurationspace）中每一种情况均有一个标量形式的能量与之对应能量函数就是从参数空间到能量的映射函数，人们希望通过学习使得能量函数有符合要求的性质从结构上来说，玻尔兹曼机是双层无向全连通图，如图3所示为了方便起见，这里仅讨论观测变量和隐变量均是01变量的情况

玻尔兹曼机的能量函数为e（x，h）=－bx－ch－hwx－xux－hvh

（1）式中，x表示可见层，h表示隐层，b{0，1}k，c{0，1}d分别表示可见层和隐层单元的偏置（offset），kd分别表示可见层和隐层单元的数目wuv分别表示观测层和隐层之间，观测层变量之间，隐层变量之间的连接权重矩阵在实际中，由于计算样本概率密度时归一化因子的存在，需要使用马尔可夫蒙特卡洛方法（mcmc）来对玻尔兹曼机进行优化但是mcmc方法收敛速度很慢，因此人们提出限制玻尔兹曼机和对比散度方法来解决这一问题.

4.2限制玻尔兹曼机

限制玻尔兹曼机是对全连通的玻尔兹曼机进行简化，其限制条件是在给定可见层或者隐层中的其中一层后，另一层的单元彼此独立，即式

（1）中u和v矩阵中的元素均等于0层间单元独立的条件是构成高效的训练限制玻尔兹曼机的方法的条件之一，而ｒbm也因此成为深度置信网络（dbn）的构成单元限制玻尔兹曼机的图模型如图4所示可见，层内单元之间没有连接关系，层间单元是全连接关系

将式

（1）中层间连接矩阵u，v置零，得到限制玻尔兹曼机的能量函数e（x，h）=－bx－ch－hwx由于限制玻尔兹曼机取消了层内单元之间的连接，所以可以将其条件概率分布进行分解，这样就简化了模型优化过程中的运算但是在其优化过程中仍然需要基于mcmc方法的吉布斯采样，训练过程仍然十分漫长，因此人们提出对比散度方法来加快模型优化.对比散度（contrastivedivergence）是hinton在2006年提出来的快速地训练限制玻尔兹曼机的方法，该方法在实践中得到广泛的应用对比散度主要是将对数似然函数梯度的求解进行了两个近似:

（1）使用从条件分布中得到的样本来近似替代计算梯度时的平均求和这是因为在进行随机梯度下降法进行参数优化时已经有平均的效果，而如果每次计算都进行均值求和则这些效果会相互抵消，而且会造成很大的计算时间的浪费

（2）在进行吉布斯采样（gibbssampling）时只采用一步，即仅仅进行一次吉布斯采样这种一次吉布斯采样方法会使得采样得到的样本分布与真实分布存在一定的误差但是实践发现，如果仅作一次迭代的话，就已经能得到令人满意的结果将限制玻尔兹曼机逐层叠加，就构成了深度置信网络（dbn）在深度置信网络中底层的输出作为上一层的输入，每层是一个限制

玻尔兹曼机，使用对比散度的方法单独训练为了达到更好的识别效果，往往还要对深度置信网络每层的参数进行微调使用限制玻尔兹曼机构建成深度网络，在一些公开的数据集上取得了非常好的效果.

5机器学习系统的模型及其特征

5.1机器学习系统的模型

（1）外部环境是以某种形式表达的信息或知识的集合，是知识和信息的来源，执行的对象和任务外部环境像系统提高信息的质量是影响学习系统设计的首要因素。

（2）学习是将外部环境提供的信息，加工成为有效信息的过程，它也是学习系统的核心，包括采集信息接受监督指导学习推理修改知识库等其他功能。

（3）知识库是影响学习系统设计的第二大因素，根据知识的不同，选择不同的表达方式，兼顾表达能力强易于推理易于修改知识库和知识表示易于扩展等几方面，均是知识库在表达上需要符合的要求。

（4）执行是利用知识库完成某种任务，并进行识别论证决策判定，将获得的信息进行反馈，以修正和完善下一步的学习。

5.2机器学习系统的重要特征

机器学习系统通常具有如下重要特征：

（1）目的性系统知道学习什么，学习的行为具有高度的目的性。

（2）结构性系统能修改和完善知识结构和组织形式。

（3）有效性系统学习到的知识具有适应和符合实践的能力，能够对系统性能的改善起到正面的作用。

（4）开放性系统在与环境进行信息交互的过程中，能使自身不断进化。

6.机器学习策略

对于环境提供信息，机器要运用一定的学习策略转换为知识，并存储在知识库中，为下一步的执行作保证根据策略使用推理的多少和难易程度，学习策略可以分为四类：

1机械学习

这种学习策略，无需任何推理过程或计算转换过程，可以直接将环境提供的信息进行存储该学习系统主要考虑三个方面：

第一：

存储组织的形式利于检索在采用机械学习的系统中，主要采用的是索引存储的方式，在这种情况下，只有检索一个项目比重新分析计算更加快捷，这种学习策略才具有一定的意义采用适当的存储组织形式，最大限度地提高检索效率，缩短检索时间，是机械学习要解决的重大问题第二：

环境稳定存储信息适用性高因为系统不需要对信息做过多的加工，学习部分没有推理的过程，这对于环境的依赖程度就大大提高要求环境具有高度的稳定性系统的学习是通过事先编好的程序获得，是建立在这次获得的知识适用于下次的情况的假设上的，如果环境变化的过于频繁，每次存的知识都不能适用，这种策略也就失去其意义第三：

权衡存储和计算之间的关系学习的目的是改进系统的效率，如果检索比重新计算来的慢，那么就降低了系统的执行力机械学习也就失去了意义。

2归纳学习

归纳推理是由环境提供足够多的实例或反例，应用归纳的方法，得出一般性的规律或对于概念的一般性的描述这是一个从个别到一般的过程归纳学习可以获得新的概念，创立新的规则，发现新的理论其原理是在大量观察的基础上通过假设形成一个科学理论按其有无教师的指导，可以分为示例学习及观察与发现学习示例学习，又称为概念获取确定概念的一篇二：

机器学习理论与方法

机器学习理论与方法实验报告

实验项目：

基于hopfieldnetwork模型的数字识别实验者：

彭江军学号：

2011114093专业：

信息与计算科学指导教师：

张瑞

一：

程序前期准备与思路

（1）先对图中给的8个已知的pattern图像数字化成矩阵，对于待处理的图像也处理为矩阵，导入excel表。

（2）由权重的计算公式，编写程序得到权重矩阵。

（3）选择相应的激活函数，这里我们选择bi-polarbinary函数。

不断更新，使其能量不断下降，最终趋于稳定。

二：

程序代码

1.得到权重的程序

%读取数据

a=xlsread（0.xls,1）;

b=xlsread（1.xls,1）;

c=xlsread（2.xls,1）;

d=xlsread（3.xls,1）;

e=xlsread（4.xls,1）;

f=xlsread（6.xls,1）;

g=xlsread（u.xls,1）;

h=xlsread（9.xls,1）;

%将矩阵依次处理为向量，以便求

法用for来做

a1=a（1,:

）;

fori=2:

12

a1=vpa（[a1a（i,:

）]）;

end

b1=b（1,:

）;

fori=2:

12

b1=vpa（[b1b（i,:

）]）;

end

c1=c（1,:

）;

fori=2:

12

c1=vpa（[c1c（i,:

）]）;

end

d1=d（1,:

）;

fori=2:

12

d1=vpa（[d1d（i,:

）]）;

end

e1=e（1,:

）;

fori=2:

12

e1=vpa（[e1e（i,:

）]）;

end

f1=f（1,:

）;

fori=2:

12

f1=vpa（[f1f（i,:

）]）;weight，由于是a,b等编号，故这一步无

end

g1=g（1,:

）;

fori=2:

12

g1=vpa（[g1g（i,:

）]）;

end

h1=h（1,:

）;

fori=2:

12

h1=vpa（[h1h（i,:

）]）;

end

%求weight公式

i=eye（120）;

w=（a1*a1+b1*b1+c1*c1+d1*d1+e1*e1+f1*f1+g1*g1+h1*h1）/120-8/120*i;

w=double（w）;

xlswrite（w.xls,w）

2.更新程序

编写脚本文件

functionhpml（x0,weight,n）

%%x0为需要识别的数字矩阵

%weight为经过学习得到的权重

%n为需要迭代的次数

o=weight*x0;

[r,c]=size（o）;

%迭代更新矩阵

fork=1:

n-1

fori=1:

r

forj=1:

c

if（o（i,j）>=0）

o（i,j）=1;

else

o（i,j）=-1;

end

end

end

o=weight*o;

end

%对于跳出循环的矩阵规范化

fori=1:

r

forj=1:

c

if（o（i,j）>=0）

o（i,j）=1;

else

o（i,j）=-1;

end

end

end

%将生成的向量以行序为主转化为矩阵，因为reshape函数以列序为主，故未采用

m=zeros（12,10）;

fori=1:

12

m（i,:

）=o（10*（i-1）+1:

10*i）;

end

imshow（m,[-1,1]）

title（strcat（iterationtimes:

num2str（n）））;

3.调用函数

x0=xlsread（i.xls,1）；

weight=xlsread（w.xls,1）;

x=zeros（12,10）;

fori=1:

12

x（i,:

）=x0（10*（i-1）+1:

10*i）;

end

subplot（1,3,1）;

imshow（x,[-1,1]）;

title（previousimage）;

n=1;

subplot（1,3,2）;

hpml（x0,weight,n）

subplot（1,3,3）;

n=2;

hpml（x0,weight,n）

三：

程序结果篇三：

机器学习方法及应用研究

机器学习方法及应用研究

很早人类就有制造机器人的幻想，例如黄帝的“指南车”，诸葛亮的“木牛流马”。

《三国演义》中诸葛亮发明的运输工具称为“木牛流马”，解决了川山山区军粮运输的难题。

根据文献，诸葛亮最具有实物性质的智慧结晶就是“木牛流马”。

1997年5月，美国ibm公司的“深蓝”超级计算机首次击败国际象棋男子世界冠军卡斯帕罗夫。

表1给出了卡斯帕罗夫和“深蓝”具有的不同特点。

学习是人类获取知识的重要途径和自然智能的重要标志，机器学习则是机器获取知识的重要途径和人工智能的重要标志[2]。

“深蓝”之所以能击败卡斯帕罗夫，最主

______________________

作者简介：

马健喆，男，（1995,11-），山西太原人，本科，主要研究方向为信息处理。

要的原因是“深蓝”具有较强的学习能力和推理能力。

表1卡斯帕罗夫和“深蓝”的不同特点

学习过程与推理过程密切相关。

按照学习中使用推理的多少，机器学习所采用的策略总体上可以分为机械学习、示教学习、示例学习和类比学习。

学习中所用的推理越多，系统的能力越强[3,4]。

2、五子棋游戏的设计

设计五子棋游戏，实现简单的五子棋游戏；插入一个下载的棋盘图片作为自己的棋盘；插入一段音乐实现背景音乐的播放；当有输赢出现时弹出一个显示战况的对话框；在菜单栏上添加一个战况的标题，当单击时弹出显示当时战况的对话框。

五子棋棋局与围棋相同，棋子分为黑、白两种颜色，棋盘为19?

19，在棋盘线交叉点上放置棋子。

计算机与人对局，各执一种颜色的棋子，轮流下一子，先将横、竖或斜线的5个或5个以上同色棋子连成不间断的一排者为胜。

现代五子棋棋盘已标准化为15?

15的方格棋盘。

本文采用mfc对话框构建五子棋棋盘，直接截取五子棋棋盘图片作为对话框背景；采用mfc按钮控件作为五子棋游戏“悔棋”、“音乐”、“战况”、“重新开始”的选项按键；实现五子棋人机对战，人通过鼠标点击下子；设计五子棋游戏算法实现计算机的下子点的选择。

图1给出了五子棋游戏算法的程序流程图，具体步骤如下：

图1五子棋游戏算法的程序流程图

（1）对局双方各执一种颜色的棋子；

（2）空棋盘开局；

（3）玩家（黑方）首先落子，接着计算机（白方）作出决策，落子，交替下子，每次只能下一子；

（4）棋子下在棋盘的空白点上，棋子下定后，不得向其它点移动，不得从棋盘上拿掉或拿起另落别处；

（5）黑方的第一枚棋子可下在棋盘任意交叉点上；

（6）轮流下子是双方的权利；

（7）连五取胜。

在对弈过程中若某一方出现“成五”（“五连”和“多连”的总称），则判定为胜。

若棋盘下满还没有胜方，则为平局。

该五子棋游戏算法没有用到机器学习，计算机不具有智能。

图2、图3分别给出了利用mfc实现五子棋游戏程序的运行结果。

本文设计实现的五子棋游戏可以根据个人爱好设计界面，人机交互方便、简单。

图2五子棋游戏程序的运行结果

图3五子棋游戏程序的运行结果

机器学习是计算机获取智能的途径，本文设计了五子棋游戏算法，实现了五子棋游戏。

下一步工作将机器学习方法引入到五子棋游戏的设计，提高计算机的学习能力和推理能力。

篇四：

机器学习优缺点

机器学习10大经典算法

2012-03-2920:

3520186人阅读评论（3）收藏举报

算法google网络搜索引擎互联网yahoo

1、c4.5

机器学习中，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。

树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。

决策树仅有单一输出，若欲有复数输出，可