机器学习发展历史的哲学发展观点.docx
- 文档编号:3685684
- 上传时间:2022-11-24
- 格式:DOCX
- 页数:7
- 大小:24.17KB
机器学习发展历史的哲学发展观点.docx
《机器学习发展历史的哲学发展观点.docx》由会员分享,可在线阅读,更多相关《机器学习发展历史的哲学发展观点.docx(7页珍藏版)》请在冰豆网上搜索。
机器学习发展历史的哲学发展观点
机器学习发展史中的哲学问题
摘要:
机器学习(MachineLearning)是一门专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能的学科。
机器学习(MachineLearning)是研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。
它是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域,它主要使用归纳、综合而不是演绎。
近年来机器学习取得了令人瞩目的成果,成功应用于人脸识别、语音识别和信号处理等领域。
我们回顾几十年来机器学习的发展过程发现:
同其他一般事物一样,机器学习的研究也是不断前进不断发展的,特别是随着新技术手段的出现而取得突破性进展。
本文透过哲学发展的眼光看待机器学习研究过程中的两次浪潮,浅层学习和深度学习,并从中分析当前机器学习研究发展的新趋势。
关键词:
机器学习,发展,趋势
一、机器学习发展的两次浪潮
机器学习(MachineLearning)是人工智能领域的一个核心研究方向。
它是一个多学科交叉的产物,它吸取了概率统计、神经生物学、信息论、控制论、计算复杂性理论、哲学等学科的成果。
在很多应用领域发挥了重要的实用价值,特别是在数据挖掘、语音识别、图像识别、机器人、生物信息学、信息安全、遥感信息处理等领域取得了瞩目的成果。
一般来说机器学习的发展过程大体上可分为4个时期。
第一阶段是在20世纪50年代中叶到60年代中叶,属于热烈时期。
在这个时期,所研究的是“没有知识”的学习,即“无知”学习;其研究目标是各类自组织系统和自适应系统;其主要研究方法是不断修改系统的控制参数以改进系统的执行能力,不涉及与具体任务有关的知识。
指导本阶段研究的理论基础是早在40年代就开始研究的神经网络模型。
随着电子计算机的产生和发展,机器学习的实现才成为可能。
这个阶段的研究导致了模式识别这门新科学的诞生,同时形成了机器学习的二种重要方法,即判别函数法和进化学习。
塞缪尔的下棋程序就是使用判别函数法的典型例子。
不过,这种脱离知识的感知型学习系统具有很大的局限性。
无论是神经模型、进化学习或是判别函数法,所取得的学习结果都很有限,远不能满足人们对机器学习系统的期望。
在这个时期,我国研制了数字识别学习机。
第二阶段是在20世纪60年代中叶至70年代中叶,被称为机器学习的冷静时期。
本阶段的研究目标是模拟人类的概念学习过程,并采用逻辑结构或图结构作为机器内部描述。
机器能够采用符号来描述概念(符号概念获取),并提出关于学习概念的各种假设。
本阶段的代表性工作有温斯顿(Winston)的结构学习系统和海斯·罗思(HayesRoth)等的基于逻辑的归纳学习系统。
虽然这类学习系统取得较大的成功,但只能学习单一概念,而且未能投入实际应用。
此外,神经网络学习机因理论缺陷未能达到预期效果而转入低潮。
因此,使那些对机器学习的进展抱过大希望的人们感到失望。
他们称这个时期为“黑暗时期”。
这个时期正是我国“史无前例”的十年,对机器学习的研究不可能取得实质进展。
第三阶段是从20世纪70年代中叶至80年代中叶,称为复兴时期。
在这个时期,人们从学习单个概念扩展到学习多个概念,探索不同的学习策略和各种学习方法。
机器的学习过程一般都建立在大规模的知识库上,实现知识强化学习。
尤其令人鼓舞的是,本阶段已开始把学习系统与各种应用结合起来,并取得很大的成功,促进机器学习的发展。
在出现第一个专家学习系统之后,示例归约学习系统成为研究主流,自动知识获取成为机器学习的应用研究目标。
1980年,在美国的卡内基梅隆大学(CMU)召开了第一届机器学习国际研讨会,标志着机器学习研究已在全世界兴起。
此后,机器归纳学习进入应用。
1986年,国际杂志《机器学习》(MachineLearning)创刊,迎来了机器学习蓬勃发展的新时期。
70年代末,中国科学院自动化研究所进行质谱分析和模式文法推断研究,表明我国的机器学习研究得到恢复。
1980年西蒙来华传播机器学习的火种后,我国的机器学习研究出现了新局面。
机器学习的发展主要有两次浪潮:
(1)第一次浪潮:
浅层学习
从二十世纪八十年代末期以来,机器学习的发展大致经历了两次浪潮:
浅层学习(shallowlearning)和深度学习(deeplearning)。
八十年代末期,Rumelhart提出了用于人工神经网络的反向传播算法(也叫BackPropagation算法或者BP算法),给机器学习带来了希望,掀起了基于统计模型的机器学习热潮川.这个热潮一直持续到今天。
人们发现,利用BP算法可以让一个人工神经网络模型从大量训练样本中学习出统计规律,从而对未知事件做预测.这种基于统计的机器学习方法比起过去基于人工规则的系统,在很多方面显示出优越性.这个时候的人工神经网络,虽然也被称作多层感知机(multilayerperception),由于多层网络训练的困难,实际使用的多数是只含有一层隐层节点的浅层模型。
到了九十年代,各种各样的浅层机器学习模型相继被提出,比如支撑向量机(supportvectormachines,SVM),Boosting,最大嫡方法(比如logisticregression,LR)等。
这些模型的结构基本上可以看成带有一层隐层节点(如SVM,Boosting),或没有隐层节点(如LR)。
这些模型在无论是理论分析还是应用都获得了巨大的成功。
相比较之下,由于理论分析的难度,而且训练方法需要很多经验和技巧,这个时期多层人工神经网络反而相对较为沉寂。
2000年以来互联网的高速发展,对大数据的智能化分析和预测提出了巨大需求,浅层学习模型在互联网应用上获得了巨大的成功。
最成功的应用包括搜索广告系统(比如谷歌的Adwords、XX的凤巢系统)的广告点击率CTR预估、网页搜索排序(比如雅虎和微软的搜索引擎)、垃圾邮件过滤系统、基于内容的推荐系统,等等。
(2)第二次浪潮:
深度学习
2006年,加拿大多伦多大学教授,机器学习领域的泰斗Hinton和他的学生Salakhutdinov在顶尖学术刊物《科学》上发表了一篇文章,开启了深度学习在学术界和工业界的浪潮。
这篇文章有两个主要的讯息:
1)很多隐层的人工神经网络具有优异的特征学习能力,学习得到的特征对数据有更本质的刻划,从而有利于可视化或分类;2)深度神经网络在训练上的难度,可以通过“逐层初始化”(layer-wisepre-training)来有效克服,在这篇文章中,逐层初始化是通过无监督学习实现的。
自2006年以来,深度学习在学术界持续升温。
斯坦福大学、纽约大学、加拿大蒙特利尔大学等成为研究深度学习的重镇。
2010年,美国国防部DARPA计划首次资助深度学习项目,参与方有斯坦福大学、纽约大学和NEC美国研究院。
支持深度学习的一个重要依据,就是脑神经系统的确具有丰富的层次结构一个最著名的例子就是HubelWiesel模型,由于揭示了视觉神经的机理而曾获得诺贝尔医学与生理学奖。
除了仿生学的角度,目前深度学习的理论研究还基本处于起步阶段,但在应用领域已经显现巨大能量。
2011年以来,微软研究院和谷歌的语音识别研究人员先后采用DNN技术降低语音识别错误率20%一30%,是语音识别领域10多年来最大的突破性进展。
2012年DNN技术在图像识别领域取得惊人的效果,在ImageNet评测上将错误率从26%降低到15%.在这一年,DNN还被应用于制药公司的DrugeActivity预测问题,并获得世界最好成绩,这一重要成果被《纽约时报》报道。
机器学习进入新阶段的重要表现在下列诸方面:
(1)机器学习已成为新的边缘学科并在高校形成一门课程。
它综合应用心理学、生物学和神经生理学以及数学、自动化和计算机科学形成机器学习理论基础。
(2)结合各种学习方法,取长补短的多种形式的集成学习系统研究正在兴起。
特别是连接学习符号学习的耦合可以更好地解决连续性信号处理中知识与技能的获取与求精问题而受到重视。
(3)机器学习与人工智能各种基础问题的统一性观点正在形成。
例如学习与问题求解结合进行、知识表达便于学习的观点产生了通用智能系统SOAR的组块学习。
类比学习与问题求解结合的基于案例方法已成为经验学习的重要方向。
(4)各种学习方法的应用范围不断扩大,一部分已形成商品。
归纳学习的知识获取工具已在诊断分类型专家系统中广泛使用。
连接学习在声图文识别中占优势。
分析学习已用于设计综合型专家系统。
遗传算法与强化学习在工程控制中有较好的应用前景。
与符号系统耦合的神经网络连接学习将在企业的智能管理与智能机器人运动规划中发挥作用。
(5)与机器学习有关的学术活动空前活跃。
国际上除每年一次的机器学习研讨会外,还有计算机学习理论会议以及遗传算法会议。
二、事物的永恒发展
什么是发展?
发展就是标志物质世界运动变化的整体趋势和方向性的哲学范畴,是物质运动中前进的变化和进化的趋势。
发展的实质是新事物的产生和旧事物的灭亡。
什么是永恒的发展?
永恒发展就是事物发展,存亡往复变化的历史。
在这个变化过程中,尽管有种种表面的偶然性,尽管有种种暂时的倒退,前进的发展终究会实现。
任何事物的运动变化,总是先以微小的、不显著的变化开始,经过逐步积累而达到显著的、根本性质的变化。
在哲学上,就把事物这种逐渐的、不显著的变化叫做量变;而把事物显著的、根本性质的变化叫做质变。
质量互变规律揭示了事物因矛盾引起的发展过程和状态、发展变化形式上具有的特点,从量变开始,质变是量变的终结。
这就是事物发展的状态,量变与质变。
矛盾是事物发展的动力和原因,它包括内部矛盾和外部矛盾。
事物的内部矛盾是事物发展的内部原因,外部矛盾是事物发展的外部原因。
事物的发展是内因和外因共同作用的结果,但内因和外因在事物发展中的地位和作用不是同等的。
其中内因决定着事物的性质和发展方向,是事物发展的第一位的、根本的原因;外因是事物发展的条件,它只有通过内因,促进事物内部矛盾双方力量对比发生变化,才能对事物的发展发生作用和影响。
事物发展的总趋势是前进的、上升的,而发展的道路则是迂回曲折的。
发展是指前进的、上升的运动和变化,即新事物的产生和旧事物的灭亡。
新事物是符合客观发展规律的、具有强大生命力和远大发展前途的东西,新事物必然代替旧事物。
但新事物的成长是一个由小到大、由弱到强的过程,其间必然经历艰难曲折,甚至遭受失败。
要支持新事物,培养创新精神。
总而言之,发展不是一般的运动,而是上升性的运动。
发展揭示了物质世界运动的总趋势、总方向上升的转化,即由低级运动形式向高级运动形式、由简单到复杂的转化。
这种上升的、前进的运动就是发展。
而事物发展的永恒性体现在不断进化的过程之中,所以发展必然会继续走下去,新旧交替之间,发展也闪现了永恒的特点。
三、机器学习发展的哲学分析
人工智能机器学习是诞生于20世纪中叶的一门年轻的学科,它对人类的生产、生活方式产生了重大的影响,也引发了激烈的哲学争论。
然而本文并不关注机器学习本身的哲学问题,主要分析机器学习算法发展历史过程中的哲学问题。
总的来说,机器学习的发展与其他一般事物的发展并无太大区别,同样可以用哲学的发展的眼光来看待。
二十世纪五十年代第一台电子计算机埃尼阿克被发明制造出来,机器学习第一次具备了实现的硬件条件。
经过了半个多世纪的发展,电子计算机的性能取得了突破性的飞跃,为各种各样的机器学习算法的应用提供了基础。
机器学习的发展过程印证了哲学发展的几个观点:
(1)发展的实质是新事物的产生和旧事物的灭亡,机器学习的产生就是新事物的产生,新事物符合事物发展的必然趋势,具有强大的生命力和远大的发展前途。
机器学习的发展起始于上世纪五十年代,的的确确机器学习具有强大的生命力和远大的发展前途:
1959年美国的塞缪尔(Samuel)设计了一个下棋程序,这个程序具有学习能力,它可以在不断的对弈中改善自己的棋艺。
4年后,这个程序战胜了设计者本人。
又过了3年,这个程序战胜了美国一个保持8年之久的常胜不败的冠军。
这个程序向人们展示了机器学习的强大的能力和远大的发展潜力。
机器学习这一新事物的出现,终结了许多领域靠专家编程才能工作的情况。
(2)事物的发展是有量变到质变,量变和质变是事物的两种状态。
机器学习的并不是突然间出现的,它的研究有一个量的积累过程:
机器学习的研究起点最早可追溯到19世纪末的神经科学,特别是James发现了神经元是相互连接的现象。
随后,在20世纪30年代,McCulloch和Pitts发现了神经元的“兴奋”和“抑制”机制,20世纪中叶,Hebb发现了“学习律”,以Barlow提出的功能单细胞假设为依据,Rosenblatt于1956年提出了感知器。
正是这些学者的工作积累,才使得机器学习登上了发展的快车道,实现质变——广泛应用于现代个人设备和电脑中。
(3)事物发展的道路不可能是一帆风顺的,只能是螺旋式或波浪式的,有曲折、有起伏。
在六十年代到八十年代的时间里,由于新的实用的理论思想和技术手段没有出现,机器学习的研究陷入了沉寂,没有取得任何引人注目的成果。
直到八十年代末期,人工神经网络的反向传播算法被发明出来,为解决神经网络的计算奠定了基础,兴起了机器学习发展的浪潮——第一次机器学习浪潮,浅层学习。
浅层学习的主要方法一开始是神经网络,随着研究的深入,各种浅层学习方法相继被提出,例如支持向量机。
其中神经网络和支持向量机之间的交锋可谓是此起彼伏,这恰恰符合了事物发展的规律。
(4)事物的发展是内因和外因共同作用的结果,但内因和外因在事物发展中的地位和作用不是同等的。
第一次机器学习浪潮的兴起有着其内部原因和外部原因,内部原因在于多层感知机模型的提出,及其求解方法反向传播算法的发明;而外部原因在于电子计算机硬件的性能达到了能够实现求解浅层网络的程度。
第二次机器学习浪潮——深度学习兴起的原因也有着同样的两方面。
第一次机器学习浪潮持续了二十年,机器学习主要方法从浅层神经网络和线性判别分析发展到支持向量机,并衍生出许许多多的变形。
这里面神经网络由一开始的机器学习研究的宠儿变成了学界的弃儿,神经网络的研究进入了停滞。
主要原因在于,反向传播算法虽然实现了网络的求解,但具有一个重大缺陷:
难以求解多层神经网络,这正是神经网络研究的内部矛盾,或者说是深度学习发展的内部原因。
随着互联网的日益普及,移动互联网、社交网络、电子商务大大拓展了互联网的疆域,我们正处在一个各种各样的数据爆炸性增长的"大数据"时代,大数据在社会经济、文化,人们生活等方面产生非常深远的影响,大数据时代对人类的数据驾驭能力提出了新的挑战与机遇。
同样对于机器学习而言也是一个巨大的挑战,‘发展倒逼改革’,数据的爆炸性增长是这一时期机器学习发展的一个主要外部矛盾。
在经过二十多年的浅层学习研究发展之后,2006年机器学习迎来了一个重大突破,多伦多大学的Hinton教授提出了一种解决深层神经网络的方法,第二次机器学习浪潮开始兴起。
在外部矛盾的推动下,内部矛盾的解决使得深度学习被广泛的应用到各个领域,如图像识别、语音识别、自然语音处理和乃至于微博情感分析等等。
在这些领域,新的事物——深度神经网络模型替代了旧事物(浅层神经网络或者支持向量机),机器学习的发展实现了由简单的低级模型演化到了复杂的多层模型。
神经网络的研究从沉寂转为活跃,这恰恰对应了事物永恒的发展,多层神经网络具备详细描述事物的优点,但在其求解方法出来之前是低迷的,暂时性的倒退并没有掩饰其优点;在多层神经网络的实用性求解方法被Hinton教授提出后,神经网络又获得了众多研究者的广泛关注。
显而易见,内部原因是决定着机器学习研究的性质和发展方向,是其发展的第一位的、根本的原因,而外部原因为机器学习浪潮兴起提供了条件,起到了推动作用。
内部因素和外部因素的结合,实现了两次机器学习研究浪潮的兴起。
四、总结
机器学习经历了数十年的发展,现在我们正处于第二层发展浪潮之中,机器学习的发展暗合了哲学中的许多发展的观点,例如新旧事物、螺旋式上升、内部外部矛盾和内部外部原因等。
由此举一反三,在其他科学研究领域,哲学的发展观点也是适用的,我们研究者不要因为一个课题当前研究冷门而放弃,也不要因为一个理论受到其他研究者的热捧而盲目信奉。
用发展的眼光看问题,分析机器学习研究的新方向,可以预测的是现在深度学习将继续在研究深度和广度上拓展,不仅渗透到各个应用领域,而且将诞生新的理论思想。
对于机器学习的研究者来说,一方面可以深入研究学习理论基础,另一方面可以将目前成熟的深度学习模型应用到其他领域。
我们要意识到事物是发展的,没有完美的算法,在应用深度学习算法的同时要观察其缺点,不断发展不断改进深度学习算法。
因此,一般要发展当前研究热门的深度学习,一边要研究新的机器学习理论,为机器学习迎来新浪潮创造可能。
对于关注经济效益的公司而言,可以引进知名学者和建立深度学习研究中心,专门研究应用于公司产品的深度学习算法。
例如XX成立2013年成立XX研究院的第一个研究部门——深度学习研究院,并聘请知名机器学习研究专家吴恩达;另外也投资更多更强大的计算机系统,用以支持更高级更复杂的机器学习算法。
深度学习仅是当前机器学习较优秀的一种方法,本文只是从两次发展浪潮的角度讨论机器学习发展的哲学观点,并不是追捧深度学习。
我们机器学习研究者或公司组织不要顾此失彼,过分看重深度学习,只看待事物发展的一方面,而忽视了深度学习需要耗费巨大计算资源的缺点。
我们研究者带着发展的眼光放眼整个学术界,跟踪最新理论研究和应用研究相关成果,结合自身研究对象,探索机器学习的新领域。
综上所述,机器学习作为当前计算机科学研究一个重要领域,是不断发展着的,新的理论和技术手段的出现都会有力地促进机器学习的进步,旧的理论和模型在其潜力被完全挖掘出来之前是不会被研究者遗忘的。
研究的过程不是一帆风顺的,会有起伏和波折,只要我们充分利用外部矛盾,努力解决内部矛盾,我们的机器学习研究工作就一定能够成功。
参考文献
[1]陈新来.如何界定“旧事物”[J].兰州学刊,1997(3):
24-25.
[2]余凯贾磊陈雨强徐伟.深度学习的昨天,今天和明天[J].计算机研究与发展,2013,50(9):
1799-1804.
[3]洪家荣.机器学习——回顾与展望[J].计算机科学,1991,2:
000.
[4]王学武,谭得健.神经网络的应用与发展趋势[J].计算机工程与应用.2003(03)
[5]魏素霞.关于对“矛盾是事物发展的源泉和动力”观点的商榷[J].试题与研究:
教学论坛,2011(8):
80-80.
[6]朱重庆,郑俊艺,陈志容,等.浅谈事物的普遍联系和发展[J].北方文学:
下,2013(8):
226-226.
[7]陈炳枢.从客观矛盾运动的分析看事物的否定发展[J].青海社会科学,1996(5):
112-115.
[8]孙志军,薛磊,许阳明,等.深度学习研究综述[J].计算机应用研究,2012,29(8):
2806-2810.
[9]余滨,李绍滋,徐素霞,等.深度学习:
开启大数据时代的钥匙[J].工程研究:
跨学科视野中的工程,2014,6(3):
233-243.
[10]刘建伟,刘媛,罗雄麟.深度学习研究进展[J].计算机应用研究,2014,31(7).
[11]梁军,柴玉梅,原慧斌,等.基于深度学习的微博情感分析[J].中文信息学报,2014,28(5):
155-161.
[12]梁军,柴玉梅,原慧斌,等.基于深度学习的微博情感分析[J].中文信息学报,2014,28(5):
155-161.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 机器 学习 发展 历史 哲学 观点
![提示](https://static.bdocx.com/images/bang_tan.gif)