深度学习期末复习.docx

深度学习期末复习.docx

《深度学习期末复习.docx》由会员分享，可在线阅读，更多相关《深度学习期末复习.docx（28页珍藏版）》请在冰豆网上搜索。

深度学习期末复习

深度学习期末复习

学期内容回首

一、人工智能的概念开展历程及每个历程的特点以及代表性理论或者算法或者主要驱动力

二、人工神经网络ANN的前向传播计算以及误差反向回传原理

三、卷积神经网络CNN的前向传播计算以及误差反向回传原理

注意比照分析ANN与CNN的一样之处以及不同之处深化理解卷积运算的概念以及本质掌握卷积后的特征图尺寸的计算方法

四、神经网络优化掌握常见激活函数解析权值初始化的技术理解训练神经网络的优化技术SGDMomentumAdagradRMSPropAdam等

五、深化理解各种类型的卷积操作NiN1x1卷积Inception块Residual块空洞卷积转置卷积/逆卷积池化上采样分组卷积深度可别离卷积

六、理解掌握常见的面向目的识别（分类）的卷积神经网络LeNetAlexNetVGGInceptionv3ResNet学会设计以及实现卷积神经网络构造

七、掌握常见的深度学习损失函数SoftmaxLoss/SoftmaxCrossEntropyLossBCEL1LossSmoothL1Loss/HuberLossFocalLossDiceLoss

八、深度学习目的检测深化理解YOLOV3以及FasterR-CNN系列的目的检测算法及其技术细节归纳其一样之处以及不同之处及各自的优缺点

解析SSD以及MaskR-CNN目的检测算法

九、深度学习图像分割深化理解FCN以及U-Net语义分割网络的原理及其一样之处以及不同之处解析DeepLabsMaskR-CNN等前沿的语义分割算法。

1.人工智能的概念开展历程及每个历程的特点以及代表性理论或者算法或者主要驱动力

人工智能就是用机器模拟人的意识以及思维。

机器学习那么是实现人工智能的一种方法是人工智能的子集。

深度学习就是深层次神经网络是机器学习的一种实现方法是机器学习的子集人工智能ArtificialIntelligence英文缩写为AI。

是计算机科学的一个分支。

人工智能是对人的意识、思维的信息经过的模拟。

人工智能不是人的智能但能像人那样考虑、可以能超过人的智能。

数学常被认为是多种学科的根底科学数学也进入语言、思维领域人工智能学科也必须借用数学工具。

人工智能实际应用机器视觉指纹识别人脸识别视网膜识别虹膜识别掌纹识别专家系统自动规划智能搜索定理证明博弈自动程序设计智能控制机器人学语言以及图像理解遗传编程等。

人工智能目前也分为强人工智能（BOTTOM-UPAI）以及弱人工智能（TOP-DOWNAI）

强人工智能观点认为有可能制造出真正能推理Reasoning以及解决问题Problem_solving的智能机器并且这样的机器将被认为是有知觉的有自己意识的。

可以独立考虑问题并制定解决问题的最优方案有自己的价值观以及世界观体系。

有以及生物一样的各种本能比方生存以及平安需求。

在某种意义上可以看作一种新的文明。

弱人工智能是指不能制造出真正地推理Reasoning以及解决问题Problem_solving的智能机器这些机器只不过看起来像是智能的但是并不真正拥有智能也不会有自主意识。

人工智能开展简史

1、人工智能的诞生20世纪4050年度代

1950年度图灵测试

1950年度著名的图灵测试诞生按照“人工智能之父〞艾伦·图灵的定义假如一台机器可以与人类展开对话通过电传设备而不能被区分出其机器身份那么称这台机器具有智能。

同一年度图灵还预言会创造出具有真正智能的机器的可能性。

1954年度第一台可编程机器人诞生

1954年度美国人乔治·戴沃尔设计了世界上第一台可编程机器人。

1956年度人工智能诞生

1956年度夏天美国达特茅斯学院举行了历史上第一次人工智能研讨会被认为是人工智能诞生的标志。

会上麦卡锡首次提出了“人工智能〞这个概念纽厄尔以及西蒙那么展示了编写的逻辑理论机器。

2、人工智能的黄金时代20世纪5070年度代

1966年度~1972年度首台人工智能机器人Shakey诞生

1966年度~1972年度期间美国斯坦福国际研究所研制出机器人Shakey这是首台采用人工智能的挪动机器人。

1966年度世界上第一个聊天机器人ELIZA发布

美国麻省理工学院MIT的魏泽鲍姆发布了世界上第一个聊天机器人ELIZA。

ELIZA的智能之处在于她能通过脚本理解简单的自然语言并能产生类似人类的互动。

1968年度计算机鼠标创造

1968年度12月9日美国加州斯坦福研究所的道格·恩格勒巴特创造计算机鼠标设想出了超文本链接概念它在几十年度后成了当代互联网的根基。

3、人工智能的低谷20世纪7080年度代

20世纪70年度代初人工智能遭遇了瓶颈。

当时的计算机有限的内存以及处理速度缺乏以解决任何实际的人工智能问题。

要求程序对这个世界具有儿童程度的认识研究者们很快发现这个要求太高了1970年度没人可以做出如此宏大的数据库也没人知道一个程序如何才能学到如此丰富的信息。

由于缺乏进展对人工智能提供资助的机构如英国政府、美国国防部高级研究方案局以及美国国家科学委员会对无方向的人工智能研究逐渐停顿了资助。

美国国家科学委员会NRC在拨款二千万美元后停顿资助。

4、人工智能的繁荣期1980年度~1987年度

1981年度日本研发人工智能计算机

1981年度日本经济产业省拨款8.5亿美元用以研发第五代计算机工程在当时被叫做人工智能计算机。

随后英国、美国纷纷响应开场向信息技术领域的研究提供大量资金。

1984年度启动Cyc大百科全书工程

在美国人道格拉斯·莱纳特的带着下启动了Cyc工程其目的是使人工智能的应用可以以类似人类推理的方式工作。

1986年度3D打印机问世

美国创造家查尔斯·赫尔制造出人类历史上首个3D打印机。

5、人工智能的冬天1987年度~1993年度

“AI人工智能之冬〞一词由经历过1974年度经费削减的研究者们创造出来。

他们注意到了对专家系统的狂热追捧预计不久后人们将转向绝望。

事实被他们不幸言中专家系统的实用性仅仅局限于某些特定情景。

到了上世纪80年度代晚期美国国防部高级研究方案局DARPA的新任指导认为人工智能并非“下一个浪潮〞拨款将倾向于那些看起来更容易出成果的工程。

6、人工智能真正的春天1993年度至今

1997年度电脑深蓝战胜国际象棋世界冠军

1997年度5月11日IBM公司的电脑“深蓝〞战胜国际象棋世界冠军卡斯帕罗夫成为首个在标准比赛时限内击败国际象棋世界冠军的电脑系统。

2020年度开发出使用自然语言回答下列问题的人工智能程序

2020年度Watson沃森作为IBM公司开发的使用自然语言回答下列问题的人工智能程序参加美国智力问答节目打败两位人类冠军赢得了100万美元的奖金。

2021年度Spaun诞生

加拿大神经学家团队创造了一个具备简单认知才能、有250万个模拟“神经元〞的虚拟大脑命名为“Spaun〞并通过了最根本的智商测试。

2021年度深度学习算法被广泛运用在产品开发中

Facebook人工智能实验室成立探究深度学习领域借此为Facebook用户提供更智能化的产品体验Google收买了语音以及图像识别公司DNNResearch推广深度学习平台XX创立了深度学习研究院等。

2021年度人工智能打破之年度

Google开源了利用大量数据直接就能训练计算机来完成任务的第二代机器学习平台TensorFlow剑桥大学建立人工智能研究所等。

2016年度AlphaGo战胜围棋世界冠军李世石

2016年度3月15日Google人工智能AlphaGo与围棋世界冠军李世石的人机大战最后一场落下了帷幕。

人机大战第五场经过长达5个小时的搏杀最终李世石与AlphaGo总比分定格在1比4以李世石认输完毕。

这一次的人机对弈让人工智能正式被世人所熟知整个人工智能市场也像是被引燃了导火线开场了新一轮爆发。

2016年度3月9日韩国李世石人机围棋大战引广泛关注韩国民众纷纷观战电视直播。

①1942年度“机器人三定律〞提出

美国科幻巨匠阿西莫夫提出“机器人三定律〞后来成为学术界默认的研发原那么。

②1956年度人工智能的诞生

达特茅斯会议上科学家们讨论用机器模拟人类智能等问题并首次提出了人工智能AI的术语AI的名称以及任务得以确定同时出现了最初的成就以及最早的一批研究者。

③1959年度第一代机器人出现

德沃尔与美国创造家约瑟夫·英格伯格联手制造出第一台工业机器人。

随后成立了世界上第一家机器人制造工厂——Unimation公司。

④1965年度兴起研究“有感觉〞的机器人

约翰·霍普金斯大学应用物理实验室研制出Beast机器人。

Beast已经能通过声纳系统、光电管等装置根据环境校正自己的位置。

⑤1968年度世界第一台智能机器人诞生

美国斯坦福研究所公布他们研发成功的机器人Shakey。

它带有视觉传感器能根据人的指令发现并抓取积木不过控制它的计算机有一个房间那么大可以算是世界第一台智能机器人。

⑥2002年度家用机器人诞生

美国iRobot公司推出了吸尘器机器人Roomba它能避开障碍自动设计行进道路还能在电量缺乏时自动驶向充电座。

Roomba是目前世界上销量较大的家用机器人。

⑦2021年度机器人首次通过图灵测试

在英国皇家学会举行的“2021图灵测试〞大会上聊天程序“尤金·古斯特曼〞EugeneGoostman首次通过了图灵测试预示着人工智能进入全新时代。

⑧2016年度AlphaGo打败人类

2016年度3月AlphaGo对战世界围棋冠军、职业九段选手李世石并以4:

1的总比分获胜。

这并不是机器人首次打败人类事件。

一、1950-1970年度代人工智能的“推理时代〞。

赫本于1949年度基于神经心理学的学习机制开启机器学习的第一步。

此后被称为Hebb学习规那么。

Hebb学习规那么是一个无监视学习规那么这种学习的结果是使网络可以提取训练集的统计特性进而把输入信息按照它们的相似性程度划分为假设干类。

这一点与人类观察以及认识世界的经过非常吻合人类观察以及认识世界在相当程度上就是在根据事物的统计特征进展分类。

从上面的公式可以看出权值调整量与输入输出的乘积成正比显然经常出现的形式将对权向量有较大的影响。

在这种情况下Hebb学习规那么需预先定置权饱以及值以防止输入以及输出正负始终一致时出现权值无约束增长。

Hebb学习规那么与“条件反射〞机理一致并且已经得到了神经细胞学讲的证实。

比方巴甫洛夫的条件反射实验每次给狗喂食前都先响铃时间一长狗就会将铃声以及食物联络起来。

以后假如响铃但是不给食物狗也会流口水当然这个实验也被认为是广告学、神经学的开场。

1950年度阿兰·图灵创造了图灵测试来断定计算机是否智能。

图灵测试认为假如一台机器可以与人类展开对话通过电传设备而不能被区分出其机器身份那么称这台机器具有智能。

这一简化使得图灵可以令人信服地讲明“考虑的机器〞是可能的。

2021年度6月8日一个叫做尤金·古斯特曼的聊天机器人成功让人类相信它是一个13岁的男孩成为有史以来首台通过图灵测试的计算机。

这被认为是人工智能开展的一个里程碑事件。

但是这比图灵自己预测的时间晚了整整14年度。

1956年度夏季以麦卡赛、明斯基、罗切斯特以及申农等为首的一批有远见卓识的年度轻科学家在一起聚会共同研究以及讨论用机器模拟智能的一系列有关问题并首次提出了“人工智能〞这一术语它标志着“人工智能〞这门新兴学科的正式诞生。

1957年度罗森·布拉特基于神经感悟科学背景提出了第二模型非常的类似于今天的机器学习模型。

这在当时是一个非常令人兴奋的发现它比赫布的想法更适用。

基于这个模型罗森·布拉特设计出了第一个计算机神经网络——感悟机theperceptron它模拟了人脑的运作方式。

罗森·布拉特对感悟机的定义如下感悟机旨在讲明一般智能系统的一些根本属性它不会因为个别特例或者通常不知道的东西所束缚住也不会因为那些个别生物有机体的情况而陷入混乱。

3年度后维德罗首次使用Delta学习规那么即最小二乘法用于感悟器的训练步骤创造了一个良好的线性分类器。

1967年度最近邻算法Thenearestneighboralgorithm出现使计算机可以进展简单的形式识别。

kNN算法的核心思想是假如一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别那么该样本也属于这个类别并具有这个类别上样本的特性。

这就是所谓的“少数听从多数〞原那么。

1969年度马文·明斯基提出了著名的XOR问题,指出感悟机在线性不可分的数据分布上是失效的。

此后神经网络的研究者进入了寒冬直到1980年度才再一次复苏。

从60年度代中到70年度代末机器学习的开展步伐几乎处于停滞状态。

无论是理论研究还是计算机硬件限制使得整个人工智能领域的开展都遇到了很大的瓶颈。

固然这个时期温斯顿（Winston）的构造学习系统以及海斯·罗思（HayesRoth）等的基于逻辑的归纳学习系统获得较大的进展但只能学习单一概念而且未能投入实际应用。

这一时期一般认为只要机器被赋予逻辑推理才能就可以实现人工智能。

不过此后人们发现只是具备了逻辑推理才能机器还远远达不到智能化的程度。

60年度代末70年度代初神经网络学习机因理论缺陷未能到达预期效果而转入低潮。

这个时期的研究目的是模拟人类的概念学习经过并采用逻辑构造或者图构造作为机器内部描绘。

机器可以采用符号来描绘概念（符号概念获取）并提出关于学习概念的各种假设。

事实上这个时期整个AI领域都遭遇了瓶颈。

当时的计算机有限的内存以及处理速度缺乏以解决任何实际的AI问题。

要求程序对这个世界具有儿童程度的认识研究者们很快发现这个要求太高了1970年度没人可以做出如此宏大的数据库也没人知道一个程序如何才能学到如此丰富的信息。

可以讲是计算才能的滞后导致了AI技术的停滞这个阶段尽管学术思想已经到达很高的程度但是工业界的开展严重滞后科学与技术是相辅相成的任何一方开展滞后都会拖累另一方的开展。

二、1970-1990年度代人工智能的〞知识工程“时代。

这一时期人们认为要让机器变得有智能就应该设法让机器学习知识于是计算机系统得到了大量的开发。

后来人们发现把知识总结出来再灌输给计算机相当困难。

举个例子来讲想要开发一个疾病诊断的人工智能系统首先要找好多有经历的医生总结出疾病的规律以及知识随后让机器进展学习但是在知识总结的阶段已经花费了大量的人工本钱机器只不过是一台执行知识库的自动化工具而已无法到达真正意义上的智能程度进而取代人力工作。

伟博斯在1981年度的神经网络反向传播（BP）算法中详细提出多层感悟机模型即著名的“人工神经网络〞ANN。

固然BP算法早在1970年度就已经以“自动微分的反向模型reversemodeofautomaticdifferentiation〞为名提出来了但直到此时才真正发挥效用并且直到今天BP算法仍然是神经网络架构的关键因素。

有了这些新思想神经网络的研究又加快了。

在1985-1986年度神经网络研究人员鲁梅尔哈特辛顿威廉姆斯-赫尼尔森相继提出了使用BP算法训练的多参数线性规划MLP的理念成为后来深度学习的基石。

在另一个谱系中昆兰于1986年度提出了一种非常知名的机器学习算法我们称之为“决策树〞更详细的讲是ID3算法。

这是另一个主流机器学习算法的打破点。

此外ID3算法也被发布成为了一款软件它能以简单的规划以及明确的推论找到更多的现实案例而这一点正好以及神经网络黑箱模型相反。

决策树是一个预测模型他代表的是对象属性与对象值之间的一种映射关系。

树中每个节点表示某个对象而每个分叉途径那么代表的某个可能的属性值而每个叶结点那么对应从根节点到该叶节点所经历的途径所表示的对象的值。

决策树仅有单一输出假设欲有复数输出可以建立独立的决策树以处理不同输出。

数据挖掘中决策树是一种经常要用到的技术可以用于分析数据同样可以以用来作预测。

在ID3算法提出来以后研究社区已经探究了许多不同的选择或者改良如ID4、回归树、CART算法等这些算法仍然活泼在机器学习领域中。

1990年度,Schapire最先构造出一种多项式级的算法这就是最初的Boosting算法。

一年度后,Freund提出了一种效率更高的Boosting算法。

但是,这两种算法存在共同的理论上的缺陷那就是都要求事先知道弱学习算法学习正确的下限。

1992年度支持向量机SVM的出现是机器学习领域的另一大重要打破该算法具有非常强大的理论地位以及实证结果。

在90年度代曾风行整个数据挖掘、机器学习、形式识别领域至今仍然很炽热。

那一段时间机器学习研究也分为NN以及SVM两派。

然而在2000年度左右提出了带核函数的支持向量机后。

SVM在许多以前由NN占据的任务中获得了更好的效果。

此外SVM相对于NN还能利用所有关于凸优化、泛化边际理论以及核函数的深沉知识。

因此SVM可以从不同的学科中大力推动理论以及理论的改良当然如今SVM仍然具有强大的生命力深度学习算法无法解决问题时SVM仍然是很好的工具。

神经网络与支持向量机一直处于“竞争〞关系。

SVM应用核函数的展开定理无需知道非线性映射的显式表达式由于是在高维特征空间中建立线性学习机所以与线性模型相比不但几乎不增加计算的复杂性而且在某种程度上防止了“维数灾难〞大概意思就是在高维空间质量会无限逼近他的外表这是多么恐惧的事情你的皮肤破了一个口会发现自己是空的。

而神经网络遭受到又一个质疑通过Hochreiter等人1991年度以及Hochreiter等人在2001年度的研究说明在应用BP算法学习时NN神经元饱以及后会出现梯度损失gradientloss的情况。

简单地讲早先的神经网络算法比拟容易过训练大量的经历参数需要设置训练速度比拟慢在层次比拟少（小于等于3）的情况下效果并不比其它方法更优因此这一时期NN与SVM相比处于优势。

三、2000年度至今人工智能的〞数据挖掘“时代。

随着各种机器学习算法的提出以及应用十分是深度学习技术的开展人们祈望机器可以通过大量数据分析进而自动学习出知识并实现智能化程度。

这一时期随着计算机硬件程度的提升大数据分析技术的开展机器收集、存储、处理数据的程度有了大幅进步。

十分是深度学习技术对知识的理解比之前浅层学习有了很大的进步AlphaGo以及中韩围棋高手过招大幅领先就是目前人工智能的高程度代表之一。

2001年度决策树模型由布雷曼博士提出它是通过集成学习的思想将多棵树集成的一种算法它的根本单元是决策树而它的本质属于机器学习的一大分支——集成学习EnsembleLearning方法。

随机森林的名称中有两个关键词一个是“随机〞一个就是“森林〞。

“森林〞我们很好理解一棵叫做树那么成百上千棵就可以叫做森林了这样的比喻还是很贴切的其实这也是随机森林的主要思想—集成思想的表达。

其实从直观角度来解释每棵决策树都是一个分类器假设如今针对的是分类问题那么对于一个输入样本N棵树会有N个分类结果。

而随机森林集成了所有的分类投票结果将投票次数最多的类别指定为最终的输出这就是一种最简单的Bagging思想。

在机器学习开展分为两个局部浅层学习ShallowLearning以及深度学习DeepLearning。

浅层学习起源上世纪20年度代人工神经网络的反向传播算法的创造使得基于统计的机器学习算法大行其道固然这时候的人工神经网络算法也被称为多层感悟机但由于多层网络训练困难通常都是只有一层隐含层的浅层模型。

神经网络研究领域领军者Hinton在2006年度提出了神经网络DeepLearning算法即深度学习使神经网络的才能大大进步向支持向量机SVM发出挑战。

2006年度机器学习领域的泰斗Hinton以及他的学生Salakhutdinov在顶尖学术刊物?

Scince?

上发表了一篇文章开启了深度学习在学术界以及工业界的浪潮。

随后随着工业界GPU在大型计算机上的应用深度学习迎来了爆发这篇文章有两个主要的讯息1很多隐层的人工神经网络具有优异的特征学习才能学习得到的特征对数据有更本质的刻划进而有利于可视化或者分类2深度神经网络在训练上的难度可以通过“逐层初始化〞layer-wisepre-training来有效克制在这篇文章中逐层初始化是通过无监视学习实现的。

第一条补充

神经网络开展史神经网络的开展大致经过五个阶段。

第一阶段模型提出在1943年度心理学家WarrenMcCulloch以及数学家WalterPitts以及最早描绘了一种理想化的人工神经网络并构建了一种基于简单逻辑运算的计算机制。

他们提出的神经网络模型称为MP模型。

阿兰·图灵在1948年度的论文中描绘了一种“B型图灵机〞。

（赫布型学习）1951年度McCulloch以及Pitts的学生MarvinMinsky建造了第一台神经网络机称为SNARC。

Rosenblatt[1958]最早提出可以模拟人类感悟才能的神经网络模型并称之为感悟器Perceptron并提出了一种接近于人类学习经过迭代、试错的学习算法。

第二阶段冰河期1969年度MarvinMinsky出版?

感悟器?

一书书中论断直接将神经网络打入冷宫导致神经网络十多年度的“冰河期〞。

他们发现了神经网络的两个关键问题1根本感悟器无法处理异或者回路。

2电脑没有足够的才能来处理大型神经网络所需要的很长的计算时间。

1974年度哈佛大学的PaulWebos创造反向传播算法但当时未受到应有的重视。

1980年度KunihikoFukushima福岛邦彦提出了一种带卷积以及子采样操作的多层神经网络新知机Neocognitron第三阶段反向传播算法引起的复兴1983年度物理学家JohnHopfield对神经网络引入能量函数的概念并提出了用于联想记忆以及优化计算的网络称为Hopfield网络在旅行商问题上获得当时最好结果引起轰动。

1984年度GeoffreyHinton提出一种随机化版本的Hopfield网络即玻尔兹曼机。

1986年度DavidRumelhart以及JamesMcClelland对于联结主义在计算机模拟神经活动中的应用提供了全面的阐述并重新创造了反向传播算法。

1986年度GeoffreyHinton等人将引入反向传播算法到多层感悟器1989年度LeCun等人将反向传播算法引入了卷积神经网络并在手写体数字识别上获得了很大的成功。

第四阶段流行度降低在20世纪90年度代中期统计学习理论以及以支持向量机为代表的机器学习模型开场兴起。

相比之下神经网络的理论根底不明晰、优化困难、可解释性差等缺点更加凸显神经网络的研究又一次陷入低潮。

第五阶段深度学习的崛起2006年度Hinton等人发现多层前馈神经网络可以先通过逐层预训练再用反向传播算法进展精调的方式进展有效学习。

深度神经网络在语音识别以及图像分类等任务上的宏大成功。

2021年度AlexNet第一个当代深度卷积网络模型是深度学习技术在图像分类上获得真正打破的开端。

AlexNet不用预训练以及逐层训练首次使用了很多当代深度网络的技术

随着大规模并行计算和GPU设备的普及计算机的计算才能得以大幅进步。

此外可供机器学习的数据规模也越来越大。

在计算才能以及数据规模的支持下计算机已经可以训练大规模的人工神经网络。

人工神经网络ANN的前向传播计算以及误差反向回传原理

人工神经网络（ANN）人工神经网络的灵感来自其生物学对应物。

生物神经网络使大脑可以以复杂的方式处理大量信息。

大脑的生物神经网络由大约1000亿个神经元组成这是大脑的根本处理单元。

神经元通过彼此之间宏大的连接称为突触来执行其功能。

人脑大约有100万亿个突触每个神经元约有1,000个

接收区receptivezone树突接收到输入信息。

触发区triggerzone位于轴突以及细胞体交接的地方决定是否产生神经冲动。

传导区conductingzone由轴突进展神经冲动的传递。

输出区outputzone神经冲动的目的就是要让神经末梢突触的神经递质或者电力释出才能影响下一个承受的细胞神经元、肌肉细胞或者是腺体细胞此称为突触传递。

那么什么是人工神经网络呢有关人工神经网络的定义有很多。

这里芬兰计算机科学家托伊沃·科霍宁TeuvoKohonen给出的定义人工神经网络是一种由具有自适应性的简单单元构成的广泛并行互联的网络它的组织构造可以模拟生