科普丨让我们一起经历一次人工智能的发展旅程经典长文值得收藏.docx
- 文档编号:11182701
- 上传时间:2023-02-25
- 格式:DOCX
- 页数:14
- 大小:32.56KB
科普丨让我们一起经历一次人工智能的发展旅程经典长文值得收藏.docx
《科普丨让我们一起经历一次人工智能的发展旅程经典长文值得收藏.docx》由会员分享,可在线阅读,更多相关《科普丨让我们一起经历一次人工智能的发展旅程经典长文值得收藏.docx(14页珍藏版)》请在冰豆网上搜索。
科普丨让我们一起经历一次人工智能的发展旅程经典长文值得收藏
科普丨让我们一起经历一次人工智能的发展旅程(经典长文值得收藏)
什么是人工神经网络人类大脑神经的信息活动与目前的计算机相比有三个不同的特性:
第一,巨量并行和容错特性。
人脑约有1000亿个神经元,神经元之间约有上万亿的突触连接,形成了迷宫般的网络连接,大量的神经元信息活动是同时进行的,而非目前计算机按照指令一条条执行。
此外人脑的这种巨量并行特性也使得其具有极好的容错特性,坏掉一个晶体管就能毁掉一块微处理器,但是大脑的神经元每时每刻都在死亡。
第二,信息处理和存储单元结合在一起。
目前计算机普遍采用冯洛伊曼架构,存储器和处理器分离,通过总线传递数据随着处理的数据量海量地增长,总线有限的数据传输速率被称为“冯•诺依曼瓶颈”,严重影响计算机的计算效率和功耗,人脑信息处理和存储单元结合在一起,拥有极低的功耗(约20W左右)。
第三,自组织自学习功能。
大脑在与外界互动的同时也会进行学习和改变,而不是像现在计算机遵循预设算法的固定路径和分支运行。
基于以上几点不同,人们一直尝试模仿人类大脑神经元的信息活动机制来设计算法:
信号通过突触进入神经元细胞,神
经细胞利用一种方式把所有从树突上突触进来的信号进行相加,如果全部信号的总和超过某个阀值,就会激发神经元细胞进入兴奋状态,这时就会有一个电信号通过轴突发送出去给其他神经细胞。
如果信号总和没有达到阀值,神经细胞就不会兴奋起来,不会传递信号。
生物神经元的结构人工神经元数学模型简单的人工神经元数学模型就是让每一个输入到神经元的信号加权求和,相加后如果超过设定的阈值,就输出“1”,没有就输出“0”。
这样若干个最简单的神经元输入输出相连接,就构成了复杂的人工神经网络。
单层人工神经网络多层(深度)人工神经网络通过训练,人工神经网络能实现基本分类功能。
比如输入一张狗的图片信号,假定输出1表明计算机判断这是一只狗。
我们首先用标记过的狗的图片输入人工神经网络进行训练,如果输出的结果是0,
就调节每个输入信号的权重等参数,使得输出为1,这样大
量标记过的狗的图片训练后,人工神经网络就自己掌握了判断狗的特征,并且具备了泛化能力:
我们输入一张它从未见过的狗的图片,它也能识别出来这是一只狗,输出1。
深度
学习实际上是建立输入和输出数据之间的映射关系通过人工神经网络的原理探究我们可以总结以下结论:
1、人工神
经网络算法能够从输入的大量数据中自发的总结出规律。
人工神经网络算法与传统计算机软件不同,并不要人为的提取所需解决问题的特征或者总结规律。
它能够从输入的大量数
据中自发的总结出规律,自适应调整自身结构从而举一反
三,泛化至从未见过的案例中;2、人工神经网络最基本的
单元功能是分类,所以在分类识别是最直接的应用。
以XX为例,其深度学习应用包括搜索、用户画像、语音、图像四大方向,本质上都是实现的分类识别的功能。
XX深度学习的四大直接应用本质上都是实现分类识别功能3、人工神经
网络从最基本的单元上模拟了人类大脑的结构和运行机制(虽然目前还是低级的模仿),理论上讲人脑能够实现的智能它应该也都能实现。
数学上也证明了用3层以上人工神经网络模型,理论上可逼近任意函数。
深度学习迅猛发展的历史背景深度学习名称的由来。
人工神经网络算法在60年代曾经遭遇低谷,著名人工智能专家明斯基当时提出了人工神经网络的两个局限性:
1、单层的人工神经网络甚至连最简单的异或运算都无法实现;2、多层更复杂的人工神经网络
当时的计算能力却无法支撑。
20世纪90年代开始,随着处理器计算能力突飞猛进和云计算技术使得大量计算机并行计算成为可能后,限制大规模人工神经网络的计算能力瓶颈开始逐步消除。
即便如此,主流机器学习界对于人工神经网络仍然兴趣寡然,一直坚持人工神经网络研究的加拿大多伦多大学教授、机器学习领域的泰斗GeoffreyHinton后来为了改变大众对于人工神经网络的长期的消极态度,干脆将其改名为深度学习(deeplearning),而其多层抽象的数据学习过程一定程度上借鉴了人类的视觉机制。
人类视觉从原始信号摄入开始(瞳孔摄入像素),接着做初步处理(大脑皮层某些细胞发现边缘和方向),然后抽象(大脑判定,眼前的物体的形状),然后进一步抽象(大脑进一步判定该物体是人脸)
一篇论文引发新的浪潮2006年,GeoffreyHinton和他的学生RuslanSalakhutdinov在国际顶级期刊《科学》上发表了一篇文章,被认为是深度学习取得突破的重要节点。
这篇文章实质上一是讲明了深度学习在描述数据本质上广泛的应用前景,二是给出了多层深度神经网络的很好的训练方法,让大众充分认识到深度学习大规模应用的时代开始来临,开启了深度学习在学术界和工业界的浪潮。
而GeoffreyHinton连同他的实验室DNNresearch很快被谷歌收购。
深度学习在谷歌各项业务中迅速应用效果惊人。
在谷歌内部,深度学习从少数的产品组应用起步,一开始就取得了非常大的突破(首次应用到语音识别错误率就降低了30%),更多的团队开始采纳深度学习算法,目前谷歌内部使用深度学习的产品有:
安卓、Apps、药品发现、Gmail、图片理解、地图、自然语言、图片、机器人、语音翻译等。
全球著名的谷歌大脑其实质上就是一个大规模的人工神经网络,它实现了对谷歌各项业务的智力支撑。
深度学习已经应用到谷歌的各项业务中去人工智能发展历程:
在两次高潮和低谷之后迎来第三次浪潮人工智能作为一门学科诞生至今已有60年的历史,期间经历了2次高潮和低谷。
而从2010年到现在又迎来人工智能发展的第三次浪潮。
人工智能60年的发展,道路虽然起伏曲折,但进展也可谓硕果累累。
无论是基础理论创新,关键技术突破,还是规模产业应用,都是精彩纷呈,使我们每一天无不享受着这门学科带来的便利。
人工智能因其十分广阔的应用前景和对一个国家的重大战略意义,近年来日益得到政府部门、学术界的高度关注。
(1)1956年达特茅斯会议:
人工智能学诞生
1956年夏,达特茅斯学院助教约翰•麦卡锡(JohnMe
Carthy)、哈佛大学马文•明斯基(MarvinMinsky)、贝尔电
话实验室克劳德•香农(ClaudeShannon))ibm公司信息研究中心纳撒尼尔•罗切斯特(NathanielRochester)、卡内基
梅隆大学艾伦•纽厄尔(AllenNewell)和赫伯特・西蒙(HerbertSimon、等先驱在美国达特茅斯学院行了以此为其两个月的学术讨论会,从不同学科的角度探讨用机器模拟人类智能等问题,并首次提出了人工智能的概念,达特茅斯会议上AI的名称和任务得以确定,同时出现了最初的成就和最早的一批研究者,因此标志着人工智能学科的诞生。
人工智能发展历程第三次浪潮
(2)1956年至1974年:
人工
智能的第一次大发展1956年达特茅斯会议之后的十几年是人工智能的黄金年代。
从50年代后期到60年代涌现了大批成功的AI程序和新的研究方向,其中最有影响力的包括搜索式推理、自然语言、微世界等。
在这段时间内,计算机被用来解决代数应用题、证明几何定理、学习和使用英语。
初期研究取得了显著的成果,这些成果在得到广泛赞赏的同时也让研究者们对开发出完全智能的机器信心倍增。
(3)1974年至1980年:
人工智能的第一次低谷
70年代初,人工智能遭遇了瓶颈。
由于计算机性能的瓶颈、计算复杂性的指数级增长、数据量缺失等问题,AI研究者们遭遇了无法克服的基础性障碍。
例如,在今天已经比较常见的机器视觉功能在当时找不到足够大的数据库来支撑程序学习,机器无法吸收足够的数据量,因此很难实现视觉方面的智能化。
1969年Minsky和Papert出版了著作《感知器》,书中暗示感知器具有严重局限,而感知器是神经网络的一种形式,它最终将能够学习,做出决策和翻译语言。
这本书的影响是破坏性的,联结主义的研究因此停滞了十年。
到1970年代后期,尽管遭遇了公众的误解,人工智能在逻辑编程、常识推理等一些领域还是有所进展。
(4)1980年至1987年:
人工智能的第二次大发展在80年代,一类名为“专家系统”的AI程序开始为全世界的公司所采纳,知识库系统和知识工程成为了80年代AI研究的主要方向。
专家系统是一种程序,能够依据一组从专门知识中推演出的逻辑规则在某一特定领域回答或解决问题。
专家系统仅限于一个很小的知识领域,从而避免了常识问题;其简单的设计又使它能够较为容易地编程实现或修改,实践证明了这类程序的实用性。
1980年卡内基•梅隆大学为DEC(DigitalEquipment
Corporation,数字设备公司)设计了一个名为XCON的专家
系统,这套系统在1986年之前能为公司每年节省四千万美元。
全世界的公司都开始研发和应用专家系统,到1985年它们已在AI上投入十亿美元以上,大部分用于公司内设的AI部门。
为之提供支持的产业应运而生,其中包括
Symbolics,LispMachines等硬件公司和IntelliCorp,Aion等软件公司。
1981年,日本经济产业省拨款8.5亿美元支持第五代计算
机项目,目标是制造出能够与人对话、翻译语言、解释图像,并且能像人一样推理的机器。
随后,英国、美国也纷纷响应,开始向AI和信息技术领域的研究提供大量资金。
1986年,人工智能领域著名的BPAlgorithm(ErrorBackPropagationAlgorithm,误差反向传播算法)被RumelhartMcCelland等大师提出,这使1970年以来一直遭人遗弃的联结主义重获新生。
(5)1987年至1993年:
人工智能的第二次低谷
1987年AI硬件市场需求突然下跌。
Apple和IBM生产的台式机性能不断提升,到1987年时其性能已经超过了Symbolics和其他厂家生产的昂贵的Lisp机。
老产品失去了存在的理由:
一夜之间这个价值五亿美元的产业土崩瓦解。
XCON等最初大获成功的专家系统维护费用居高不下,暴露出各种问题,专家系统的实用性仅仅局限于某些特定情景。
到80年代晚期,战略计算促进会大幅削减对AI的资助。
1991年,人们发现十年前日本人宏伟的“第五代工程”并没有实现。
这些事实情况让人们从对“专家系统”的狂热追捧中逐步走向失望。
人工智能研究再次遭遇寒冬。
(6)1993年至2010年:
人工智能复苏期1993年到2010年这一阶段,人工智能处于稳步发展时期,互联网推动人工智能不断创新和实用。
人工智能已被成功地用在技术产业中,
取得了一些里程碑式的成果:
1997年5月,IBM研发的计算机“深蓝”(DeepBlue)战胜了国际象棋冠军卡斯帕罗夫;2005年,Stanford开发的一台机器人在一条沙漠小径上成功地自动行驶了131英里,赢得了DARPA挑战大赛头奖;2009年,洛桑联邦理工学院发起的蓝脑计划声称已经成功地模拟了部分鼠脑。
2008年11月IBM提出“智慧地球”概念,数字化、网络化和智能化,被公认为是未来社会发展的大趋势,而与“智慧地球”密切相关的物联网、云计算等,更成为科技发达国家制定本国发展战略的重点。
自2009年以来,美国、欧盟、日本和韩国等纷纷推出本国的物联网、云计算相关发展战略。
深度学习的效果随着数据量的增大显提升(7)2010年到现在:
人工智能进入爆发式增长期大数据、云计算支撑人工智能产业爆发,人工智能将成为下一轮技术变革的核心。
人工智能新一轮的爆发包括大数据、云计算和算法三个核心要素。
第一,数据的急剧增长。
得益于互联网、社交媒体、移动设备和廉价的传感器,这个世界产生的数据量指数型增长。
大数据是人工智能发展的助推剂,这是因为有些人工智能技术使用统计模型来进行数据的概率推算,比如图像、文本或者语音,有了大量的数据才能为模型的训练提供原材料。
第二,计算能力的进步。
云计算和大规模GPU并行计算的发展为深度学习的应用提供了计算基础。
当人们把原本用于游戏中处理高质量画面的GPU拿来运行深度学习算法后,计算机可以几百倍地加快模型的训练速度。
第三,算法的发展,特别是深度学习的应用。
算法是解决一个设计程序或完成任务的路径方法。
与大部分传统算法相比,深度学习的效果随着数据量的增大有显著的提升,因而更大量的数据可以提高算法的表现。
深度学习增加了神经网络的层数,因此网络才有了更强大的特征挖掘能力。
人工智能全球热潮上升到国家战略层面人工智能已经成为国家服务业、工业和军事的核心竞争力,因此世界各国制定了国家级发展战略:
各国纷纷在战略层面布局人工智能2016年5月美国白宫计划组织四场研讨会讨论人工智能。
白宫还成立了人工智能委员会,用于协调全美各界在人工智能领域的行动。
美国交通部
宣布历时10年投资40亿美元的提案,旨在实现无人驾驶汽车上路。
日本从2016年开始执行的“第五期科学技术基本计划”中,日本政府列入总额约26万亿日元的研发经费,重点研发物联网及人工智能系统,提出要实现领先于世界的“超智能社会”(即Society5.0)。
2016年5月25日我国四部委发布《“互联网+”人工智能三年行动实施方案》,到2018年形成千亿级的人工智能市场应用规模。
2016年8月8日发布的《“十三五”国家科技创新规划》多次讲到人工智能。
人工智能巨头竞争白热化:
从开源平台、芯片到应用
(1)开源人工智能基础平台同时各大科技巨头纷纷开源人工智能技术,以此来获得大量的用户需求和开发人员,建立开放共享、互利共赢的人工智能生态圈,典型的例子有:
谷歌开源了人工智能基础平台TensorFlow;
facebook开源了人工智能基础平台Torchnet;微软开源了人
工智能基础平台DMTK;IBM开源了人工智能基础平台SystemML;雅虎开源CaffeOnSpark;XX开源AI人工智能Warp-CTC源代码;特斯拉创始人ElonMusk等共同创立非营利开源人工智能公司OpenAI等。
(2)布局人工智能芯
片人工智能芯片定义了AI产业链和生态圈的基础计算架构,核心芯片是人工智能时代的战略制高点。
Google、IBM、英伟达、Intel、中科院都在积极布局人工智能芯片。
2016年8
月17日,英特尔表示将开发人工智能技术的专用芯片;IBM正在设计基于大脑结构的芯片TrueNorth;今年5月,谷歌自主研发新型芯片支持人工智能;英伟达推出人工智能超级芯片特斯拉P100GPU;中科院研发出全球首个能够“深度学习”的“神经网络”处理器芯片“寒武纪”;Facebook、微软以及
Twitter都在通过设计新的芯片加强人工智能研发。
(3)研发
人工智能核心技术Google、IBM、Microsoft、Facebook、Amazon、XX等企业巨头充分认识到人工智能技术引领新一代信息产业发展的战略意义,纷纷投入重金收购企业、招募人才和研发核心技术,力图掌握人工智能时代的主动权:
Google正在研发自动驾驶汽车、Deepmind人机博弈;IBM投资10亿美元组建Watson人工智能部门,在医疗金融等领域推广应用;微软推出聊天机器人小冰和人工智能助理小娜;Facebook专注于人工智能助理、图像视频识别等技术;XX开发无人驾驶、语音识别、XX度秘等人工智能多领域的应用产品。
人工智能芯片:
从通用到专用,类脑计算的进化
(1)类脑计算的进化类脑计算可以分为两个方向:
一个是从人工神经网络从功能层面模仿大脑的能力;另一个神经拟态计算(neuromorphiccomputing)则是从结构层面去逼近大脑,其结构也有两个层次,一是神经网络层面,与之相应的是神经拟态架构和处理器,二是神经元层面,与之相应的是元器件。
人工智能芯片分类人工智能大脑的进化
(2)GPU王者Nvidia,在深度学习上使用Nvidia的组织2年增长了30多倍,为绝大部分的人工智能平台提供计算能力1.GPU的高并行处理
GPU(GraphicsProcessingUnit),图形处理器,专门为2d和3d的图形、视频、可视计算和显示做出优化。
GPUVS
CPUGPU具有高并行结构(highlyparallelstructure),在处理图形数据和复杂算法方面拥有比CPU更高的效率。
对比GPU和CPU在结构上的差异,CPU大部分面积为控制器和寄存器,GPU拥有更多的ALU(ArithmeticLogicUnit,逻辑运算单元)用于数据处理,而非数据高速缓存和流控制,这样的结构适合对密集型数据进行并行处理。
CPU执行计算任务时,一个时刻只处理一个数据,不存在真正意义上的并行,而GPU具有多个处理器核,在一个时刻可以并行处理多个数据。
采用GPU加速与只采用CPU训练CNN的性能比较深度学习在神经网络训练中,需要很高的内在并行度、大量的浮点计算能力以及矩阵运算,而GPU可以提供这些能力,并且在相同的精度下,相对传统CPU的方式,拥有更快的处理速度、更少的服务器投入和更低的功耗。
以ImageNet竞赛为例,基于GPU加速的深度学习算法,XX、微软和Google的计算机视觉系统在ImageNet图像分类和识别测试中分别达到了5.98%(2015年1月数据)4.94%(2015年2月数据)、4.8%(2015年2月数据)、的错误率,接近或超过
了人类识别水平。
2.现硬件加速和编程GPU发展历程3.GPU的计算标准
随着GPU可编程性不断增强,特别是CUDA等编程环境的出现,使GPU通用计算编程的复杂性大幅度降低。
由于可编程性、功能、性能不断提升和完善,GPU已演化为一个新型可编程高性能并行计算资源,全面开启GPU面向通用计算的新时代。
GPGPU(GeneralPurposeCPU),通用目的GPU,它的计算原理是我们任何密集的计算所对应代码量可能往往连5%都不到,这部分代码,我们可以把它提取出来,放到GPU上去处理。
GPU实现加速计算的原理作为计算平台,人们往往将CPU和GPU联合起来,组成一个异构的平台。
因为和CPU相比,GPU所能处理的事情还比较单纯,比如I/0、访问磁盘或网络,或者说数据采集和整理,或者一些串行的没法并行的工作,这些操作仍然需要CPU来辅助进行。
目前主要的通用计算标准有CUDA(ComputeUnifiedDeviceArchitecture,统一计算设备架构)、0penCL(0penComputingLanguage,开放计算语言)、DirectCompute。
CUDA在2006年由NVIDIA提出,是一种将GPU作为数据并行计算设备的软硬件体系;CUDA编程模型将CPU作为主机
(Host),GPU作为协处理器(co—processor)或者设备
(Device),采用类C语言开发;目前支持Widows、Linux、Mac0S三种主流操作系统,但仅支持NIVDIA开发的GPU芯片。
OpenCL在2008年由苹果首先提出,苹果拥有其商标权;随后苹果与AMD,IBM,Intel和NVIDIA技术团队合作初步完善OpenCL标准,2010年OpenCLI.1发布。
OpenCL是第一个面向异构系统通用目的并行编程的开放式、免费标准,此异构平台可由CPU、GPU或其他类型的处理器组成;OpenCL提供了基于任务分区和数据分区的并行计算机制,也是基于C的一个程式语言;不同于CUDA仅支持NIVDIA开发的GPU芯片,OpenCL支持一系列硬件,包括GPU、GPP、现场可编程门阵列(FPGA)和数字信号处理器(DSP)多种GPU芯片。
GPU通用计算标准标准名称提出标准的公司标准特征目前市场上,比如在PC领域的GPU,基本上只能见到Nvidia,Intel,AMD这几家公司的产品。
Nvidia在这几家显卡生产厂商中实力最强,有很多的产品线,GeForce,主要是为桌面游戏准备的;Quadro,它是专门为显
示级的工作站准备的;TSELA,它专门为科学计算准备的;TEGRA,它是为移动端、自动驾驶平台等准备的;GRID,
它是专门为服务器集成虚拟化使用;NVs,它是对特别大屏
幕由多个显示器拼在一起的这种用途而专门定制的。
GPU主
流生产厂商Intel主要是集成显卡,集成在Intel的CPU中,如i5,i7。
现在最新的英特尔集成显卡,基本上达到了NV的入门级显卡的水平,满足绝大多数人的日常需求,比如上网、文字处理、看视频以及玩小游戏等。
Intel集成显卡最大
优点,就是非常省电,同时直接利用这种内存作为显存,也能大大的降低了这种显卡的生产成本。
AMD的前身ATI,是专业的显卡生产厂商,后来被AMD收购。
AMD的主要产品有面向普通的桌面、移动平台的Radeon系列,为专业工作
站平台准备的FirePro系列等。
Matrox,目前已经淡出主流市场,在一些专业的2d绘图领域还有用到。
GPU出色的浮点计算性能提高深度神经网络计算的有效性。
nvidia游戏领域收入
nvidia数据中心领域收入通过改进机器学习算法和升级计算硬件,各行各业都在采用深度学习技术来处理爆炸性增长的数据量,帮助他们找到新方法来利用随手可得的数据财富开发新产品、服务和流程,从而创造巨大的竞争优势,在深度学习上使用英伟达的组织2年增长了30多倍。
NVIDIA为绝大部分的人工智能平台提供计算能力人工智能专用芯片:
大幅提升人工智能算法运行效率,推动人工智能产业加速发展
传统的算法在通用芯片(CPU和GPU)上效率不高,功耗比
较大,因此从芯片的设计角度来说,通用型往往意味着更高的成本。
于是出现了特定的算法加速器,来加速包括卷积神经网络、递归神经网络在内的各种神经网络算法,专用芯片的最大优势在于其成本和功耗降低。
专用深度学习芯片将大幅提升人工智能算法运行效率,推动人工智能产业加速发
展。
(1)谷歌TPU芯片:
匹配TensorFlow,专为人工智能而制今年5月,谷歌展示了一款专门针对人工智能定制的新型芯片TPU(TensorProcessingUnit);TPU由谷歌与OpenPowerFoundation合作开发,OpenPowerFoundation提供芯片设计。
谷歌TPU芯片谷歌的TPU(TensorProcessingUnit)是一种专用的加速器芯片,跟其深度学习软件TensorFlow匹配。
TPU
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 科普 让我们 一起 经历 一次 人工智能 发展 旅程 经典 值得 收藏