87 深度学习物联网深度解读深度学习在IoT大数据和流分析中的应用.docx
- 文档编号:9346731
- 上传时间:2023-02-04
- 格式:DOCX
- 页数:32
- 大小:918.61KB
87 深度学习物联网深度解读深度学习在IoT大数据和流分析中的应用.docx
《87 深度学习物联网深度解读深度学习在IoT大数据和流分析中的应用.docx》由会员分享,可在线阅读,更多相关《87 深度学习物联网深度解读深度学习在IoT大数据和流分析中的应用.docx(32页珍藏版)》请在冰豆网上搜索。
87深度学习物联网深度解读深度学习在IoT大数据和流分析中的应用
【深度学习】【物联网】深度解读:
深度学习在IoT大数据和流分析中的使用
AI前线
微信号ai-cps
功能引见OT技术(工艺+精益+自动化+机器人)和IT技术(云计算+大数据+物联网+人工智能)深度融合,在场景中构建:
外形感知-实时分析-自主决策-精准执行-学习提升的机器智能认知系统,实现产业转型升级、DT驱动业务、价值创新制造的产业互联生态链。
2018-01-07原文
收录于话题
作者|Natalie
编辑|Emily
AI前线导读:
在物联网时代,大量的感知器每天都在收集并产生着涉及各个领域的数据。
由于商业和生活质量提升方面的诉求,使用物联网(IoT)技术对大数据流进行分析是格外有价值的争辩方向。
这篇论文对于使用深度学习来改进IoT领域的数据分析和学习方法进行了具体的综述。
从机器学习视角,作者将处理IoT数据的方法分为IoT大数据分析和IoT流数据分析。
论文对目前不同的深度学习方法进行了总结,并具体争辩了使用深度学习方法对IoT数据进行分析的优势,以及将来面临的挑战。
更多干货内容请关注微信公众号“AI前线”,(ID:
ai-front)
论文贡献
∙为了更好的在IoT领域内使用深度学习方法,作者分析了IoT数据的关键特征和次要问题。
∙作者对于目前最先进的深度学习方法及其在物联网领域对于大数据和流数据的使用进行了具体的总结。
∙作者对于目前使用了深度学习方法的大量IoT使用进行了引见,并且对不同类型的深度神经网络在各种IoT领域的使用进行了概括和对比。
∙强调了深度学习与物联网使用成功结合所面临的挑战和将来的争辩方向。
论文结构
物联网数据特征及分析要求
IoT快速流数据
目前流数据分析都是基于数据并行计算或增量处理的框架,虽然这些技术削减了从流数据分析框架前往响应的时间延迟,对于IoT使用的严格时间要求,它们并不是最佳方案。
IoT需要在数据源四周的平台(甚至是IoT设备本身)上进行快速流数据分析,以达到实时或近实时性的要求,传统的流数据分析方法则面临着计算、存储以及数据源能量方面的局限和挑战。
IoT大数据
IoT大数据具有“6V”特点:
容量(Volume):
数据量是将数据集视为大数据、或传统的大规模/超大数据的一个打算性要素,使用物联网设备产生的数据量比以前要多得多,明显符合这一特点。
速度(Velocity):
物联网大数据产生和处理速率要足够高,以支持实时大数据的可用性。
鉴于这种高数据率,也证明白需要先进的工具和技术分析才能无效地运作。
多样性(Variety):
一般来说,大数据有不同的形式和类型。
这可能包括结构化的、半结构化的和非结构化的数据。
各种各样的数据类型可以通过物联网产生,如文本、音频、视频、传感器数据等等。
真实性(Veracity):
真实性是指质量,全都性,和数据的可信性,有真实性的数据才能进行精确 的分析。
这一点对于物联网来说尤其重要,特殊是那些群体感知数据。
易变性(Variability):
这个属性是指数据流的速率不同。
由于物联网使用的性质,不同的数据生成组件可能会有不全都的数据流。
此外,在特定时间,一个数据源的数据加载速率可能不同。
例如,利用物联网传感器的停车服务使用在高峰期的数据加载会达到峰值。
价值(Value):
价值是指大数据转化成为有用的信息和内容,为组织带来竞争优势。
数据的价值的高度不只仅取决于对数据的处理过程或服务,还取决于对待数据的方式。
数据流处理的次要妨碍是缺少能部署在系统边缘,甚至是IoT设备上的框架或算法。
当接受深度学习方法时,也要折衷考虑运转在系统边缘的网络的深度和功能。
深度学习
与其他传统机器学习方法相比,深度学习结构在近几年遭到越来越广泛的关注。
GoogleTrend显示近几年对深度学习的关注呈上升趋势。
深度学习全体训练机制
结构
深度学习模型总结。
1)卷积神经网络(ConvolutionalNeuralNetworks,CNN)
CNN的核心结构是卷积层,有一系列可学习的参数,称作滤波器。
训练过程中,滤波器在全图依据卷积挨次进行移动,计算输入和滤波器的乘积,得到该滤波器的特征图。
CNN的另一个结构是池化层,将输入划分成不堆叠的区域,然后用每个区域的最大值作为输出。
CNN的最终一个结构是ReLU激活函数层,既可以缩短训练时间,也能避开影响网络的泛化力气。
CNN和DNN的次要区分在于CNN具有局部相连、权值共享的特性,因此在视觉任务中具有独特的优越性,并且降低了网络的简约性。
2)循环神经网络(RecurrentNeuralNetworks,RNN)
循环神经网络结构图。
RNN次要适用于输入为序列(例如语音和文本)或时间序列的数据(传感器数据)。
RNN的输入既包括当前样例,也包括之前观看的样例。
也就是说,时间为t-1时RNN的输出会影响时间为t的输出。
RNN的每个神经元都有一个反馈环,将当前的输出作为下一步的输入。
该结构可以解释为RNN的每个神经元都有一个内部存储,保留了用之前输入进行计算得到的信息。
3)长短时记忆(LongShortTermMemory,LSTM)
LSTM记忆单元结构。
LSTM是RNN的一种扩展。
LSTM中,每个神经元除了有反馈环这一储存信息的机制,还有用于把握神经元信息通过的“遗忘门”、“输入层门”及“输出层门”,防止不相关的信息构成的扰动。
4)自动编码器(Autoencoders,AE)
自编码器网络结构。
AE的输入层和输出层由一个或多个隐层相连接,其输入和输出神经元数量相同。
该网络的目标是通过用最简约的方式将输入变换到输出,以重建输入信息。
5)变分自动编码器(VariationalAutoencoders,VAE)
变分自动编码器结构。
VAE对数据结构的假设并不强,是较为流行的生成模型框架。
它很适用于IoT处理方案,由于IoT数据呈现的多样性,以及标记数据的缺失。
模型由两个子网络组成:
一个生成样例,一个进行假设推理。
6)生成对抗网络(GenerativeAdversarialNetworks,GAN)
生成对抗网络概念图。
GAN由两个神经网络组成,一个生成网络,一个判别网络,共同工作来产生合成的、高质量数据。
生成器依据数据在训练数据集中的分布生成新数据,判别器学习判别真实数据和生成器生成的假数据。
GAN的目标函数是基于极大微小博弈的,一个网络要最大化目标函数,而另一个要最小化目标函数。
7)受限玻尔兹曼机(RestrictedBoltzmannMachine,RBM)
受限玻尔兹曼机结构。
RBM是一种随机神经网络,由两层组成,一层是包含输入的可见层,一层是含有隐变量的隐蔽层。
RBM中的限制是指同一层的任意两个神经元互不相连。
除此之外,偏置单元与全部的可见层和隐蔽层单元都相连。
8)深度决心网络(DeepBeliefNetwork,DBN)
深度决心网络结构图。
虚线表示特征提取通道,实现表示生成通道。
DBN是一种生成神经网络,由一个可见层可几个隐层组成。
可以提取训练数据的多层表示,并且对输入数据进行重构。
DBN的训练过程是逐层训练,将每一层视作一个RBM,在前一层的基础上进行训练。
这样的机制使DBN成为深度学习中无效且快速的网络之一。
9)阶梯网络(LadderNetwork)
两层阶梯网络。
阶梯网络在无监督和半监督学习任务中达到了先进的水平。
阶梯网络由两个编码器和一个解码器组成。
编码器作为网络的有监督部分,解码器进行无监督学习。
训练目标是最小化有监督部分和无监督网络的损失和。
快速实时深度学习结构
使用深度学习模型对数据流进行快速实时的处理仍在起步阶段。
晚期工作
【1】是对超限学习机(Extremelearningmachine,ELM)的扩展——OS-ELM,将一个实时序列学习算法使用到单隐层的前馈神经网络。
Ren等人
【2】提出的Faster-RCNN在图片中的目标检测中达到了接近实时的速度。
他们的目标检测框架的运转时间为5-17fps。
然而对于图像处理任务,真正的实时效果需要系统的处理和分析时间达到30fps或更高。
Redmon等人
【3】提出了YOLO,将目标检测的速度提高到45fps,以及更小版本的YOLO,速度更是达到了155fps,已经适用于智能相机。
深度学习与其他方法结合
1)深度添加学习(DeepReinforcementLearning)
深度添加学习是将添加学习和深度神经网络相结合的产物。
其目标是创建能自主学习的个体(agent),通过建立成功的交互过程以获得长期的最大正反馈(reward)。
当环境(environment)可由大量外形表示时,传统的添加学习方法稍显不足,而深度神经网络则弥补了这一点。
在IoT领域,【4】使用深度添加学习实现了半监督条件下智能校内环境中的定位。
2)迁移学习与深度模型(TransferLearningwithDeepModels)
迁移学习次要使用在域顺应和多任务学习的领域。
迁移学习对于很多难以收集训练数据的IoT使用来说都是一个可用的处理方案。
例如训练一个通过智能手机的低功耗蓝牙和Wififingerpringting的定位系统,同一时间,在同一地点的RSSI值(ReceivedSignalStrengthIndication接收的信号强度指示)对于不同的平台来说可能不同。
假如我们对一个平台训练了一个模型,该模型可以迁移到其他平台,而不需要对新平台再收集训练数据。
3)深度学习与在线学习算法
由于IoT的使用产生的数据流会上传到云平台来分析,在线机器学习算法的角色变得越来越重要,由于训练模型需要随数据的添加而更新。
框架
近几年,随着深度学习在各个领域的使用热潮,各种深度学习框架也应运而生。
Tensorflow:
Tensorflow是机器学习系统的开源库,可以使用多种深度神经网络。
Tensorflow使用图表示来建立神经网络模型。
开发人员也在使用TensorBoard,能可视化神经网络模型,并且观测学习过程,包括参数更新。
Torch:
Torch是一个机器学习开源框架,包含大量深度学习算法,可用于深度神经网络模型的简约开发。
它基于Lua言语开发,是训练深度学习算法的轻量级快速框架。
支持在CPU和GPU上开发机器学习模型,并且供应了训练深度神经网络的并行计算库。
Caffe:
Caffe是一个深度学习算法和参考模型集的开源框架。
基于C++,支持CUDA进行GPU运算,并且供应Python和Matlab接口。
Caffe通过配置文件定义模型,而不需要在源代码中定义参数,将模型表示和实现分开。
深度学习框架对比。
深度学习在IoT领域的使用
IoT使用和基础服务。
基础服务
1)图像识别:
IoT的一大部分使用场景中,输入深度学习的数据是图片或视频。
每天,每个人都在用手机的高清摄像头拍摄者图片和视频,除此之外,家居、校内或工厂也在使用智能摄像头。
所以,图像识别、分类、目标检测是这类设备的基础使用。
2)语音识别
随着智能手机和可穿戴设备的普及,语音识别也成了人们和本人的设备互动的一种自然而便利的方式。
Price等人【5】搭建了一个公用的低功耗深度学习芯片,用于自动语音识别。
这种特制芯片的能量消耗要比目前手机上运转的语音识别工具的能量消耗低100倍。
3)室内定位
室内定位在IoT领域有很多使用,例如智能家居、智能校内、或智能医院。
例如DeepFi系统,在线下训练阶段,通过深度学习用之前储存的WiFi通道外形信息数据来训练网络权重,在线上定位阶段通过fingerpringting来测定用户位置。
4)生理和心理外形检测
IoT与深度学习的结合也使用在了检测各种生理或心理外形中,例如姿态、活动和心情。
很多IoT使用都在交付的服务中整合了人体姿态估量或活动识别模块,例如智能家居、智能汽车、XBox、健康、运动等等。
5)平安和隐私
平安和隐私是全部IoT领域使用所关注的一个重要问题。
现实上,系统功能的无效性取决于能否能疼惜机器学习工具和处理过程不受攻击。
虚假数据注入(FalseDataInjection,FDI)是数据驱动系统的一种常见攻击类型。
He等人【6】提出用条件DBN从历史数据中提取FDI特征,然后利用这些特征进行实时攻击检测。
作为物联网数据和使用程序的一大贡献者,智能手机也面临着黑客攻击的威逼。
Yuan等人【7】提出用深度学习框架来鉴别安卓使用中的恶意软件,精确 率达到了96.5%。
深度机器学习方法的平安性和隐私疼惜是能否在IoT领域使用的最重要要素。
Shokri等人【8】提出了一种处理分布式学习的深度学习模型隐私疼惜问题的方法。
使用
1)智能家居:
智能家居的概念涉及广泛的基于IoT的使用,它有助于提高家庭的能源使用和效率,以及居住者的便利性、生产力和生活质量。
如今,家电可以与互联网连接,供应智能服务。
例如微软和Liebherr的一个合作项目,对从冰箱内收集的信息使用了Cortana深度学习。
这些分析和猜想可以挂念家庭更好地把握他们的家庭用品和开支,并结合其他外部数据,可用于监测和猜想健康趋势。
2)才智城市:
智能城市服务跨越多个物联网领域,如交通、能源、农业等。
才智城市的一个重要问题是猜想群体移动模式,Song等人【9】开发了基于深度神经网络模型的系统,在城市级别实现了这一目标。
Liang等人【10】基于RNN模型搭建了实时群体密度猜想系统,利用移动手机用户的通信数据对交通站的群体密度进行猜想。
废物管理和垃圾分类也是才智城市的一个相关任务,可以通过基于视觉分类任务的CNN模型来实现自动化。
Amato等人【11】基于智能相机和深度CNN开发了检测停车场的使用中和空闲车位的系统。
3)能源:
消费者与智能电网之间的双向通信是IoT大数据的来源。
能源供应商期望学习当地的能源消费模式、猜想需求,并依据实时分析做出适当的打算。
在智能电网方面,从太阳能、风能或其他类型的自然可持续能源中猜想电力是一个活跃的争辩领域,深度学习在这一领域的很多使用中越来越多地被使用。
4)智能交通系统:
来自智能交通系统(ITS)的数据是大数据的另一个数据源。
Ma等人【12】接受RBM和RNN结构设计了一个交通网络分析系统,模型输入是参与该系统的出租车GPS数据。
该系统通过一小时内的累积数据猜想交通拥堵的精确 率高达88%。
ITS也带动了交通标志检测和识别的进展,这一技术在自动驾驶、帮忙驾驶系统中都有很重要的使用。
除此之外,很多初创公司使用深度学习来完善自动驾驶汽车系统的检测行人、交通标志、路障等任务。
5)医疗和健康:
IoT结合深度学习也在为个人和组织供应医疗和健康方案中得到使用。
例如,开发基于移动使用程序的精确测量饮食摄入量的处理方案,可以挂念提升个人健康和幸福感。
Liu等人【13】接受CNN开发了识别食物图片和相关信息的系统。
用深度学习对医学图片进行分类和分析是医疗领域的争辩热点。
Pereira等人【14】通过CNN识别手写图片来鉴定晚期帕金森症。
除此之外,深度学习与IoT的结合在声音特殊检测、乳腺血管疾病检测中也得到了使用
6)农业:
生产健康作物和进展无效的种植方式是健康社会和可持续环境的要求。
使用深度神经网络进行植物病害识别是一个可行的处理方案。
深度学习也被用于遥感,进行土地和作物的检测与分类。
争辩显示,使用CNN进行作物识别精确 率达到了85%,相比于MLP或随机森林有很大提高。
自动耕作中的猜想和检测任务也使用了深度学习。
7)训练:
IoT和深度学习的结合有助于提高训练系统的效率。
移动设备可以收集同学的数据,深度分析方法可以用来猜想和解释同学的进步和成就。
添加现实技术结合可穿戴设备和移动设备也是深度学习在这一领域的潜在使用,激发同学的爱好,让训练学习方法更无效。
此外,深度学习可以用于共性化推举模块,向训练者推举更多相关内容。
利用深度学习对大型开放式网络课程数据(MOOC)进行分析,可以挂念同学更好的学习。
除此之外,利用CNN监测教室占用率是深度学习在训练方面的另一个使用。
8)工业:
对于工业部门来说,IoT和网络物理系统(CPS)是推动制造技术迈向智能制造(工业4.0)的核心要素。
工业中的广泛使用均可以受益于深度学习模型的引入。
通过将拆卸线中生产车辆的图像及其注释都输入深度学习系统,可以利用AlexNet、GoogLeNet等网络实现视觉检测。
9)政府:
很多涉及市政的各种任务需要精确的分析和猜想。
【15】利用美国地质调查局网络的历史数据训练LSTM网络,可进行地震猜想。
【16】利用极端气候的图片训练CNN,进行极端气候大事探测。
此外,城市的基础设备,如道路、供水管道等的损害检测,是IoT和深度学习可以为政府供应便利的另一个领域。
10)运动和消遣:
运动分析近年来进展快速,为团队或运动员带来了竞争优势。
【17】提出了深度学习方法打造智能篮球场。
【18】接受RNN识别NBA竞赛中的球员违规。
【19】结合了可穿戴设备传感数据和CNN进行排球运动员活动识别。
【20】接受层级结构的LSTM模型争辩排球队的全体活动。
11)零售:
随着移动设备的普及,网上购物的人数大大添加了。
最近毁灭了通过视觉搜索技术向产品图像检索的转变。
CNN一直用于服装和时髦市场的视觉搜索,挂念你在网店中找到在电影中看到的或在街上看到的商品。
IoT结合深度学习可以搭建视觉购物帮忙系统,包括智能眼镜、手套和购物车,目的是挂念视障人士购物。
此外,智能购物车的开发可以实现实时自结账的功能。
IoT设备上的深度学习
深度学习在语音和视频方面的成功为IoT的基础服务打下了良好的基础,如何将它们的模型和方法部署在资源受限的设备上成了IoT领域的一个重要争辩方向。
到目前为止,深度学习方法难以使用于IoT和资源受限设备,由于它们需要大量的资源来运转,如处理器、电池能量和存储器。
侥幸的是,近期争辩显示,深度神经网络的很多参数是冗余的,有时也不需要大量的隐层。
无效的去除这些参数或层可以削减网络的简约度,同时对输出不会有太大的影响。
方法和技术
1)网络压缩
在资源受限设备上使用深度神经网络的方法之一是网络压缩,将密集的网络转化为一个稀疏的网络。
次要局限性在于,它不足以支持全部类型的网络。
它只适用于具有这种稀疏性的特定网络模型。
另外,修剪多余的和不重要的参数或神经元,是在资源受限的设备上运转深度神经网络的另一个重要途径。
深度神经网络剪枝全体概念图。
2)近似计算:
近似计算是实现在IoT设备上部署机器学习工具的另一种方法,并有助于主机设备的节能。
在很多IoT使用中,机器学习的输出不愿定是精确的,而是在可接受的范围内供应所需的质量。
实际上,将深度学习模型与近似计算相结合,可以为资源受限设备供应更无效的深度学习模型。
3)加速器:
设计特定的硬件和电路来优化IoT设备中深度学习模型的能量效率和内存占用是另一个活跃的争辩方向。
目前已有工作为DNN和CNN设计加速器,并且使用Post-CMOS技术进行电子自旋加速。
4)微处理器:
除了之前所提方法,开发具有强深度学习力气的小尺寸处理器也是争辩热点。
微处理器的设计尺寸在一立方毫米的范围内,可以用电池驱动,进行深度神经网络分析只消耗大约300毫瓦。
通过这种技术,很多对时间要求较高的IoT使用程序可以在设备上执行决策,而不是将数据发送到高功能计算机,等待它们的响应。
IoT的雾和云中心深度学习
最近,人们提出了雾计算,使计算和分析更接近终端用户和设备,而不是仅仅停留在云计算上。
试验表明,通过对雾计算节点进行数据分析,可以避开向遥远的云节点传输大量原始数据,从而提高全体功能。
还可以在确定程度上进行实时分析,由于雾计算在本地,靠近数据源。
一些用于在雾或云上使用深度学习和服务的IoT领域的产品
技术和平台
虽然在雾计算架构上引入了深度学习分析,云计算照旧是很多无法在雾计算中处理的IoT使用的独一可行的处理方案。
因此,设计的可扩展的和高功能的云中心的DNN模型和算法,对大量的IoT数据进行分析,照旧是一个重要的争辩领域。
除了在云平台上托管可扩展的深度学习模型基础设备的进步,还需要争辩使深度学习模型通过API访问的机制和方法,以便简约地集成到IoT使用程序中。
在云平台中作为服务的深度学习模型。
挑战
在雾计算节点上进行深度学习分析时,也会面临一些挑战:
∙深度学习服务发觉:
设备需要通过深度学习分析的某种扩展服务发觉协议,来识别适当的分析供应者的来源。
∙深度学习模型和任务分布:
在雾节点之间划分深度学习模型和任务的执行,以及在可用节点之间优化数据流支配,对于时间敏感的使用程序是至关重要的。
∙设计要素:
争辩如何雾计算环境的设计要素,以及在这种环境中部署深度学习模型如何影响分析服务的质量是很有必要的。
∙移动端:
在设计终端帮忙的深度学习分析系统时,需要考虑移动端计算环境的动态性,由于移动设备可能会加入或离开系统。
深度学习带来的IoT挑战,以及将来的争辩方向
挑战
1)缺少大型IoT数据集:
缺乏可用的实际IoT使用大数据集将深度学习模型引入IoT的一个次要妨碍,由于深度学习需要更多的数据来实现更高的精度。
此外,更多的数据也可以防止模型过度拟合。
2)预处理:
很多深度学习方法需要对数据进行预处理以产生更好的结果,对于IoT使用,预处理睬更简约,由于系统处理的是来自不同数据源的数据,可能有多种格式和分布,而且还可能很多据丢失。
3)平安和隐私:
确保数据平安和隐私是很多IoT使用的一个次要问题,由于IoT大数据将通过互联网进行分析,因此世界各地都有可能看得到。
此外,深度学习训练模型也简约遭到恶意攻击,如虚假数据注入或对抗性样本输入,其中IoT系统的很多功能或非功能性要求可能无法得到保证。
4)IoT大数据”6V“特性:
∙Volume(数据量)对于深度学习模型的时间消耗和结构简约性提出了很大的挑战。
并且数据量巨大也带来了包括噪声和未标注数据的挑战。
∙Variety(多样性)带来了管理不同数据源之间冲突的挑战。
在数据源没有冲突的情况下,深度学习能够无效处理异质数据。
∙Velocity(速率)带来了高速处理和分析数据的要求,添加深度学习的在线学习和序列学习的技术仍需进一步争辩。
∙Veracity(可信度),当输入数据不是来自可信的数据源时,IoT的大数据分析则是无用的。
∙Variability(可变性),IoT大数据的流速可变性对在线分析提出了挑战。
∙Value(价值),企业经理接受大数据的一个次要挑战是,他们不清楚如何使用大数据分析来获得价值,并改善他们的业务。
5)IoT设备上的深度学习:
在IoT设备上开发深度学习是一个新的挑战,要考虑在资源受限的设备上处理深度神经网络的需求。
6)深度学习局限:
虽然深度学习模型在很多使用中显示出令人印象深刻的结果,它照旧有局限性。
争辩发觉,深度网络会将无法识别的图片分类到生疏的品种中。
并且深度神经网络的回归力气
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 87 深度学习物联网深度解读深度学习在IoT大数据和流分析中的应用 深度 学习 联网 解读 IoT 数据 分析 中的 应用