无线传感器海量数据处理Word下载.docx
- 文档编号:22545203
- 上传时间:2023-02-04
- 格式:DOCX
- 页数:20
- 大小:72.06KB
无线传感器海量数据处理Word下载.docx
《无线传感器海量数据处理Word下载.docx》由会员分享,可在线阅读,更多相关《无线传感器海量数据处理Word下载.docx(20页珍藏版)》请在冰豆网上搜索。
特征的提取与选择直接面向目标信号本身,是信息感知的第一步也是至关重要的一部。
特征选择的适当与否直接影响到整个信息处理系统的设计复杂度,并决定了系统的准确性。
1.1.1特征提取
特征提取,即在原始特征中挑出一些有代表性分类性能最好的特征。
特征提取的方法有很多,总结起来可以归为四大类:
基于基本统计方法的特征提取,基于模型的特征提取,基于变换的特征提取基于分形、维数的特征提取。
通过这些特征提取后的特征矢量能够达到较好的分类效果。
文献[1]中介绍了一种基于小波包分析的拉索损伤声发射信号特征提取方法,采用ANSYS/KS—DYNA模拟得到拉索损伤声发射信号的仿真信号,从小波包分解层次、特征频带数量的选择及特征参数的噪声鲁棒性三个方面开展了讨论分析。
小波包能量谱的特征参数具有较强的损伤类型敏感性及噪声鲁棒性,当选取合适的小波包分解层次时,可以在强噪声影响下实现对拉索不同损伤类型的判别。
对于非平稳性、非线性过程的信号处理,文献[2]中提出一种基于经验模态分解的目标特征提取与选择方法,可以自适应地将信号的局部特征逐级分解出来。
将本征模态函数IMF分量及其瞬时频率作为特征,并选择其判别熵作为特征向量的可分性度量。
与小波变换相比IMF不需要预先设定基函数,可根据信号自身的特征进行分解,具有自适应性,所得的本征模态分量突出了数据的局部特征,非常适用于非平稳性G非线性过程的信号处理中。
文献[3]中提出了使用功率谱二次处
理对地震信号进行特征提取的方法。
将
经典的语音特征处理算法根据地震信号的特点进行有针对性的改进,通过对信号的功率谱进行二次处理,实现了对信号功率谱及频率的同时检测。
文献[4]提出了利用最大熵AR—Burg功率谱估计法对进入无线传感器网络区域中的车辆信号进行谱特征提取,具有很强的可操操作性、可重复性和参考性。
文献[5]针对探地雷达的回波信号具有非平稳特征为实现非平稳信号的检测和分类采用了二进小波变换主分量分析与Fisher线性判别分析和前馈多层感知器分类器分别对探地雷达回波信号进行小波分解去相关与特征选择和分类,其克服了基于Fourier变换的分析方法对非平稳信号进行特征提取时会平滑了非平稳信号的局部特征从而导致其分类效果不佳的缺点,取得了一定的效果。
文献[6]在研究地面目标声震信号识别过程中提出基于局域判别(LocalDiscriminantBases,LDB)算法的特征提取方法。
并且,针对现有的基于时频能量图的可分性测度的缺点,提出新的基于概率密度估计的相对微分熵的可分性测度在一定程度上提高了目标的正确识别率,降低了特征维数。
文献[7]在研究应用最优小波包变换的特征提取方法的过程中提出了应用三种可分性准则,即距离准则,散度准则和熵准则选择最优基。
三种可分性准则比较而言,距离准则简单直观,散度准则更适用于正态分布模式,当模式类别具有同样的均值时可使用熵准则,并且使用这些准则只需根据训练样本集计算模式的两个重要统计量,即均值和方差.但为获得较稳定的特征,需较大的训练样本集。
1.1.2特征选择
特征选择就是通过消除冗余、不相关及被噪声污染的特征,从而达到降低特征空间维数的目的。
它实际上就是从一个原始的特征集合中选取一个特征子集的过程。
有时是采用某种变换技术,得出数目比原来少的综合性特征用于分类,这称为特征维数压缩。
特征选择的过程如图1所示,首先从原始特征集合中选出一个特征子集,然后通过评价函数对其进行评价,若满足特征子集停止迭代的要求即停止,否则产生新的特征子集继续迭代。
特征的选择主要分为两个方面,一是特征选择的标准,二是特征子集的选择算法。
发
图1特征选择的过程
特征选择标准的作用实际上是对特征子向量好坏做一个界定。
可分为滤波器型(Filter)、封装型(Wrapper)、和混合型(Hybrid)。
滤波器型一般用特征子集的内在特性来评估特征的好坏,如距离测度、相关性测度及一致性测度等。
封装型实质上是一个分类器,封装器用选取的特征子集对样本集进行分类,分类的精度作为衡量特征子集好坏的标准。
而混合型算法则是滤波器型和封装型的叠加。
按照搜索方式的不同,特征选择算法可分为完全搜索、序列搜索以及随机搜索三类。
基于完全搜索的特征选择算法能保证找到最有的特征子集,但其计算十分复杂,很少应用于实际工程中。
基于序列搜索的特征选择算法拥有最小的计算复杂度,对于搜索空间中只有单一极值的最优问题效果理想,而对多极值问题容易陷入局部最优点。
随机搜索的复杂度介于前两者之间,且随机搜索有助于摆脱局部最优点,目前应用最广泛。
1.2数据融合技术
由于大多数无线传感器网络应用都是由大量传感器节点构成的,共同完成信息收集、目标监视和感知环境的任务。
因此,在信息采集的过程中,采用各个节点单独传输数据到汇聚节点的方法显然是不合适的。
因为网络存在大量冗余信息,这样会浪费大量的通信带宽和宝贵的能量资源。
此外,还会降低信息的收集效率,影响信息采集的及时性。
为避免上述问题,人们采用了一种称为数据融合(或称为数据汇聚)的技术。
所谓数据融合是指将多份数据或信息进行处理,组合出更高效、更符合用户需求的数据的过程。
在大多数无线传感器网络应用当中,许多时候只关心监测结果,并不需要收到大量原始数据,数据融合是处理该类问题的有效手段。
数据融合技术涉及到检测技术、模式识别、决策论、不确定性理论、估计理论、最优化理论等众多学科领域。
1.2.1WSNs数据融合结构
目前对于无线传感器网络信息融合结构的分类还没有一个明确的标准。
文献[8]中给出了一个基于信息表征层次的划分,将其分为数据级融合、特征级融合、以及决策级融合。
数据级融合,就是直接到采集的原始数据层上进行融合。
如图2,这种融合的主要优点是原始信息丰富。
但其所要处理的传感器数据量巨大,处理代价高。
数据级融合的主要方法有:
HIS变换、PCA变换、小波变换等。
特征级融合属于中间层次,它首先对来自
传感器的原始信息进行特征提取,然后对特征信息进行综合分析和处理。
如图3所示,其实现了可观的信息压缩,有利于实时处理,能最大限度地给出决策分析所需要的特征信息。
目前大多数C3I系统的数据融合研究都是在该层次上展开的。
特征级融合的方法有:
Dempster—Sharer推理法(D—S方法)、表决法、神经网络法等。
决策级融合是一种高层次的融合,其结果可为指挥控制与决策提供依据。
如图4所示,决策级融合是三级融合的最终结果,是直针对具体决策目标的.融合结果直接影响决策水平。
目前,决策级数据融合方法主要有:
贝叶斯估计法、专家系统、神经网络法、模糊集理论、可靠性理论以及逻辑模板法等。
图2数据级融合
图3特征级融合
图4决策级融合
文献[7]中将数据融合层次结构分为网络层的数据融合、应用层的数据融合、独立的数据融合层。
其中网络层的数据融合,WSN网络层的数据融合主要采用以数据为中心的路由协议。
优点是:
数据融合在路由过程中实现,可以有效减少传输能耗和时延;
问题是:
跨协议层理解应用层数据的语义,会增大网络层的数据融合计算量。
应用层的数据融合,基于查询模式的数据融合算法是应用层数据融合的研究方向,其算法思想是将WSN看作是一个分布式的数据库,采用分布式数据库技术来收集数据,应用层接口与SQL相似。
独立的数据融合层,对多个数据包进行合并,减少数据封装头部开销和MAC层的数据发送冲突来节省能耗。
独立的数据融合不能最大化网络的生存时间,只是利用了数据融合减小MAC层的拥塞冲突。
因此,独立的数据融合技术应用还不是很广泛。
1.2.2数据融合方法分类及研究现状
根据不同的融合规则,可分为不同的类型,例如有损融合、无损融合、依赖于应用的数据融合、独立于应用的数据融合、基于分布式数据库的数据融合[3]、基于中心的数据融合等。
下面从如何有效降低数据传输量和能量方面对WSN中现有的数据融合方法进行分类,介绍其研究进展情况。
(1)、基于生成树的数据融合
在WSN中,汇聚节点在收集数据时,是通过反向组播树的形式从分散的传感器节点逐步将监测数据汇集起来的。
从而达到减少网络拥塞,降低能耗,减轻监测延时,增加数据包传送速率的目的。
现有的基于生成树的数据融合算法采用的主要是近源汇集(centeratnearestsource,CNS)、最短路径树(shortestpathstree,SPT)、贪婪增量树(greedyincrementaltree,GIT),以及对它们进行的改进算法。
基于生成树的数据融合方法虽然能够实现对传输的数据进行融合的功能,但是有些问题仍需关注。
首先是生成树的构建和融合时机的确定问Steiner树比较适合事件驱动的应用。
另外,基于WSN的特点,有效的数据融合生成树的构造算法应该具有时间复杂度低以及分布式的特点。
其次,应该考虑数据融合生成树的维护问题。
当节点失效时,需要对生成树进行维护。
生成树的维护可采用周期性更新和事件触发两种方式。
其实,这个问题就是如何平衡网络能量消耗。
而且,维护这些数据融合结构的能耗开销应尽可能小。
(2)、基于时空相关性的WSN数据融合
在WSN中,同一地点布置了许多传感器,这些传感器之间的相对距离较近,其观察值在时间和空间上存在相关性,导致数据冗余现象。
因此,如何消除多传感器间的时空相关性。
以降低网络传输数据及节省网络能量和开销,值得研究。
时间和空间上的这种相关性也是设计数据融合方法的主要依据。
目前现有的文献对时空相关性的WSN数据融合的研究大致分为两类,一种是时间或空间融合模型,另一种是时间和空间相结合的融合模型。
典型的时间融合模型是TiNA(temporalcoherency-a—warein-networkaggregation)[7],它利用传感器节点采集数据的时间一致性进行网内融合。
其基本思想是,只有当前采集的数据与上一次采集的数据的差值大于某个用户指定的容忍限度时,节点才进行数据发送。
这种方法对于监测数据波动较小的应用十分有效,能够显著地减少网络中的数据传输量。
然而,当监测数据波动较大时,TiNA的作用就不是非常明显了;
而且TiNA对于节点存储空间的要求比较高,尤其当网络规模较大时,转发节点需要保存大量的额外信息。
空间融合模型[8]应用于WSN事件监测。
该模型完全用节点间距离远近来衡量节点观测值间的相关程度,而实际上离事件源距离相同的节点的观测值间的相关性更高。
时空融合模型是消除时空相关性的数据融合研究的发展趋势,此类模型主要是对时间融合和空间融合进行组合排序,融合性能不但取决于进行时间与空间融合的先后次序,而且还与具体采用何种融合方法有关,这些都需要做进一步的定量分析。
目前的研究主要有D-S证据理论进行空间融合,没有达到很好的节能与减少时延的效果,从而限制了其广泛应用。
(3)、基于路由的WSN数据融合
基于路由的WSN数据融合有两个主要的目的,即寻找最佳路径和对数据进行融合、传输。
目前WSN的主要路由协议有四种:
数据为中心的路由协议、基于集群(Clustering)结构的路由协议、基于地理信息(Geographic)的路由协议和基于服务质量(QoS,QualityofService)的路由协议。
路由驱动型数据融合算法主要基于两类路由协议:
以数据为中心的定向扩散路由协议和关于集群结构的分层聚簇路由协议。
A、定向扩散路由型数据融合
定向扩散协议(directeddiffusion,DD)是一个以数据为中心的路由和融合协议,为WSN提供有效的能量通信。
在定向扩散协议中,数据融合包括路径建立阶段的兴趣(interest)融合和数据传输阶段的数据融合。
然而,毕竟DD主要解决的是WSN中的路由问题,其中涉及的数据融合技术相对较为简单。
同时,DD中的数据融合是基于其提出的属性值对而设计的,与具体应用关系非常紧密,是以数据为中心的一种数据融合技术。
另外,在DD中,数据传输路由的确定还取决于节点到sink的时延,时延小的路径将被确定为数据传输路由。
但这种方法并不利于邻近节点的数据融合,因此可采用改进的GIT算法。
B、分层聚簇路由型数据融合
低能耗自适应聚类分层(low-energyadaptiveclusteringhierarchy,LEACH)[12]协议是典型的WSN路由协议,通过定期选举一些簇头节点,形成基于层次结构的路由机制。
该路由协议可以支持簇头节点中的数据融合,能够体现出尽早进行数据融合的原则和优势。
不过,LEACH仅强调了数据融合的重要性,并未给出具体的融合方法。
而且,仅仅在簇头实施数据融合,簇内节点直接将原始数据送到簇头的策略也没有充分利用相邻节点间的数据相关性来减少簇内节点传输的能耗。
因此在文献无线传感器网络数据传输及融合技术[14]中,将其与PEGASIS算法分类为集中式数据融合的算法。
并介绍了分布式数据融合算法,将一个规则传感器网络拓扑图等效于一幅图像,获得一种将小波变换应用到无线传感器网络中的分布式数据融合技术。
总的来说,路由驱动型数据融合算法与具体路由的建立关系密切,还涉及到融合节点的选择、融合时机的选择及如何进行数据融合处理等问题。
在路由驱动型数据融合算法中仍然有很多关键问题未解决,如融合增益与能量和通信服务质量的平衡、支持拓扑频繁改变的数据融合算法、安全数据融合等同题。
(4)基于时域预测的WSN数据融合
基于时域预测的WSN数据融合是利用节点采集数据在时间上有固定的采样周期的特点,对已经采集的数据在时间上排序并分析数据幅值变化情况,建立能够反映数据在时间上动态变化的数学模型,预测将来的数据值。
当实际采集的数据值与预测值之差超过给定的阈值时,对新采集的数据进行无线传输。
通过预测,减少不必要的数据传输,从而降低网络能耗,延长网络的生命周期。
基于时域预测的数据融合算法与TiNA有相似之处。
二者都属于时域数据融合。
它们的主要区别在于TiNA是一种被动的数据融合算法,节点比较的是当前采样数据与前一个周期的采样数据。
而基于时域预测的数据融合算法是根据历史数据进行数据的预测,若预测数据与当前采集数据之差小于阈值,则不发送当前数据。
服务器使用其预测数据从而达到减少通信量的目的。
现有文献采用的预测融合方法主要包括:
自回归(AR)模型、移动平均(MA)模型以及自回归移动平均(ARMA)模型等。
文献无线传感器网络中基于预测的时域数据融合技术[13]中介绍了对自回归预测算法、移动平均预测算法、以及指数平滑预测算法进行了以温度为测量数据进行仿真得出一阶自回归预测算法与其它预测算法相比。
具有更好的适用性,当误差闲值为O.05℃-0.50℃时,预测成功率为21%-83%;
当误差阈值为O.05℃时.节能收益达到68%。
(5)、基于数据包合并的数据融合
数据包合并是WSN中一种有效的数据融合算法。
数据包合并的主要思想是当某个节点收到多个子节点发来的数据包时,将它们合并成一个大的数据包,然后将合并后的数据包发送到父节点。
在WSN中,数据字段相对较短,而控制字段相对较长。
数据包合并能够有效地降低包头的开销。
典型的数据包合并算法包括数据漏斗(datafunneling)以及AIDA(application-independentdataaggrega—tion)[15]等。
数据漏斗实质上是一种基于簇的数据融合,簇头节点负责合并簇内节点的数据包。
然而,数据漏斗要求节点具有自身的位置信息,并且有可能产生漏斗效应(funnelingeffect)。
AIDA是一种与应用无关的数据融合算法,实质上是在MAC层与网络层之间加入了一个数据融合层进行数。
据包合并的操作。
通过数据包合并,AIDA能够有效地减少网络中的数据传输量,降低无线信道中发生冲突的可能性。
然而,AIDA与应用相互独立,无法利用高层次的语义信息对数据作进一步的压缩,因此其融合度相对比较低。
综上数据融合技术是为适应WSN以数据为中心的应用而产生的,主要关注如何对采集到的或接收到的其它传感器节点发送的多个数据进行融合理,消除冗余信息,然后再传输处理后续数据,其重点在于减少需要传输的数据。
关于数据融合的研究虽然已经取得了很大进展,但是研究工作尚处于起步阶段,大量问题还没有涉及到。
因此,对于WSN数据融合算法的设计与分析既具有很高的研究价值和创新性,又存在一定的挑战性。
2分类识别
在无线传感器网络模式识别与分类中,分类器的作用是对特征向量惊醒某种变换和映射,将特征向量从特征空间映射到目标类别空间,从而得到识别结果,其实质是分类器对特征空间进行适当的划分,从而形成决策区域。
基本做法是在样本训练集基础上确定某个判决规则,使按这种判决规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小。
桥梁结构是陆地交通运输网络中的关键部位,为确保桥梁结构在整个服役期间的安全性和服务功能,对重要桥梁结构实施健康监测和安全性评估是十分必要的。
作为健康监测和安全性评估系统的核心技术的桥梁结构损伤识别更是成为国际上研究的热点本章就基于无线传感器网络的桥梁结构损伤识别进行一个总结,对近年来基于振动分析和结构动力学参数的结构损伤识别理论进行了比较系统地总结和评述。
近年来基于振动测试的桥梁结构损伤识别的研究主要可分为三个方面,
(1)基于模型修正理论的损伤识别,
(2)结构损伤指数法,(3)人工神经网络法。
2.1基于模型修正理论的损伤识别
基于模型修正理论的结构损伤识别的方法就是利用试验模态分析结果修改理论有限元模型的刚度矩阵、质量矩阵等模型参数,在保证模态参数自身精度的前提下,使修正后有限元模型的振动参数与试验值相同。
集中经典的方法有:
矩阵优化修正方法,矩阵优化修正法试图通过寻求某种优化目标并满足一定约束条件的矩阵或矩阵参数修正来修正模型。
子矩阵修正法,子矩阵修正法对待修正的子矩阵或单元定义修正系数,通过对子矩阵修正系数的调整来修改结构刚度矩阵。
以及敏感性分析法和特征结构分配法。
文献[16]基于静载试验进行桥梁结构损伤识别,以桥梁结构有限元为工具,把当前结构模型中各单元的等效面积、惯性矩以及板壳单元的厚度作为识别参数{p},建立识别参数对于各种量测的灵敏度矩阵[S{p}]。
通过优化方法不断调整当前计算模型的参数,使结构响应与相应的试验值最大
程度地吻合,从而得到结构参数变化的信息。
并通过换杆的形式模拟结构局部构件的退化,得到不错的效果。
2.2基于损伤指数的损伤识别
损伤指数法是利用结构振动测试直接得到的振动响应的时程(位移、速度、加速度时程)或经过变换分析得到的结构的动力学参数作为损伤指示信息来识别结构损伤位置和程度。
基本方法有:
利用模态参数(频率、振型)的损伤识别,主要通过对两个不同阶频率变化比或结构损伤前后振型来实现损伤定位。
利用振动响应时程或其变换,其中包括基于波形的识别指标、用小波分析技术处理振动响应信号的损伤识别方法以及利用结构振动响应的时域变换方法等。
文献[17]小波变换在桥梁结构损伤识别中的应用,通过小波变换极大值点同信号突变点及其李氏指数之间的关系,采用小波变换极大值在多尺度上的变化规律来表征信号突变点的性质,从而确定信号有无奇异点并确定其位置,进而对桥梁进行损伤识别。
并进行单裂缝悬臂梁的静力试验,达到精确定位裂缝位置的目的。
2.3基于人工神经网络的损伤识别
人工神经网络法神经网络损伤识别法实际上就是用一些已知损伤的响应或理论上构建的样本集来训练神经网络,使网络达到一种相对平衡的状态,利用网络训练后的映射关系和网络的泛化能力,根据输入的结构实测响应,得到损伤的位置及损伤程度。
目前采用的网络主要是BP网络、径向基函数(RBF)网络和hopfield网络。
对于神经网络方法,除神经网络的构建外,最关键的就是损伤识别指标的选取,一般的都取振型和频率的组合或在二者的基础上加工出新的更能反映损伤前后变化特征。
文献[17]基于CS和神经网络的传感器网络模式识别研究将压缩感知技术与BP神经网络相结合应用于传感器网络,对传感器网络中传输的数据进行压缩,降低传输数据量,然后在接收端重构数据,将该数据样本作为BP网络的输入进行识别。
提高网络数据存储能力和带宽利用率。
文献[16]基于RBF神经网络设计的桥梁结构损伤识别方法研究,从径向基函数(RBF)神经网络结构、网络设计和网络训练算法等方面论述了神经网络理论。
并以一座装配式预应力钢筋混凝土系杆拱桥为工程实例,通过改变构件的弹性模量降低单元刚度来模拟结构损伤程度,并以任意三组向量对网络进行测试,说明了基于频率参数和RBF网络方法的结构损伤识别的可行性和准确性。
3流数据及海量数据存储
对于科学发展的今天,人们得到的信息量是成倍的增长,数据的来源也是越来越多样化,因此需要处理那些庞大的数据集,这些数据都是以很快的速度无限不停的产生,并且是随着时间的变化而变化,这就是一种新式数型――流数据。
流数据的特点是数据持续到达,且速度快、规模大。
其研究核心是设计高效的单遍数据集扫描算法,在一个远小于数据规模的内存空间里不断更新一个代表数据集的结构——概要数据结构,使得在任何时候都能够根据这个结构迅速获得查询结果。
在无线传感器网络中,系统有成千上万个传感器在同时工作,每个传感器每秒钟获取一个测量值,每个传感器就会产生一个随时更新变化的时间序列数据流,整个系统形成一个多数据流并行的数据环境。
因此,对数据流的分析与信息存储在无线传感器网络的研究中起着至关重要的作用。
3.1数据流挖掘的基本技术
目前大部分数据流流挖掘方法都基共同的基本技术,如概要数据结构、抽样、滑动窗口、衰减函数、倾斜时间构架等。
(1)概要数据结构。
是通过应用概要技术,生成的比当前数据流小得多的数据结构,它是当前数据流的概要描述。
新的流数据处理技术并不保存整个数据集,仅维护一个远小于其规模的概要数据结构[18],从而能够常驻内存。
对于不同数据流算法,其概要数据结构相差很大。
目前已经提出了多种概要技术包括有:
频率矩、直方图和小波分析等等。
(2)抽样。
通过一定的概率来决定一个数据元素是否被处理。
这样可以避免处理整个数据流。
但在
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 无线 传感器 海量 数据处理