基于凸优化及加权范数的稀疏信号重建论文文档格式.docx
- 文档编号:19227020
- 上传时间:2023-01-04
- 格式:DOCX
- 页数:30
- 大小:518KB
基于凸优化及加权范数的稀疏信号重建论文文档格式.docx
《基于凸优化及加权范数的稀疏信号重建论文文档格式.docx》由会员分享,可在线阅读,更多相关《基于凸优化及加权范数的稀疏信号重建论文文档格式.docx(30页珍藏版)》请在冰豆网上搜索。
摘要
2004年由Donoho等人提出的压缩感知理论(CS理论)表明利用信号的稀疏性或可压缩性,能够以极少量的线性测量值恢复原始信号,而远低于奈奎斯特采样定律的限制。
该理论使得数据获取和数据压缩可以同时进行,成功克服了数据采样、存储等过程中的资源浪费问题。
对该理论的研究,关键是如何通过重建算法从压缩感知得到的低维数据中精确的恢复出原始的高维数据。
通过学习国内外关于压缩感知理论及现有重建算法的文献,系统研究了压缩感知理论的框架,并介绍了几种典型的重建算法(凸优化算法和贪婪算法)及其优缺点。
由于利用基于最小l1范数的凸优化算法来恢复稀疏信号具有很高的准确度,其应用十分广泛,故对这类算法进行了深入研究。
但是基于最小l1范数的重建算法对大系数的稀疏信号重建还不够准确,于是提出了一种改进的算法即基于加权最小l1范数的凸优化算法,对这种算法的求解过程及其参数的确定方法进行了重点研究。
仿真实验表明1)测量数量对重建效果影响较大;
2)恢复结果可以在一定迭代步数内收敛;
3)对于带噪声信号,基于加权最小l1范数的重建算法恢复效果明显优于传统的最小l1范数算法。
校正参数的选取对重建效果也有影响,对这方面的改进算法还有待进一步研究。
关键词:
压缩感知,稀疏信号,重建算法,加权l1范数
ABSTRACT
Thetheoryofcompressedsensing(CS)implementedbyDonoho,etc,hasshownthatsparseorcompressiblesignalscanbereconstructedfromasurprisingsmallnumberoflinearmeasurements,andisfarlowerthanthelimitsoftheNyquistsamplingtheory.Itcompressesthesignalwhensamplingit.Inthisway,wecanovercomeanamountofproblemssuchasphysicalresourceswastingintheprocessofdatasampling,datastoringandsoon.Itisthekeypointhowtoreconstructthehighdimensionaldatafromthelowdimensionaldata.
Thecompressedsensingtheoryandtheexistingreconstructionalgorithmsisreviewed.Andthentheframeworkofcompressedsensingtheoryisstudied.Afewtypicalreconstructedalgorithms(convexoptimizationalgorithmsandgreedyalgorithms)areintroduced.Convexoptimizationalgorithmsbasedonl1normminimizationhasbeenwidelyusedbecauseofhighreconstructionaccuracy.So,thiskindofalgorithmsisstudieddeeply.
However,thealgorithmsbasedonl1normminimizationarenotpreciseenoughtoreconstructthelargecoefficients,soanimprovedalgorithm,thereweightedl1minimizationreconstructionalgorithm,isproposed.Thesolvingprocessandmethodstodeterminetheparametersarefocusedon.Theexperimentalresultsshowthat1)thenumberofmeasurementsinfluencestheperformanceoftheproposedalgorithm;
2)theresultscanbeconvergedincertainsteps;
3)thereconstructionperformanceissuperiortotraditionalreconstructionalgorithmbasedonl1normminimizationwhensignalisnoised.Thechoiceofthecorrectionparameteralsohasinfluence,sotheproposedalgorithmcanbestudiedfurther.
Keywords:
Compressedsensing,Sparsesignal,Reconstructionalgorithm,Reweightedl1norm
目录
摘要I
ABSTRACTII
目录III
第一章绪论1
1.1课题研究背景知识2
1.2稀疏信号重建研究现状及应用3
1.3本文结构安排4
第二章基于压缩感知的稀疏信号重建6
2.1信号的稀疏性6
2.1.1信号稀疏性的定义6
2.1.2信号的稀疏化7
2.2压缩感知的信息获取及测量矩阵的设计8
2.3压缩感知重建算法9
第三章凸优化算法及加权最小l1范数12
3.1凸优化理论12
3.2凸优化算法12
3.2.1经典的基追踪算法12
3.2.2稀疏梯度追踪算法(GPSR)13
3.3加权最小l1范数优化算法14
3.3.1加权最小l1范数优化算法介绍14
3.3.2加权最小l1范数优化算法的参数确定方法16
3.4加权最小l1范数优化算法的实现方法16
第四章系统的仿真与结果分析18
4.1不带噪声情况下稀疏信号恢复效果分析18
4.2带噪声情况下加权与不加权之恢复效果比较分析19
结束语25
参考文献26
致谢27
第一章绪论
稀疏信号重建是近年来研究的新课题,这种基于压缩感知理论的信号恢复方法具有划时代的意义。
随着信息处理技术的发展,对于信号的数据量要求与日俱增,而传统的信号处理过程几乎都要受到奈奎斯特采样定律的限制,需要采集大量的数据并进行存储,去除冗余的工作也需要从数据本身的特点出发,只有通过对完整数据本本身的分析,才会去除数据中隐藏的冗余度。
解压后的信号
稀疏信号
图1.1传统信息的获取与处理流程
传统信息的获取与处理流程如图1.1所示,这样的框架面临三个问题:
第一、需要采集和存储的数据量大;
二、获取端需要巨大的硬件消耗来完成复杂的算法来进行分析和处理;
三、如果信号是稀疏的,大部分是冗余的需要最终剔除。
因此奈奎斯特理论并不是唯一、最优的采样理论,研究如何突破以奈奎斯特为支撑的信息获取、处理、融合、存储及传输等的方式是推动信息利于进一步向前发展的关键。
近年来,由D.Donoho(美国科学院院士)[][]、E.Candes(Ridgelet,Curvelet创始人)[]及华裔科学家T.Tao(2006年菲尔兹奖获得者)[]等人提出了一种新的信息获取理论,及压缩感知理论(CompressedSensing,CS)。
该理论指出:
对稀疏或可压缩的信号可以通过远低于奈奎斯特标准的方式采样数据,并能够精确的恢复出原始信号。
压缩感知理论能够针对可稀疏表示的信号将传统的数据采样与数据压缩合二为一,其采样频率可远低于奈奎斯特采样频率,大幅度的减少了数据的获取时间和存储空间,使得高分辨率的采集成为可能。
压缩感知框架如图1.2所示。
图1.2压缩感知理论框架
1.1课题研究背景知识
压缩传感理论主要包括信号的稀疏表示、线性测量和重构算法等三个方面[]。
1)信号稀疏表示理论
信号具有稀疏性或者可压缩性是压缩感知理论的前提条件,而现实中的信号常常是不稀疏的。
我们可以根据正交变换的性质,使信号能够适应压缩感知理论。
惯常采取的做法是对信号进行正交变换,使之稀疏或者可压缩。
我们考虑长度为N的离散信号x,根据信号理论可知,x可由一组基ΨT={Ψ1,Ψ2,…,ΨN}的线性组合来表示
(1.1)
其中,
=<
x,
>
,Ψ是大小为N
N的正交矩阵,x和s均为N维向量。
当信号x在某个基Ψ上仅有K<
<
N个非零系数
时,称Ψ为信号的稀疏基。
如果信号在稀疏基上只有K个非零系数,就属于严格稀疏的情况。
但是实际情况下信号的变换系数不能满足严格稀疏的要求,而是含有少量的大系数和大量的小系数,但是信号的变换系数经排序后可以指数级进行衰减趋近于零,此时信号也可以近似稀疏表示,即信号具有可压缩性。
对于压缩感知理论,合理选择稀疏基,使信号的稀疏系数个数尽可能少,有利于提高采集速度,有利于减少信号存储和信号传输所占用的资源,而且可以使得后续的信号重建工作变得容易,且更加精确。
常用的稀疏基包括正余弦基、小波基、chirplet基及curvelet基等。
2)信号的线性测量过程
用一个与变换矩阵不相关的
测量矩阵Φ对信号进行线性投影,得到线性测量值y:
(1.2)
测量值y是一个M维向量,这样使测量对象从N维降为M维。
设计测量矩阵要求信号从x转换为y的过程中,所测量到的K个测量值不会破坏原始信号的信息,以保证信号的精确重构。
由于信号x是可稀疏表示的,上式可以表示为下式:
(1.3)
其中θ是一个
矩阵。
上式中,方程的个数远小于未知数的个数,方程无确定解,
无法重构信号。
但是,由于信号是K稀疏,若上式中的θ满足有限等距性质(RestrictedIsometryProperty,简称RIP),即对于任意K稀疏信号s和常数
,矩阵θ满足:
(1.4)
则K个系数能够由M个测量值准确重构。
RIP性质的等价条件是测量矩阵Φ和稀疏基Ψ不相关。
目前,用于压缩感知的测量矩阵主要有以下几种:
高斯随机矩阵,二值随机矩阵(伯努力矩阵),傅立叶随机矩阵,哈达玛矩阵,一致球矩阵等。
3)信号的重构算法[]
当矩阵θ满足RIP准则时。
压缩感知理论能够通过求解式(1.3)的逆问题先求解稀疏系数s,由于正交变换具有可逆性,可以将s代入式(1.1)中,将稀疏度为K的信号x正确地恢复出来。
这样就可以实现高维的信号x从低维的测量投影值
中恢复出来。
解码的最直接方法是通过求解
范数最小的问题:
s.t.
(1.5)
由此得到稀疏系数的估计。
由于上式的求解是个NP-hard问题,而该最优化问题与信号的稀疏分解十分类似,所以有学者从信号稀疏分解的相关理论中寻找更有效的求解途径。
最小范数下在一定条件下和
最小范数具有等价性,可得到相同的解。
那么上式转化为
最小范数下的最优化问题:
(1.6)
最小范数最优化问题又称基追踪(BasisPursuit,BP),其常用实现算法包括内点法和梯度投影法。
内点法速度慢,但信号重建效果非常准确:
而梯度投影法速度快,但没有内点法得到的结果准确。
由于
最小范数下的算法速度慢,新的快速贪婪法被逐渐采用,例如匹配追踪法(MP)[]和正交匹配追踪法(OMP)。
另外有效的算法还有迭代阈值法以及各种改进算法。
1.2稀疏信号重建研究现状及应用
压缩感知理论具有巨大的吸引力和应用前景,应用研究已经涉及到众多领域[]。
例如:
CS雷达、DCS(DistributedCompressedSensing)理论、无线传感网络、图像采集设备的开发、医学图像处理、生物传感、光谱分析、超谱图像处理及遥感图像处理等。
在成像方面,压缩感知理论的提出激起了人们研究新型传感器的热情,对于压缩感知成像,其意义是尽可能的减少单元数量,并且更加精确的恢复出图像。
一种新型单像素CS相机将取代采集大量像素的传统数码相机进行拍照。
美国Rice大学研制出的“单像素相机”如图1.3,该相机使用数字微镜阵列(DigitalMicromirmrArray)完成图像在伪随机二值模型上的线性投影的光学计算,是一种全新的相机结构。
它可利用单一的信号光子检测器进行采样,得到比传统图像像素点数少得多的点,并从中恢复图像。
这种相机具有对图像波长自适应的能力,这是传统的CCD和CMOS成像器件所不具备的。
图1.3单像素CS相机
以压缩感知理论为基础感知成像系统为图像获取技术提供了新的思路,在减少探测单元数量和适应现代存储需求上具有很大优势。
在地震勘探成像和核磁共振成像中,对目标信号可以采用较少的随机观测次数就能获得高精度重构;
在x射线和生物医学中,可以通过采集远少于未知像素点数的观测样值来获取感兴趣的图像信息;
压缩感知理论也开始用于基因表达领域,并期望从少量的观测样值来完成基因表达,例如几十种来推断成千上万种基因的表达。
1.3本文结构安排
本文主要针对稀疏信号重建算法中的凸优化算法进行研究,虽然实际上贪婪算法比凸优化算法使用得更为广发,凸优化算法的时间复杂度较大,但研究凸优化方法仍具有现实意义。
本文研究了基于加权
范数的重建算法,该算法通过平衡压缩感知的大系数的影响,提高了重建精度,是重建精度与速度的折中。
本文一共5章,各章的内容安排如下:
第一章:
绪论。
首先介绍稀疏信号重建的背景知识,然后介绍重建算法的研究现状,最后通过一些典型应用说明其研究意义。
第二章:
基于压缩感知的稀疏信号重建。
由于信号的稀疏性是本文研究稀疏信号重建的前提,本章首先介绍信号稀疏性的定义及常见的稀疏化方法。
然后介绍了能够进行信号重建时,测量矩阵需满足的条件及常用的测量矩阵。
最后对两种广泛应用的重建算法进行比较。
第三章:
基于加权最小
范数的凸优化算法。
这一章是本文的重点,介绍了稀疏信号重建算法中凸优化方法的理论基础,并简单介绍了基追踪降噪(BPDN)算法和梯度投影法(GPSR),最后重点研究基于加权最小
范数的重建方法。
第四章:
系统分析。
本章通过实验仿真验证了利用加权最小范数进行信号重建的优越性,利用不同重建方法恢复带噪声信号,进行比较分析。
第二章基于压缩感知的稀疏信号重建
2.1信号的稀疏性
2.1.1信号稀疏性的定义
在生物学实验中,人的表情包括30,000个基因元素,但基本上可以在几百个基因水平的基础上进行表示。
在信号处理领域,当信号可以用一组合适的基来表示时,可以对信号进行采样或感知[]。
根据文献[],研究压缩感知的有限维稀疏信号,考虑一个实值有限长一维离散时间信号x,可被看成是一个在RN空间中元素为x[n]的N×
1列向量,n=1,2,…,N。
(典型感知方法,对于图像或高维的数据的处理常常是通过将向量化成一个长度为N的一维向量)任何RN信号都能用一系列以N×
1维向量
作为稀疏基表示。
当该稀疏基为规范正交基时,可以用以{
}为列的N×
N的基矩阵
=[
1,
2,..,
N]来稀疏的表示一个信号,则x可以被表示为
或
(2.1)
其中s是这个N×
1列向量的权重系数,
x,
=
x,表示信号在稀疏域的系数矢量。
如果信号x可表示成为仅包含K个基向量的线性组合,系数向量s的元素中含有大量零值,则称信号x是K稀疏的;
也即在系数中只有K个非零,有N-K个为零。
这里定义的理论意义上的稀疏,即是K<
N的情况,K约比N小一个数量级。
而实际的信号往往达不到绝对稀疏,而是包含少量的大系数和大量可忽略的的小系数,这类信号称为可压缩信号,对这类信号仍可进行稀疏表示,压缩感知对其仍然适用。
信号的稀疏性是一种对信息冗余的度量,压缩感知理论中信号的稀疏表示使得信号中的冗余信息可以在信息获取时去除,避免了不必要的资源浪费,也使得后续的信息处理过程得以简化。
在图像处理领域,稀疏性表示了在特定应用下图像中的有效信息,例如可以表示人们对某一图像中感兴趣的元素,而将人们不感兴趣或不需要的信息元素去除,在图像信息获取的过程中可以大大减少获取端的资源消耗。
2.1.2信号的稀疏化
只有选择合适的稀疏基表示信号才能保证信号的稀疏度,如何找到信号最佳的稀疏基?
这是压缩感知理论应用的基础,是精确恢复信号的前提。
通常可以根据信号本身的特点灵活选取稀疏基,常用的稀疏有离散余弦变换基、快速傅立叶变换基、离散小波变换基、Gabor基以及冗余字典等。
目前研究的热点是信号在正交基字典或者冗余字典下的稀疏分解。
稀疏变换基的研究是为了以一种更加直接、更加简便的分析方式来为不同的信号找出适合的稀疏基。
所有这些变换都是希望找到信号的特征并对其稀疏表示,进一步研究信号的稀疏程度或分解系数的能量集中程度也用某空间中的一组基来表示。
研究如何找到或构造适合一类信号的正交基,以求得信号的最稀疏表示的方法还在不断改进。
例如,采用傅里叶变换的信号稀疏化如图2.1所示
(a)原始信号
(b)傅里叶变换下的(稀疏)信号
图2.1压缩采样过程中的信号及其稀疏化
稀疏正交基中的每一种变换往往只能稀疏表示含有某一类型的特征的信号,而不能十分有效的对其他类型特征的信号进行稀疏表示。
常见的一维小波变换仅能有效表示包含点状奇异性的信号,而对振荡信号的稀疏表示却无能为力。
振荡信号可以用傅里叶变换来稀疏表示,而不能有效表示点状奇异信号。
Brushlet变换和局域DCT变换对于图像中的纹理特征的表示具有很好的性能[][]。
有研究人员把变换基是正交基的条件扩展到由多个正交基构成的正交基字典,即在某个正交基字典里,自适应地寻找可以逼近某一种信号特征的最优正交基,根据不同的信号寻找最匹配信号特性的一个正交基,从而变换信号为信号的最稀疏表示。
对稀疏表示研究的另一个热点是当信号不能用正交基稀疏表示时,一种新的方法是采用冗余字典来稀疏表示。
冗余字典用超完备的冗余函数库取代基函数,字典中的元素称为原子。
对于冗余字典的选择,其构成可以没有任何限制,只要尽可能好地符合被逼近信号的结构。
这种理论可以使原始信号从冗余字典中找到具有最佳线性组合的原子,这种对原始信号的表示,称为信号的稀疏逼近或高度非线性逼近[8]。
2.2压缩感知的信息获取及测量矩阵的设计
压缩感知获取的不是原始信号本身,而是对处理后的信号信息的获取。
压缩感知过程是将一个N维稀疏信号投影到一个M(<
N)维空间,并且仍能通过一些算法恢复原N维信号。
压缩感知过程,用于数据降维和信息获取等方面,适用于信号稀疏度K远小于信号长度N的情况。
这不同于一般变换是将原N维映射到N维的一个过程。
测量过程如式(2.2)所示。
(2.2)
压缩感知理论中,需要设计压缩采样系统的线性测量部分即研究测量矩阵Φ,设计测量矩阵的目的是为了从N维信号测量得到M个测量值,同时需要保证能够重构出基Ψ下等价的稀疏系数向量s或者长度为N的信号x。
如果x中的信息在此测量过程中被破坏,显然最终的重构不可能完成。
在对测量矩阵的设计中,我们需要考虑两方面的关系:
(1)测量矩阵Φ和基矩阵Ψ的关系;
(2)矩阵θ=ΦΨ和K-稀疏信号s的关系。
下面对这两方面进行分别论述。
首先,测量矩阵Φ和基矩阵Ψ要具有不相干性(Incoherence)。
定义1:
测量矩阵Φ和基矩阵Ψ的相干度(coherence)定义为
(2.3)
相干度μ给出了Φ和Ψ和的任意两个矢量之间的最大相干性。
当Φ和Ψ包含相干矢量时,包含的元素相似度越高,相干度较大。
其取值范围是[1,
]。
压缩感知理论中对信号进行获取,要求尽可能地使不同的观测值包含原始信号的不同信息,这也就要求测量矩阵Φ和基矩阵Ψ的矢量尽可能正交,即相干度μ要尽可能的小。
由于随机矩阵与大部分基矩阵之间能够满足不相干性或相干性很低,因此在CS理论中常采用具有随机性的测量矩阵,常见的几种情况是:
1)基矩阵Ψ对应频域基,测量矩阵Φ为冲激函数,此时两者相关度近似为1;
2)基矩阵Ψ对应小波基(例如常见的Db4和Db8),测量矩阵Φ满足一种称为Noiselet的递推关系,此时相干度也很低(对应为2.2和2.9);
3)测量矩阵为高斯分布或类高斯分布的随机矩阵,此时与大部分固定基Ψ都不相干。
其次,矩阵θ=ΦΨ和K-稀疏信号s的关系与限制等距性质(RestrictedIsometryProperty,RIP)有关。
定义2:
对任意K=1,2,…,N定义矩阵θ(M
N)的等距常量为满足下式的最小值,其中s为任意稀疏向量:
(2.4)
如果
1,称矩阵θ满足K阶RIP,此时矩阵θ近似地保证了稀疏信号s的欧氏距离不变,这意味着s不可能在θ的零空间中(否则s将有无穷多解)[]。
在CS理论中,RIP准则是感知获取技术的基础,是信号能够得以恢复的前提。
实际情况一般无法预知稀疏系数K,对于可压缩信号一般需要留有更大余量,约为M>
3K。
如果测量数量过少,重建质量往往无法达到要求,而如果测量数量过多又会使基于压缩感知的信号重建方法失去意义。
2.3压缩感知重建算法
目前常用的重建算法主要是以下两大类,针对
范数最小提出的凸优化算法[5],针对
范数最小提出的一系列贪婪算法。
1)凸优化算法:
当式(2.2)中的θ满足RIP准则时,CS理论可以通过求解最小l0范数问题先求解出稀疏系数s。
然后通过稀疏逆变换求解出原始信号x。
最直接的求解方法是:
(2.5)
由于l0范数是一个NP-hard问题(Non-determinsticPolynomial,简称NP),这种问题需要穷举稀疏信号的
种排列可能来求解最佳的非零值,因而无法直接求解。
这种算法也称为基追踪法(BasisPursuit,BP)。
而该最优化问题可以从信号稀疏分解的理论中寻找求解途径,由于在一定条件下最小
范数和
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 优化 加权 范数 稀疏 信号 重建 论文