完整word版压缩感知原理Word文件下载.docx

完整word版压缩感知原理Word文件下载.docx

《完整word版压缩感知原理Word文件下载.docx》由会员分享，可在线阅读，更多相关《完整word版压缩感知原理Word文件下载.docx（11页珍藏版）》请在冰豆网上搜索。

iM作为列向量形成NN的基矩阵：

=[L2,?

n]，于是任意信号X

都可以表示为：

X（2.1）

其中是投影系数=i:

;

X,构成的NX1的列向量。

显然，X和是同一个信号的等价表示，X是信号在时域的表示，则是信号在域的表示。

如果

的非零个数比N小很多，则表明该信号是可压缩的。

一般而言，可压缩信号是指可以用K个大系数很好地逼近的信号，即它在某个正交基下的展开的系数按一定量级呈现指数衰减，具有非常少的大系数和许多小系数。

这种通过变换实现压缩的方法称为变换编码。

在数据采样系统中，采样速率高但信号是可压缩的，采样得到N

点采样信号X;

通过TX变换后计算出完整的变换系数集合i;

确定K个大

系数的位置，然后扔掉NK个小系数；

对K个大系数的值和位置进行编码，从而达到压缩的目的。

由CandesRombergTao和Donohc等人在2004年提出的压缩感知理论表明，可以在不丢失逼近原信号所需信息的情况下，用最少的观测次数来采样信号，实现信号的降维处理，即直接对信号进行较少采样得到信号的压缩表示，且不经过进行N

次采样的中间阶段，从而在节约采样和传输成本的情况下，达到了在采样的同时进行压缩的目的。

Candes证明了只要信号在某一个正交空间具有稀疏性，就能以较低

的频率MN采样信号，而且可以以高概率重构该信号。

即,设定设长度为N的信号X在某正交基或框架上的变换系数是稀疏的，如果我们可以用一个与变换基不相关的观测基：

MNMN对系数向量进行线性变换，并得到观测集合

Y:

M1。

那么就可以利用优化求解方法从观测集合中精确或高概率地重构原始信

号X。

图2.2是基于压缩感知理论的信号重构过程框图。

图2.2基于压缩感知理论的信号重构过程

基于压缩感知的信号重构主要包含了信号的稀疏表示、编码测量和重构算法三个步骤。

第一步，如果信号X€Rn在某个正交基或紧框架上是可压缩的，求出

变换系数TX,是的等价或逼近的稀疏表示；

第二步，设计一个平稳的、

与变换基不相关的MN维的观测矩阵，对进行观测得到观测集合YTX，该过程也可以表示为信号X通过矩阵ACS进行非自适应观测：

丫ACS（其中ACST），ACS称为CS言息算子；

第三步，利用0-范数意义下的优

化问题求解X的精确或近似逼近X?

:

minTX°

s.t.ACSXTXY（2.2）

求得的向量X在基上的表示最稀疏。

针对上述的三个步骤，下面将一一解决其中的三个问题。

2.1信号的稀疏表示

压缩感知的第一步即，对于信号X€Rn，如何找到某个正交基或紧框架，

使其在上的表示是稀疏的，即信号的稀疏表示问题。

所谓的稀疏，就是指信号X在正交基下的变换系数向量为TX，假如对于

0p2和R0，这些系数满足:

1/P

（2.3）

P

i

则说明系数向量在某种意义下是稀疏的。

如何找到信号最佳的稀疏域？

这是压缩感知理论应用的基础和前提，只有选择合适的基表示信号才能保证信号的稀疏度，从而保证信号的恢复精度。

在研究信号的稀疏表示时，可以通过变换系数衰减速度来衡量变换基的稀疏表示能力。

Candes和Tao研究表明，满足具有幕次速度衰减的信号，可利用压缩感知理论得到恢复，并且重构误差满足：

EXX2Cr（K/logN）6r（2.4）

其中r=1/p-1/2,0<

p<

1.

文献［8］指出光滑信号的Fourier系数、小波系数、有界变差函数的全变差范数、振荡信号的Gabor系数及具有不连续边缘的图像信号的Curvelet系数等都具有足够的稀疏性，可以通过压缩感知理论恢复信号。

如何找到或构造适合一类信号的正交基，以求得信号的最稀疏表示，这是一个有待进一步研究的问题。

Peyre把变换基是

正交基的条件扩展到了由多个正交基构成的正交基字典。

即在某个正交基字典里，自适应地寻找可以逼近某一种信号特征的最优正交基，根据不同的信号寻找最适合信号特性的一个正交基，对信号进行变换以得到最稀疏的信号表示。

对稀疏表示研究的另一个热点是信号在冗余字典下的稀疏分解。

这是一种全新的信号表示理论：

用超完备的冗余函数库取代基函数，称之为冗余字典，字典中的元素被称为原子。

字典的选择应尽可能好地符合被逼近信号的结构，其构成可以没有任何限制。

从冗余字典中找到具有最佳线性组合的K项原子来表示一个信号，称

作信号的稀疏逼近或高度非线性逼近。

从非线性逼近角度来讲，信号的稀疏逼近包含两个层面：

一是根据目标函数从一个给定的基库中挑选好的或最好的基；

二是从这个好的基中挑选最佳的K项组合。

因此，目前信号在冗余字典下的稀疏表示的研究集中在两个方面：

（1）如何构造一个适合某一类信号的冗余字典；

（2）如何设计快速有效的稀疏分解算法。

在构造冗余字典方面，文献［16］中提出使用局部Cosine基来刻画声音信号的局部频域特性；

利用bandlet基来刻画图像中的几何边缘；

还可以把其它的具有不同形状的基函数归入字典，如适合刻画纹理的Gabor基、适合刻画轮廓的Curvelet基等等。

在稀疏分解算法的设计方面，基于贪婪迭代思想的MP（MatchingPursuit）算法表现

出极大的优越性，但不是全局最优解。

Donoh（等人之后提出了基追踪（basis

pursuit，BP）算法。

BF算法具有全局最优的优点，但计算复杂度极高。

之后又出现了一系列同样基于贪婪迭代思想的改进算法，如正交匹配追踪算法（OMP，分段匹配追踪（StOMP）算法等。

2.2测量矩阵的选取

如何设计一个平稳的、与变换基不相关的MN维的观测矩阵，保证稀疏

向量从N维降到M维时重要信息不遭破坏，是第二步要解决的问题，也就是信号

低速采样问题

压缩感知理论中，通过变换得到信号的稀疏系数向量TX后，需要设计压

缩采样系统的观测部分，它围绕观测矩阵展开•观测器的设计目的是如何采样得

到M个观测值，并保证从中能重构出长度为N的信号X或者基下等价的稀疏系

数向量。

显然，如果观测过程破坏了X中的信息，重构是不可能的。

观测过程实际就是利用MN观测矩阵的M个行向量jM对稀疏系数向量进行投影，即计

Jj1

算和各个观测向量jM之间的内积，得到M个观测值

jji

yj,jj1,2,…,M，记观测向量Y（yi,y2,…，Ym），即

YTXACSX（2.5）

这里，采样过程是非自适应的，也就是说，无须根据信号X而变化，观测的

不再是信号的点采样而是信号的更一般的K线性泛函。

对于给定的Y从式（2.5）中求出是一个线性规划问题，但由于MN，即方程的个数少于未知数的个数，这是一个欠定问题，一般来讲无确定解。

然而，如果具有K-项稀疏性（KM），则该问题有望求出确定解。

此时，只要设法确定出中的K个非零系数i的合适位置，由于观测向量Y是这些非零系数i对应的K个列向量的线性组合，从而可以形成一个MK的线性方程组来求解这些非零项的具体值。

对此，有限等距性质给出了存在确定解的充要条件。

这个充要条件和Candes

Tao等人提出的稀疏信号在观测矩阵作用下必须保持的几何性质相一致。

即,要想使

信号完全重构，必须保证观测矩阵不会把两个不同的K-项稀疏信号映射到同一个采样集合中，这就要求从观测矩阵中抽取的每M个列向量构成的矩阵是非奇异的。

从中可以看出，问题的关键是如何确定非零系数的位置来构造出一个可解的MK线

性方程组。

然而，判断给定的ACS是否具有RIP性质是一个组合复杂度问题。

为了降低问题的复杂度，能否找到一种易于实现RIP条件的替代方法成为构造观测矩阵的关键。

文献［10］指出如果保证观测矩阵和稀疏基不相干，则ACS在很大概率上满

足RIP性质。

不相干是指向量j不能用i稀疏表示。

不相干性越强，互相表示

时所需的系数越多；

反之，相关性则越强•通过选择高斯随机矩阵作为即可高概

率保证不相干性和RIP性质。

例如，可以生成多个零均值、方差为1/N的随机高斯函数，将它们作为观测矩阵的元素j，使得ACS以很高的概率具有RIP性质。

随机

高斯矩阵具有一个有用的性质：

对于一个MN的随机高斯矩阵，可以证明当M

cKlog（N/K）时TACS在很大概率下具有RIP性质（其中c是一个很小的常

数）。

因此可以从M个观测值Y（比』2,…，yM）中以很高的概率去恢复长度为N的K-项稀疏信号。

总之，随机高斯矩阵与大多数固定正交基构成的矩阵不相关，这一特性决定了选它作为观测矩阵，其它正交基作为稀疏变换基时，ACS满足RIP性质。

为进一步简化观测矩阵，在某些条件下，以随机1为元素构成的Rademache矩阵也可以证明具有RIP性质和普适性。

对观测矩阵的研究是压缩感知理论的一个重要方面。

DonohO合出了观测矩阵所

必需具备的三个条件，并指出大部分一致分布的随机矩阵都具备这三个条件，均可作为观测矩阵，女口：

部分Fourier集、部分Hadamard集、一致分布的随机投影（uniformRandomProjection）集等，这与对RIP性质进行研究得出的结论相一致。

但是，使用上述各种观测矩阵进行观测后，都仅仅能保证以很高的概率去恢复信号，而不能保证百分之百地精确重构信号。

对于任何稳定的重构算法是否存在一个真实的确定性的观测矩阵仍是一个有待研究的问题。

2.3信号重构

如何设计快速重构算法，从线性观测YACSX中恢复信号，是第三步要将解决的问题，即信号的重构问题。

在压缩感知理论中，由于观测数量M远小于信号长度N,因此不得不面对求解欠定方程组YACSX的问题。

表面上看，求解欠定方程组似乎是无望的，但是，文献［8］和［4］均指出由于信号X是稀疏的或可压缩的，这个前提从根本上改变了问题，使得问题可解，而观测矩阵具有RIP性质也为从M个观测值中精确恢复信号提供了理论保证。

为更清晰地描述压缩感知理论的信号重构问题，首先定义向量

Xx,,x2）…，xn的p范数为：

1/p

IIXIp（26）

当p0时得到0范数，它实际上表示X中非零项的个数。

于是，在信号X稀疏或可压缩的前提下，求解欠定方程组YACSX的问题转化为最小0范数问题：

minTX0s.t.ACSXTXY（2.7）

但是，它需要列出M中所有非零项位置的CK备种可能的线性组合，才能得到最优解。

因此，求解式（2.7）的数值计算极不稳定而且是NPt问题。

注意，这和稀疏分解问题从数学意义上讲是同样的问题。

于是稀疏分解的已有算法可以应用到CS重

构中。

Chen,DonohO和Saunders指出，求解一个更加简单的11优化问题会产生同等的

解（要求和不相关）：

minTX1s.t.ACSXTXY（2.8）

稍微的差别使得问题变成了一个凸优化问题，于是可以方便地化简为线性规划问题，典型算法代表：

BP算法.尽管BF算法可行，但在实际应用中存在两个问题：

第一，即使是常见的图像尺寸，算法的计算复杂度也难以忍受，在采样点个数满足McK，clog2N/K1时，重构计算复杂度的量级在O（N3）;

第二，由于1范数无法区分稀疏系数尺度的位置，所以尽管整体上重构信号在欧氏距离上逼近原信号，但存在低尺度能量搬移到了高尺度的现象，从而容易出现一些人工效应，如一维信号会在咼频出现振荡。

基于上述问题，2005年1月Candes和Romber龊出了不同的信号恢复方法，该方法要求对原信号具有少量的先验知识，同时也可以对所求结果施加适当的期望特性，以约束重构信号的特性。

通过在凸集上交替投影的方法，可以快速求解线性规划问题。

Tropp和Gilbert提出利用匹配追踪（MP）和正交匹配追踪（OMP算法来求解优化问题重构信号，大大提高了计算的速度，且易于实现。

树形匹配追踪（TMP）算法是2005

年La和ND提出的。

该方法针对BPM和OM方法没有考虑信号的多尺度分解时稀疏信号在各子带位置的关系，将稀疏系数的树型结构加以利用，进一步提升了重构信号的精度和求解的速度。

匹配追踪类算法都是基于贪婪迭代算法，以多于BF算法需

要的采样数目换取计算复杂度的降低。

例如0M算法，需要McK，c21n（N）个采样点数才能以较高的概率恢复信号，信号重构的计算复杂度为O（NK2）。

2006年

DonohO等人提出了分段正交匹配追踪（STOMPstagewiseOMP算法。

它将OM进行一定程度的简化，以逼近精度为代价进一步提高了计算速度（计算复杂度为O（N）），更

加适合于求解大规模问题。

匹配追踪类方法为其近似求解提供了有力工具，且该类方法用于稀疏信号重建时具有一定的稳定性。

文献［8］中提出的OM算法延续了匹配追踪算法中原子的选择准则，但是实现了递归地对已选原子集合进行正交化以保证迭代的最优性，从而减少了迭代次数。

此后，Needell和Vershynin等人在OM算法的基础上将正则化过程用于稀疏度K已知的OM算法中，提出了ROM算法。

ROM算法与OM算法的不同之处在于，该算法首先根据相关原子挑选多个原子作为候选集，然后从候选集中按照正则化原则挑选出部分原子，最后将其并入最终的支撑集，从而实现了原子的快速、有效选择。

最近出现的子空间匹配追踪算法（SubspacePursuit，SP）和压缩采样匹配追踪算法（CompressiveSamplingMatchingPursuit，CoSaMF引I入了回退筛选的思想，这些算法的重建质量与线性规划方法相当，同时重建复杂度低，但是这些算法都是建立在稀疏度K已知的基础上。

然而实际应用中信号的稀疏度K往往是未

知的，由此出现了对稀疏度K自适应的稀疏自适应匹配追踪算法（SparsityAdaptiveMatchingPursuit,SAMP），它通过设置一个可变步长，逐步对信号稀疏

度进行估计，因此可以在K未知的情况下获得较好的重建效果，速度也远快于OMP算法。

基于ROM算法和SAM算法的突出优势，本文研究了兼有ROM算法和SAM算法优势的自适应正则化匹配追踪（RAMP算法。

%（正交匹配追踪法OrthogonalMatchingPursuit）

clc;

clear

%%1•时域测试信号生成

K=7;

%

稀疏度（做FFT可以看出来）

N=256;

信号长度

M=64;

测量数（M>

=K*log（N/K）,至少40,但有出错的概率）

f仁50;

信号频率1

f2=100;

信号频率2

f3=200;

信号频率3

f4=400;

信号频率4

fs=800;

米样频率

ts=1/fs;

米样间隔

Ts=1:

N;

米样丿予列

x=0.3*cos（2*pi*f1*Ts*ts）+0.6*cos（2*pi*f2*Ts*ts）+0.1*cos（2*pi*f3*Ts*t

s）+0.9*cos（2*pi*f4*Ts*ts）;

%

完整信号

%%2.时域信号压缩传感

Phi=randn（M,N）;

测量矩阵（观测矩

阵）

s=Phi*x'

获得线性测量

%%3.正交匹配追踪法重构信号（本质上是L_1范数最优化问题）

m=2*K;

（m>

=K）

Psi=fft（eye（N,N））/sqrt（N）;

阵（正交基）

%Psi=dct2（256）;

%dct变换

T=Phi*Psi'

阵*正交反变换矩阵）

算法迭代次数

傅里叶正变换矩

恢复矩阵（测量矩

hat_y=zeros（1,N）;

换域）向量

Aug_t=[];

为空矩阵）

r_n=s;

fortimes=1:

m;

待重构的谱域（变

增量矩阵（初始值

残差值

的情况下,该迭代次数为K）

forcol=1:

列向量

product（col）=abs（T（:

col）'

*r_n）;

量和残差的投影系数（内积值）

end

[val,pos]=max（product）;

应的位置

Aug_t=[Aug_t,T（:

pos）];

迭代次数（有噪声

恢复矩阵的所有

恢复矩阵的列向

最大投影系数对

矩阵扩充

T（:

pos）=zeros（M,1）;

质上应该去掉，为了简单我把它置零）

aug_y=（Aug_t'

*Aug_t）A（-1）*Aug_t'

*s;

最小

r_n二s-Aug_t*aug_y;

pos_array（times）=pos;

数的位置

hat_y（pos_array）=aug_y;

hat_x=real（Psi'

*hat_y.'

）;

重构得到时域信号

figure

（1）;

holdon;

plot（hat_x,'

k.-'

）%

figure

（2）;

plot（x,'

r'

%legend（'

Recovery'

'

Original'

）

norm（hat_x.'

-x）/norm（x）%

Q=abs（hat_x'

-x）;

figure（3）;

plot（Q,'