cs杂类Word格式文档下载.docx
- 文档编号:21597343
- 上传时间:2023-01-31
- 格式:DOCX
- 页数:86
- 大小:8.82MB
cs杂类Word格式文档下载.docx
《cs杂类Word格式文档下载.docx》由会员分享,可在线阅读,更多相关《cs杂类Word格式文档下载.docx(86页珍藏版)》请在冰豆网上搜索。
统计学家早已知道,例如,著名的Kashin-Garnaev-Gluskin定理。
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
今年上半年要开展压缩感知与稀疏雷达成像方面的工作,并且开展“CompressedsensingV.S.limited-viewtomography”四次讨论.
压缩感知的一点背景
采样定理(又称取样定理、抽样定理)是采样带限信号过程所遵循的规律,1928年由美国电信工程师H.奈奎斯特首先提出来的,因此称为奈奎斯特采样定理。
1948年信息论的创始人C.E.香农对这一定理加以明确说明并正式作为定理引用,因此在许多文献中又称为香农采样定理。
该理论支配着几乎所有的信号/图像等的获取、处理、存储、传输等,即:
采样率不小于最高频率的两倍(该采样率称作Nyquist采样率)。
该理论指导下的信息获取、存储、融合、处理及传输等成为目前信息领域进一步发展的主要瓶颈之一,主要表现在两个方面:
(1)数据获取和处理方面。
对于单个(幅)信号/图像,在许多实际应用中(例如,超宽带通信,超宽带信号处理,THz成像,核磁共振,空间探测,等等),Nyquist采样硬件成本昂贵、获取效率低下,在某些情况甚至无法实现。
为突破Nyquist采样定理的限制,已发展了一些理论,其中典型的例子为Landau理论,Papoulis等的非均匀采样理论,M.Vetterli等的finiterateofinnovation信号采样理论,等。
对于多道(或多模式)数据(例如,传感器网络,波束合成,无线通信,空间探测,等),硬件成本昂贵、信息冗余及有效信息提取的效率低下,等等。
(2)数据存储和传输方面。
通常的做法是先按照Nyquist方式获取数据,然后将获得的数据进行压缩,最后将压缩后的数据进行存储或传输,显然,这样的方式造成很大程度的资源浪费。
另外,为保证信息的安全传输,通常的加密技术是用某种方式对信号进行编码,这给信息的安全传输和接受带来一定程度的麻烦。
综上所述:
Nyquist-Shannon理论并不是唯一、最优的采样理论,研究如何突破以Nyquist-Shannon采样理论为支撑的信息获取、处理、融合、存储及传输等的方式是推动信息领域进一步往前发展的关键。
众所周知:
(1)Nyquist采样率是信号精确复原的充分条件,但绝不是必要条件。
(2)除带宽可作为先验信息外,实际应用中的大多数信号/图像中拥有大量的structure。
由贝叶斯理论可知:
利用该structure信息可大大降低数据采集量。
(3)Johnson-Lindenstrauss理论表明:
以overwhelming性概率,K+1次测量足以精确复原N维空间的K-稀疏信号。
近年来,由D.Donoho(美国科学院院士)、E.Candes(Ridgelet,Curvelet创始人)及华裔科学家T.Tao(2006年菲尔兹奖获得者,2008年被评为世界上最聪明的科学家)等人提出了一种新的信息获取指导理论,即,压缩感知(CompressiveSensing(CS),或称CompressedSensing、CompressedSampling)。
该理论指出:
对可压缩的信号可通过远低于Nyquist标准的方式进行采样数据,仍能够精确地恢复出原始信号。
该理论一经提出,就在信息论、信号/图像处理、医疗成像、模式识别、地质勘探、光学/雷达成像、无线通信等领域受到高度关注,并被美国科技评论评为2007年度十大科技进展。
目前CS理论的研究尚属于起步阶段,但已表现出了强大的生命力,并已发展了分布CS理论(Baron等提出),1-BITCS理论(Baraniuk等提出),BayesianCS理论(Carin等提出),无限维CS理论(Elad等提出),变形CS理论(Meyer等提出),等等,已成为数学领域和工程应用领域的一大研究热点。
在美国、英国、德国、法国、瑞士、以色列等许多国家的知名大学(例如,麻省理工学院,斯坦福大学,普林斯顿大学,莱斯大学,杜克大学,慕尼黑工业大学,爱丁堡大学,等等)成立专门课题组对CS进行研究;
2008年西雅图Intel,贝尔实验室,Google等知名公司也开始组织研究CS;
近来美国空军实验室和杜克大学联合召开CS研讨会,与会报告的有小波专家R.Coifman教授,信号处理专家JamesMcClellan教授,微波遥感专家JianLi教授,理论数学专家R.DeVore教授,美国国防先期研究计划署(DARPA)和美国国家地理空间情报局(NGA)等政府部门成员,等等。
如同信号带宽对于Nyquist,信号的稀疏性是CS的必备条件;
如同Nyquist采样规则对于Nyquist-Shannon采样定理,CS的关键是非相关测量(为书写方便,称该测量为测量矩阵);
如同Fourier变换对于Nyquist,非线性优化是CS重建信号的手段。
CS的三个要素是信号的稀疏变换(目前的稀疏变换有DCT,wavelet,curvelet,overcompleteatomdecomposition,等),稀疏信号的非相关测量(目前的测量方式为线性测量)及稀疏信号的重建算法;
因此构建硬件容易实现的测量矩阵和快速稳定的重建算法是将CS推向实用化的关键,也是CS的主要研究内容。
压缩感知测量矩阵的研究现状
CS的关键是测量矩阵的构造,它可由测量波形和采样方式决定。
目前常采用的测量波形是i.i.d.高斯随机波形,i.i.d.贝努力分布的随机波形,正交函数系,等;
常用的采样方式是均匀采样,随机采样,jitter采样,等。
Tao测不准原理表明:
当N是质数时,2*S个频域数据采集就可将S-稀疏的N维时域信号精确重建。
2006年Candes,Romberg及Tao等人在研究高度欠定的核磁共振成像问题时,得出一个重要的结论:
当测量矩阵为Fourier矩阵时,O(K*log(N))的数据采集量能将N维空间的K稀疏信号精确重建。
2007年,Candes和Romberg将Fourier测量方式推广到任意正交测量并得到类似的结论。
这两项工作表述了一个问题:
可通过低维频域(或时域)信号实现高维稀疏时域(或频域)信号的精确重建。
值得一提的是Fourier测量并不普适,即,当被检测的信号不是时域或频域稀疏时,Fourier测量矩阵并不能减少测量数据的。
为解决该问题,Candes和Tao等证明:
i.i.d.的高斯随机变量形成测量矩阵可成为普适的CS测量矩阵。
尽管理论上的完美特性,但是无论在硬件实现上和重建算法构造上,该测量矩阵均无法实用。
2007年Candes,Romberg和Tao等人建立了著名的RIP理论,成为CS的奠基性理论。
该结果表明:
只要测量矩阵(注意:
不一定是随机矩阵,可以是确定性矩阵)满足所谓的RIP特性,那么K*log(N/K)的采样就能将N维信号的K个最大值稳定地重建出来。
事实上,RIP理论与许多已有的统计理论拥有相同的特征,例如,Johnson-Lindenstrauss定理,Kashin-Garnaev-Gluskin理论,Donoho测不准原理,等等。
尽管RIP完美的特性,然而很难用它来判断某一测量矩阵(除Fourier测量矩阵,高斯随机矩阵,等)是否拥有这种特性,并且也很难用它来指导设计测量矩阵。
尽管如此,不少作者基于RIP理论提出了多种确定性测量矩阵,例如,Chirp测量矩阵,Alltop序列形成的测量矩阵,随机卷积形成的测量矩阵,等,除了2008年我和向寅博士合作从理论上严格地证明了随机卷积的采样理论外,其它的测量方式仅仅用数值仿真作了说明,缺乏严格的理论证明。
在实际应用中,工程人员更多关心的是判断某一测量矩阵是否能重建某一稀疏程度的信号,并且需要多少的测量数据。
为衡量某个测量矩阵能处理稀疏信号的能力,除RIP理论外,还有Donoho提出的相关性子判别理论,Donoho和Tanner的k-neighborly理论,Kashin和Temlakov提出的测量算子零空间l1/l2特性,等等。
除Donoho提出的相关性判别理论外,其它理论与RIP理论一样,都很难用来判别某一测量矩阵的形态;
不幸的是,Donoho的判别理论在许多实际应用中无法使用。
因此,研究测量矩阵形态的判别理论是目前的研究热点,也是设计新的测量矩阵的关键。
如上所述,CS测量矩阵的实现硬件是将CS推向实用的必备条件。
在RIP理论指导下,莱斯大学R.Baraniuk教授等研制的单像素相机和A/I转换器。
随后,有多种CS硬件相继报道,例如,麻省理工学院L.L.Wald教授等人研制的MRIRF脉冲设备,麻省理工学院W.T.Freeman教授等人研制的编码孔径相机,耶鲁大学研制的超谱成像仪,伊利诺伊州立大学O.Milenkovic等人研制的DNA微阵列传感器,我们课题组研制的CS滤波器和混沌腔,等等。
这些CS硬件实现将CS向实用化推进了一大步,然而仅能处理有限维信号,无法处理无限维信号。
另外,由于缺乏有效的CS矩阵判别理论,除rice大学的单像素相机(硬件成本昂贵,重建算法效率低下)外,其它硬件均缺乏严格的理论分析。
CS的目的是尽可能减少测量数据。
因此需要解决如下两个方面的问题:
(a)测量矩阵的选择,该测量矩阵需要满足三个条件:
(a.1)需要最少的采集数据
(a.2)便于硬件实现和优化算法实现
(a.3)普适
(b)测量矩阵的硬件实现
压缩感知最优化算法研究现状
Nyquist属于local采样方式,其对应的信号重建算法是线性的;
CS采用global的非自适应测量方式,从而大大减少数据采集量,然而其付出的代价是信号的重建算法的软件成本。
因此,CS的最优化算法好坏直接影响到CS理论能否实用。
区别于Nyquist理论的线性感知问题,CS理论的信号复原需要求解一个非线性优化问题。
统计理论和组合优化理论告诉我们:
通过选择合适的测量方式和重建算法,仅需要K+1次测量就可将N维空间的K-稀疏信号精确重建。
组合优化是一个NP问题,当N很大时,数值上无法有效实现,且抗噪声能力很差;
然而,K+1测量是CS追求的目标。
Candes,Tao和Donoho等人已证明,当测量矩阵满足RIP条件时,组合优化问题(或称,l0约束优化问题)转化为l1约束的凸优化问题,数值上容易处理的优化问题。
目前已有的CS重建算法可以分为三类,第一类贪婪算法(Y.C.Pati,
G.Davis,S.MallatandZ.Zhang等人提出)(注意:
贪婪算法是针对组合优化提出,为讨论方便,将且与凸优化问题列在一起),目前已发展了多种变形,例如,OMP,OOMP,CosMP,等。
该类重建算法速度快(计算复杂性是O(N*K^2)),然而需要的测量数据多(O(K*logN))且精度低。
第二类方法是凸优化算法,代表性方法为LASSO,l1-Maggic,GPSR,等。
该类算法速度慢(计算复杂性为N^3),然而需要的测量数据少(O(K*log(N/K)),且精度高。
第三类方法是以SparseBayesian为代表的统计优化算法,该类方法位于前两者之间。
另外,值得强调的是目前的CS理论均架设信号的稀疏度K是已知的,然而在许多情况下,K并不已知,那么建立动态的测量方式和相应的重建算法也是今后关键的问题。
CS重建算法的目的是配合CS测量矩阵尽可能减少测量数据。
因此所设计的最优化算法需要满足如下条件:
(a)需要最少的采集数据
(b)计算速度快
(c)普适
(d)能够解决大尺度问题
压缩感知:
相位复原,电磁散射,计算电磁学,等
我将和Texas-Austin大学的Jafarpour教授合作进行该课题方面的工作,该主题以后将会具体和深入地讨论,今天的内容仅仅一个引子。
压缩感知发展于信息论,由于其具有高度信息挖掘的能力,在许多工程应用领域受到高度的关注。
许多学者,工程师都在做着各种努力。
众所周知,大计算量导致了计算电磁学进一步发展的瓶颈,许多电磁学专家都在试图作者各种努力,例如快速多极子,高频近似+数值模拟,
区域分解,等等。
事实上,由于感应电流的高度相关性(无论单次激励,还是多站响应),有两方面的工作可以进一步改善计算量:
第一,
通常我们采用0.1*wave的网格进行剖分,在许多条件下该采样率要远高于Nyquist率,并且如果进一步利用等效电流的可压缩性,采样
率还可以进一步降低。
在这个方面已经有不少的工作,例如,斯坦福大学的LaurentDemanet的工作‘CompressiveWaveComputation’。
第二,
多站响应计算是雷达成像,预警等方面的一个非常重要的内容。
显然,如果利用通常的计算方法,计算量非常惊人。
利用compressedsensing,Duke大学L.Carin提出了一种改进的方法,论文为‘CompressiveSensingforMulti-StaticScatteringAnalysis’。
我们知道,相位复原是一个高度病态的问题,其中faulsesolution非常多。
Romberg和他的同事得到了利用compressedsensing得到了一个可以精确相位复原的采样上界。
当然,该解仍然避免不了常规的解模糊,例如,图像的反转,等。
该论文的具体摘要为
ThetheoryofCompressedsensing(CS)allowsforsignalreconstructionfromanumberofmeasurements
dictatedbythesignal’sstructure,ratherthanitsbandwidth.Theinformationin
signalswhichhaveonlyafewnonzerovaluescanbecapturedinonlyafewmeasurements,such
asrandomFouriercoefficients.However,thereexistscenarioswherewecanonlyobservethe
magnitudeofthesecoefficients.Itisnaturaltoaskifsuchmeasurementscouldstillcapture
thesignal’sinformation,andifso,howmanyareneeded.Wehavefoundanupperboundof
O(k2log(N)randomFouriermodulusmeasurementsneededtouniquelyspecifyk-sparsesignals.
Inadditiontousingasignal’sstructuretoobserveitwithfewermeasurements,wealso
proposeamethodtousethisstructuretoaidinrecoveryfromtheFouriertransformmodulus.
Existingmethodstosolvethisphaseretrieval(PR)problemwithcomplexsignalsrequirea
priorisignalassumptionsonthesignal’ssupport.Wehaveshownthataconstraintbasedupon
signalstructure,the`1norm,isalsoeffectiveforPR.Notonlydoesithelprecoverstructured
signalsfromtheirFouriertransformmodulus,butitcandosowithfewermeasurementsthan
PRtraditionallyrequires.
IEEE征文
你不是神!
近来,很多朋友都和我讨论一个问题:
压缩感知能不能用在**,**,**,等等问题中。
强大的舆论
力量给我们留下一种错觉:
压缩感知无所不能!
可是我们都知道压缩感知也有适合它自己的土壤;
如同Nyquist采样理论只能解决带宽有限信号
的采样。
尽管它具有强大的能力和潜力,但是它不是万能的,压缩感知必须满足我前面提到的三个条件。
列举一个非常简单的例子,即使在诞生压缩感知的MRI成像领域,也有目前的压缩感知理论不能解决的
问题,例如,
GTHermanandRDavidi,Imagereconstructionfromasmallnumberofprojections,
InverseProblems24(2008)045011(17pp)
ABSTRACT:
Imagereconstructionfromprojectionssuffersfromaninherentdifficulty:
there
aredifferentimagesthathaveidenticalprojectionsinanyfinitenumberof
directions.However,byidentifyingthetypeofimagethatislikelytooccurin
anapplicationarea,onecandesignalgorithmsthatmaybeefficaciousinthat
areaevenwhenthenumberofprojectionsissmall.Onesuchapproachuses
totalvariationminimization.Wereportonanalgorithmbasedonthisapproach,
andshowthatsometimesitproducesmedically-desirablereconstructionsin
computerizedtomography(CT)evenfromasmallnumberofprojections.
However,wealsodemonstratethatsuchareconstructionisnotguaranteed
toprovidethemedically-relevantinformation:
whendataarecollectedbyan
actualCTscannerforasmallnumberofprojections,thenoiseinsuchdatamay
verywellresultinatumorinthebrainnotbeingvisibleinthereconstruction.
压缩感知根植于数学理论,它给目前国内浮躁的学术环境提了一个警钟!
因为只有很好地钻研它的基本理论
和方法,才能将其有效地应用在所关心的问题中;
否则它只能是一剂春药,一种无法名状的春药!
再说压缩感知
整个人类匍匐在上帝的脚下,艰难并努力地生存着。
有多少次,被上帝无情的戏弄;
也有多少次,尝试着和上帝较量。
每当想起这个事情的时候,我总是禁不住想起中华人民共和国国歌,歌词写的真好,“…起来,起来,不愿做奴隶的人们…”(潜台词是:
那些甘愿做奴隶的人们,你们就吸着别人的臭脚伢子味道好好享受,自我陶醉!
呵呵,田汉这个人也很损。
)。
人们接触上帝的唯一方式就是获得数据:
不停地刺激他,让他有所表示。
当然,也有人说,我可以梦想阿,我不反对,当然,梦想是每个人的权利。
面对统治整个宇宙,庞大的上帝,如何有效,充分地获取数据是人类唯一可行的方式,至少到目前为止看来是这样的。
如何面对这些庞大,神秘的这些数据?
我们的做法很天真,就是尽量获取呗(术语上,定义为“采样”)!
痛心阿,“尽量”这个词真的太苦!
因为我们不知道怎么样才能把上帝的细节尽可能的掌握清楚。
伟大的Fourier先生为我们开启了一扇大门,他认为:
信号可以用谐波来表示。
按照Fourier先生的要求,如果精确地掌握一个信号,需要知道该信号所有的频谱分量;
换句话说,为了精确地掌握一个信号,需要无限小的采样间隔才能精确地获得该信号。
显然,在大多数情况下是不可能的,但这并不会否定Fourier先生耀眼的光芒!
此时,Nyquist和Shanon登上了舞台,扮演了注定名垂史册的角色。
他们认为:
对于带宽信号(或者是准带宽信号),对应有限个频谱分量的采样就可以准确描述该信号(用CS的观点来看,这个处理本身就是信号压缩),这就是著名的Nyquist-
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- cs 杂类
![提示](https://static.bdocx.com/images/bang_tan.gif)