超分辨率算法综述.docx
- 文档编号:5152613
- 上传时间:2022-12-13
- 格式:DOCX
- 页数:10
- 大小:79.11KB
超分辨率算法综述.docx
《超分辨率算法综述.docx》由会员分享,可在线阅读,更多相关《超分辨率算法综述.docx(10页珍藏版)》请在冰豆网上搜索。
超分辨率算法综述
图像超分辨率算法综述
摘要:
介绍了图像超分辨率算法的概念和来源,通过回顾插值、重建和学习这3个层面的超分辨率算法,对图像超分辨率的方法进行了分类对比,着重讨论了各算法在还原质量、通用能力等方面所存在的问题,并对未来超分辨率技术的发展作了一些展望。
关键词:
图像超分辨率;插值;重建;学习;
Abstract:
Thispaperintroducedtheconceptionandoriginofimagesuperresolutiontechnology.Byreviewingthesethreekindsofmethods(interpolation,reconstruct,study),itcontrastedandclassifiedthemethodsofimagesuper-resolution,andatlast,someperspectivesofsuper-resolutionaregiven・
Keywords:
imagesuper-resolution;interpolation;reconstruct;study;
1引言
1.1超分辨率的概念
图像超分辨率率(superresolution,SR)是指由_幅低分辨率图像(lowresolution,LR)或图像序列恢复出高分辨率图像(highresolution,
HR)oHR意味着图像具有高像素密度,可以提供更多的细节,这些细节往往在应用中起到关键作用。
要获得高分辨率图像,最直接的办法是采用高分辨率图像传感器,但山于传感器和光学器件制造工艺和成本的限制山,在很多场合和大规模部署中很难实现。
因此,利用现有的设备,通过超分辨率技术获取HR图像(参见图1)具有重要的现实意义。
待求HR图像已知LR图像
图1图像超分辨率示意图
图像超分辨率技术分为超分辨率复原和超分辨率重建,许多文献中没有严格地区分这两个概念,其至有许多文献中把超分辨率图像重建和超分辨率图像复原的概念等同起来,严格意义上讲二者是有本质区别的,超分辨率图像重建和超分辨率图像复原有一个共同点,就是把在获取图像时丢失或降低的高频信息恢复出来。
然而它们丢失高频信息的原因不同,超分辨率复原在光学中是恢复出超过衍射级截止频率以外的信息,而超分辨率重建方法是在工程应用中试图恢复山混叠产生的高频成分。
儿何处理、图像增强、图像复原都是从图像到图像的处理,即输入的原始数据是图像,处理后输出的也是图像,而重建处理则是从数据到图像的处理。
也就是说输入的是某种数据,而处理结果得到的是图像。
但两者的LI的是一致的,都是山低分辨率图像经过处理得到高分辨率图像。
另外有些文献中对超分辨率的概念下定义的范围比较窄,只是指基于同一场景的图像序列和视频序列的超分辨处理,实际上,多幅图像的超分辨率大多数都是以单幅图像的超分辨率为基础的。
在图像获取过程中有很多因素会导致图像质量下降,如传感器的形状和尺寸、光学系统的像差、大气扰动、运动、散焦等。
另外,在成像、传输、存储过程中,会引入不同类型的噪声,这些都会直接影响到图像的分辨率。
此外,数字化采集过程也会影响图像的分辨率,欠采样效应会造成图像的频谱混叠,使获取的图像因变形效应而发生降质。
山于军事侦察及医学图像、卫星图像、视频应用及其它许多领域的实际需要,人们对得到的图像的质量要求越来越高。
虽然光学元件能有效的限制传感器阵列上的图像频带宽度,使获取的图像乂可能避免变形效应的发生。
但这要求光学元件与传感器阵列进行有效的组合,而这在实际场合中是很难做到的,同时提升硬件要花费很高的经济成本,图像质量的提高也是有限的,因此,超分辨率图像复原技术就显得更加重要了,其中,图像超分辨率技术是数字图像处理领域中的一个重要分支。
随着图像超分辨率理论和技术的日益成熟,图像超分辨率技术的应用更加广泛。
本文着重对图像超分辨率方法进行阐述和分析,以向人们展示超图像分辨率技术的发展方向和应用前景。
1.2图像超分辨率发展的背景及现状
超分辨率概念最早出现在光学领域。
在该领域中,超分辨率是指试图复原衍射极限以外数据的过程。
ToraldodiFrancia在1955年的雳达文献中关于光学成像笫一次提出了超分辨率的概念。
复原的概念最早是illJ.L.Harris和J.w.Goodman分别于1964年和1965年提出一种称为Harris-Goodman频谱外推的方法。
这些算法在某些假设条件下得到较好的仿真结果,但实际应用中效果并不理想。
Tsai&Huang首先提出了基于序列或多帧图像的超分辨率重建问题。
1982,D.C.C.Youla和H.Webb在总结前人的基础上,提出了凸集投影图像复原(Poes)方法。
1986年,S.E.Meinel提出了服从泊松分布的最大似然复原(泊松-ML)方法。
1991年和1992年,B.R.Hunt和PJ.Sementilli在Bayes分析的基础上,提出了泊松最大后验概率复原(泊松・MAP)方法,并于1993年对超分辨率的定义和特性进行了分析,提出了图像超分辨率的能力取决于物体的空间限制、噪声和采样间隔。
近年来,图像超分辨率研究比较活跃,美国加州大学Milanfar等提出的大量实用超分辨率图像复原算法,Chan等从总变差正则方面,Zhao等、Nagy等从数学方法、多帧图像的去卷积和彩色图像的超分辨率增强方面,对超分辨率图像恢复进行了研究。
Chan等研究了超分辨率图像恢复的预处理迭代算法。
此外,Elad等对包含任意图像运动的超分辨率恢复进行了研究;Rajan和Wood等分别从物理学和成像透镜散射的角度提出了新的超分辨率图像恢复方法;韩国Pohang理工大学对各向异性扩散用于超分辨率oChung-Ang图像科学和多媒体与电影学院在基于融合的自适应正则超分辨率方面分别进行了研究。
国内许多科研院所和大学等对超分辨率图像恢复进行研究,其中部分是关于频谱外推、混叠效应的消除,其他主要是对国外超分辨率方法所进行的改进,包括对POCS算法和MAP算法的改进,对超分辨率插值方法的改进,基于小波域隐马尔可夫树(HMT)模型对彩色图像超分辨率方法的改进以及对超分辨率图像重构方法的改进。
2图像超分辨率研究的主要方法
2.1图像超分辨率方法的分类
图像超分辨率按要处理的图像源可分为单幅图像超分辨和多幅图像超分辨。
单幅图像超分辨率是指恢复出山于图像获取时丢失的信息(主要是指高频信息),多幅图像超分辨率是指从低分辨率的图像序列恢复出高分辨率的图像。
基于序列或多幅图像的超分辨率增强就是利用这些不同,但相互补充的信息以及LI标的先验信息,从一系列低分辨率的图像恢复出高分辨率的单幅图像。
该思想与前述的单幅图像超分辨率方法相比,其优点是除了利用物体的先验信息和单幅图像的信息之外,还充分利用了不同图像之间的补充信息,因此,其超分辨率增强能力高于单幅图像超分辨率方法。
但是在实际应用中,获得同一场景的图像序列常常是很困难,例如在未来高技术局部战争条件下,战场环境瞬息万变,战场信息稍纵即逝,因此给军事侦察提出了更高的要求,在这种情况下,要想获得同一场景的多幅图像很难,因此,单幅图像的超分辨率技术就显得尤为遼要。
同时,多幅图像的超分辨率方法大多都是以单幅图像的超分辨率为基础的,只有对单幅图像的超分辨率图像进行更广泛深入地研究,多幅图像的超分辨率技术才能有更广阔的前景。
U前,单幅图像的超分辨率研究较少,多幅图像超分辨率已经成为研究的热点,就是因为多幅图像比单幅图像所含的可利用的信息量大。
图像超分辨率按实现的具体方法主要可分为空域法和频域法。
频域方法是在频域上消除频谱混叠,改善空间分辨率;空间域方法是在图像像素的尺度上,通过对图像像素点的变换、约束而改善图像质量的方法。
频率域方法是图像超分辨率中的一类重要方法。
LI前比较流行的是能量连续降减法和消混叠重建方法。
消混叠重建方法是通过解混叠而改善影像的空间分辨率实现超分辨率。
中国科学院遥感应用研究所从分辨率低的欠采样图像会导致相应空间频率域频谱混叠的理论出发,给出了多次欠采样图像在频率域混叠的更一般的公式,并给出一种针对不同分辨率图像解频谱混叠的逐行迭代方法,该方法在有噪声的情况下也具有很好的收敛性,取得了很好的效果。
频域方法实际上是在频域内解决图像内插问题,其观察模型是基于傅里叶变换的移位特性。
频域方法基于以下三条基本性质:
(1)傅里叶变换的平移特性。
(2)连续傅里叶变换和离散傅里叶变换之间的混叠关系。
(3)原始场景的带宽有限。
频域方法理论简单,运算复杂度低,很容易实现并行处理,具有直观的去变形超分辨率机制。
但这类方法的缺点是所基于的理论前提过于理想化,不能有效地应用于多数场合,只能局限于全局平移运动和线性空间不变降质模型,包含空域先验知识的能力有限。
空域方法的适用范围较广,具有很强的包含空域先验约束的能力,主要包括迭代反投影方法(IBP)、集合论方法(如凸集投影:
POCS)、统计复原方法(最大后验概率估计MAP和最大似然估计ML),混合MAP/POCS方法以及自适应滤波方法,人工神经网络法、基于非均匀采样的插值法、基于最优化技术的方法等。
其中,非均匀样本内插方法、迭代反投影方法等结合先验信息的能力很弱,在改善图像超分辨率效果方面受到了一定的限制。
因此,研究和应用较多的是凸集投影方法和最大后验概率估计方法。
下面重点介绍儿种常用的超分辨率方法的特点。
2.2几种常用的图像超分辨率方法
2.2.1超分辨率系统模型及技术概述
对超分辨率问题的求解,通常是构造一个前向关系模型,低分辨率图像和高分辨率图像之间的关系可以表述为
儿=DBjMk、jXj+勺,1 (1) 其中,P为图像序列帧数,形、儿和®•分别为待求的第j帧高分辨率图像、第k帧观察到的低分辨率图像和图像获取时的噪声,矩阵D、巧和陆j分别为下釆样矩阵、模糊矩阵和笫丿•帧和第R帧之间运动矢量所构成的运动矩阵。 关于模糊矩阵和运动矩阵的先后关系,WANGZZ等⑵指出,如果更换两者的位置会引起系统误差。 设H=DBM,则式 (1)即可简化为 y=Hx+n (2) 求解式 (2)需要确定也就是求解或者确认式 (1)中的7)、3、M和噪声”,这包括以下儿个问题: (1)运动估讣,需要从观察到的低分辨率图像得到精确的运动矢量,并使用插值等方法去近似高分辨率图像的运动矢量; (2)图像模糊的估计,通常需要对点扩散函数进行计算或假设;(3)噪声估计,噪声会极大地影响系统的求解,对于噪声的估计是非常重要的一步。 SR技术在早期研究中仅指基于多幅图像的还原方法,将基于单幅图像的增强称为插值,而LI前多数文献中将这2种情况均称为超分辨率。 超分辨率技术自Tsai和Huang提出利用多帧图像序列来恢复高分辨率图像以来,至今已有二十余年,其间大量算法被提出。 LI前,图像超分辨率研究可分为3个主要范畴: 基于插值、基于重建和基于学习的方法。 2.2.2基于插值的方法 基于多帧图像插值技术的方法是超分辨率研究中最直观的方法。 这类方法首先估计各帧图像之间的相对运动信息,获得HR图像在非均匀间距采样点上的像素值,接着通过非均匀插值得到HR栅格上的像素值,最后采用图像恢复技术来去除模糊和降低噪声。 典型的方法包括: Rajan和Chaudhuri通过分解、插值和融合3个步骤实现的通用插值方法;TAOHJ等提出的小波域的双线性插值;Lertrattanapanich和Bose提出的使用基于光滑性约束的Delaunay三角化插值算法等。 这类方法的优点是算法快速易行,适合并行计算,基本可以满足实时要求,但因为不能引入额外有用的高频信息,因而很难在SR图像中得到锐化的效果,同时,也没有考虑到LR图像的像素值并不是HR图像的理想采样值,而是对HR图像像素值的空间平均和卷积效应这一事实。 2.2.3基于重建的方法 (1)凸集投影法(POCS) Stark和Oskoui⑶最早提出的凸集投影方法可以简单而有效地求解超分辨率问题,通过把高分辨率图像的解空间上与一系列的代表高分辨率图像性质的约束集(如非负性、能量有界性、观测数据一致性、局部光滑性等)相交,可以得到一个更小的解空间。 从高分辨率图像空间的一点出发,不断利用迭代投影的方法寻找满足所有约束凸集的下一点,最终获得高分辨率图像的估计。 对于初始值卍,设每一个约束集定义一个凸集投影算子R,则计算过程为 xn=PN...P,P2P}x°(3) 凸集投影法的优点在于算法简单,能够充分利用先验知识。 但是缺点在于解不惟一,收敛过程依赖初值的选择,解不稳定。 (2)贝叶斯分析方法 贝叶斯分析法包括最大后验概率估讣法(MAP)和最大似然估计法(ML),最大后验概率估计方法的优点是在解中可以直接加入先验约束、能确保解的存在和唯一、降噪能力强和收敛稳定性高等。 缺点是收敛慢和运算量大。 另外,最大后验概率估计方法的边缘保持能力不如凸集投影方法,山这类方法获得的高分辨率图像上的细节容易被平滑掉。 (3)迭代反投影法(IBP) Irani和PelegWI提出的迭代反向投影法是超分辨率图像复原中具有代表性的一种方法。 首先估计一个高分辨率图像作为初始解F,通常采用单幅低分辨率图像的插值结果。 然后根据系统模型,讣算其模拟低分辨率图像: =Hx{)+ii(4) 如果亍与原始高分辨率图像精确相等,并且若式(4)模拟的成像过程符合实际情况,则模拟低分辨率序列护应与观察得到的实际低分辨率图像y相同。 当两者不同时,将它们之间的误差y-反向投影到X0上使其得到修正: U加()7)(5) 当误差满足要求时,迭代结束,Irani和Peleg证明了算法是收敛的。 算法简单、直观。 但是,日必较难选择,并且没有能够利用到先验知识,解不稳定、不惟一。 (4)最大后验概率方法 Schultz和Stevenson⑸提出的MAP方法是典型的概率论方法,他们把高分辨率图像和观察得到的低分辨率图像当作两个不同的随机过程。 根据MAP准则: 兀哪=argmaxJPr(xIy)](6) 使用条件概率对式(6)进行变形、取负对数并舍弃常数项,可得 xmop=argmixx[-logPr(y\x)~logPr(x)](7) 其中,高分辨率图像的先验模型E(x)可以山图像的先验知识确定,通常釆用的MRF模型使图像的局部在光滑性和边缘保持上同时获得了比较好的效果,条件概率密度E(yix)则山系统的噪声统讣量确定。 其它还有基于高斯先验假设和动态树推理算法等。 MAP方法的优点在于有惟一解,如果有合理的先验假设可以获得非常好的图像边缘效果。 但是其显著的缺点就在于计算量相对比较大。 (5)正规化法 Nguyen®】等提出的正则有参超分辨率图像恢复把模糊矩阵C表示为带参数o的B(o),对应地将H表示为H(o),则系统模型式 (2)改写为: y=H{(y)x+n(8) 正则有参超分辨率恢复采用恒定正则算子,使用一个最优正则参数,构造关于图像模糊参数o、正则参数X和高分辨率图像x的Tikhonov最小化能量泛函,形成正则超分辨率恢复模型: {元亍,无}=argmin[Ily-日Q)x11;+兄11別;](9) Nguyen等釆用广义交义验证(GCV)的参数佔汁方法确定参数。 和X,最后使用预处理共轨梯度法(PCG)求解式(9)导出的线性方程: (HrH+H)~lx=Hry(10) 正则化算法的优点在于不要求点扩散函数(PSF)为圆形,也不需要对图像和噪声做任何统计假设,但是正则化项在抑制噪声的同时也抑制了图像的细节,容易产生过于平滑的效果。 (6)混合方法 通过最小化有特定集合约束的最大后验概率/最大似然估计(MAP/ML)的损失函数,得到高分辨率图像的估讣就是最大后验概率/最大似然估计/凸集投影(MAP/MUPOCS)混合方法。 Schultz和Stevenson最早将MAP优化与投影约束相结合,后来Elad和Feuer提出了一种通用的最大似然估i|7凸集投影(ML/POCS)超分辨率方法: min£2={[y-Hx]rW[y-Hx]+0[Sx『U[Sx]},{xeCkA 其中,W为噪音的自相关函数,S为Laplacian算子,V为控制光滑程度的加权矩阵,G为其他的非椭圆约束。 混合方法结合了MAP和POCS各自的优点,充分利用了先验知识并且收敛的稳定性也比较好,是目前为止最好的基于重建的算法。 上述介绍的6类常用的基于重建的超分辨率方法,共同的优点是只需要一些局部性的先验假设,就能在一定程度上缓解了插值方法所产生的模糊或者锯齿效果。 但缺点也是显而易见的: 当抽取率较大(如4倍以上)时,获取准确的亚像素运动信息是不现实的,且不准确的运动信息对重建效果影响很大。 鉴于亚像素的配准困难,不少文献中都假设已经获得准确的亚像素精度的运动。 即便假设已获得准确的亚像素运动信息,当抽取率较大时,重建效果通常也不太理想,主要原因是重建过程中能够使用的先验知识太少,低分辨率图像提供的信息不满足高分辨率需求。 2.2.4基于学习的方法 基于学习的方法是近年来超分辨率算法研究的热点方向。 其基本思路是通过给定的训练图像集,计算测试样本的patch与训练图像集patches之间的邻域关系,并构造最优权值约束,来获得先验知识并逼近测试样本的高分辨率图像。 当低分辨率数据提供的信息不满足高分辨率需求时,基于学习的方法可以获得更多的图像高层信息,因而具有很大优势,在图像超分辨率应用中可能得到比较理想的结果,为在大抽取率情况下恢复必要的高频信息给出了新的思路。 基于学习的方法认为,低分辨率的图像已经拥有充分的用于推理预测其所对应的高分辨率部分(例如边缘等)的信息,通过对一组同时包括高分辨率图像和低分辨率图像的训练集合的训练,学习到一个联合的系统模型。 这个模型的表现形式可以是一组学习到的插值核、一个低分辨率patch的查找表、低分辨率patch与高分辨率patch之间的映射系数等。 (1)Example-based方法 Freeman'7'等首次使用Markov网络对图像的空间关系进行建模,他把图像分成一些5X5或7X7的小块,成为patch,通过学习,获得表示高分辨率patch之间的转移概率矩阵屮和表示高分辨率patch和低分辨率patch之间的转移概率矩阵①。 对于一个给定的测试图像,同样把它分割成patch之后,对于每一个patch在寻找它在Markov网络中的位置,同时获得它与一些高分辨率patch之间的关系,再根据训练得到的转移概率把高频分量添进去。 Example-based方法是较早提出使用学习的方法实现超分辨率,相对于之前的基于插值和基于重建的方法,这种方法可以获取丰富的高频信息,在放大4倍时,仍能获得较高的图像质量。 但缺点也比较明显,训练样本的选择要求比较高,并且对于图像中的噪声极为敏感。 (2)邻域嵌入方法(neighborembedding) Chang等首次提出了基于邻域嵌入的图像超分辨率方法,其假定了高分辨率和对应的低分辨率图像块在特征空间可以形成具有相同局部儿何结构的流形。 首先通过训练得到高分辨率patch和低分辨率patch的流形,接着对于测试样本中的每一个patch,寻找其在低维流形中的k近邻表示,最后使用这些系数加权得到其在高维流形中patch的估计,即高分辨率patch.但是,高低分辨率块在邻域嵌入时并不是总具有邻域保持,要提高邻域保持,有2个可能的途径: 一个是选择更合理的描述图像块的特征,以便能更好地保持邻域关系,一个是给定高分辨率邻域块,选择更好的重建函数。 因此,为了改进邻域嵌入方法的不足,张军平提出了基于直方图匹配的训练样本选择算法,基于残差局部嵌入的方法和基于边缘检测和特征选择的方法。 相对于Example-based的方法,邻域嵌入的方法需要较少的训练样本,并且对于噪声的敬感度不是非常强。 (3)支持向量回归方法(SVR) Karl和Nguyen等提出了使用支持向量回归实现图像的超分辨率,他们通过加入一些额外的约束条件把kernel学习由半正定规划问题转化为二次规划问题求解。 对于测试数据,则先对图像patch进行内容分类,再在其所属的类中做支持向量回归,得到高分辨率patcho SVR方法实现了对样本的自动选择,训练集较小,并且该算法在频域中同样适用。 但是从实验结果来看,图像的对比度有所下降。 (4)虚幻脸(hallucinationface) Baker和Kanade最早提出仅对人脸做超分辨率,他们的复原算法釆用从训练patch数据库中查询与测试低分辨率patch最相近的作为输出,并且取得了8倍的放大效果。 LIUC等通过主成分分析(PCA)估计一个全局的脸而后釆用非参数的局部模型进行拟合。 同样采用特征脸表示的还有文献。 另外,还有一些工作是针对人脸视频做超分辨率,其中Dedeoglu等的算法在特定的人脸库中甚至取得了16倍的放大效果。 相对于其他的超分辨率技术,虚幻脸山于增加了人脸这个非常重要的先验条件,使得超分辨率的质量大幅提高,但是如果针对通用人脸(更多的表情、更多的人种和更广的年龄分布),U前的算法就只能获得4倍左右的放大效果。 (5)稀疏表示法(sparsepresentation) 最近,Yang⑻等提出了使用图形patch的稀疏表示来实现超分辨率。 他们从一些高分辨率图像中随机选取一些patch组成一个过完备的词典(overcompletedictionary),接着对于每一个测试patch,通过线性规划的方法求得该测试patch在这个过完备的词典下的稀疏表示,最后以这组系数加权重构出高分辨率的图像。 这种方法克服了邻域嵌入方法中对于邻域大小的选择问题,即在求解稀疏表示的时候,无需指定重构所需要基的个数,其表示系数和基的个数将同时通过线性规划求解得到。 然而,LI前该方法的缺陷就在于过完备词典的选择,随机的选择只能实现特定领域的图像的超分辨率,对于通用图像的超分辨率效果较差。 3图像超分辨率的发展前景 图像超分辨率在视频、遥感、医学和安全监控等领域具都有十分重要的应用,另外其应用也逐步涉及到其它各个领域。 在高清数字电视方面采用超分辨率技术会进一步减少成本,提高画面的质量。 超分辨率技术在采集军事与气象遥感图像应用可实现高于系统分辨率的图像观测。 在医学成像系统中(如CT、MRI和超声波仪器等),可以用图像超分辨率技术来提高图像质量,对病变U标进行仔细的检测。 在银行、证券等部门的安全监控系统中,当有异常悄况发生后。 可对监控录像进行超分辨率重建,提高图像要害部分的分辨率,从而为事件的处理提供重要的线索。 在未来超分辨技术广泛的应用前景必然会推动这一技术不断发展。 为了获得高质量的高分辨率的图像,满足不同情况下的实际应用要求,未来的发展主要集中在以下儿个方面: (1)精确有效的运动估计算法⑼。 图像的运动变形、模糊和噪声等降质因素具有密切的关系,在图像超分辨率增强中,需要对图像序列进行亚像素精度的运动估iloIII于运动佔计只能利用低分辨率序列上的信息,所以很难达到精确的运动估计。 虽然LI前已经有很多比较成熟的运动估讣方法,但在实际应用场合仍然无法获得令人满意的运动补偿效果,同时这些方法的适用场合非常有限,需要发展和寻求新的运动模型,对运动进行精确估计。 (2)
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 分辨率 算法 综述