图像超分辨率重建文献综述PPT推荐.pptx
- 文档编号:13923354
- 上传时间:2022-10-15
- 格式:PPTX
- 页数:32
- 大小:1.12MB
图像超分辨率重建文献综述PPT推荐.pptx
《图像超分辨率重建文献综述PPT推荐.pptx》由会员分享,可在线阅读,更多相关《图像超分辨率重建文献综述PPT推荐.pptx(32页珍藏版)》请在冰豆网上搜索。
图像超分辨率重建方法在保留现有硬件设备的基础上通过软件的方法达到提高图像分辨率的目的,是一种经济实用并且切实可行的方案,具有重要的应用价值和广阔的应用前景。
Fromthemethodperspective,itcanbeclassifiedintoWhileconcerningthenumberofinputimages,itcanbecategorizedinto,SRR分类,Generic,SingleFrames,ImageClass,ImageNumber,Method,DomainSpecific,Interpolationbased,Learningbased,MultiFrame,Reconstructionbased,Spatialdomain,FrequencyDomain,FaceSRR,2012-12-19,5,武汉大学图像处理与智能系统实验室,超分辨重建(SRR)的方法,2012-12-19,6,武汉大学图像处理与智能系统实验室,观测模型SRR方法基于重建的方法基于学习的方法,图像失真模型,2012-12-19,7,武汉大学图像处理与智能系统实验室,图像失真的数学描述,移动,模糊,降采样,2012-12-19,8,武汉大学图像处理与智能系统实验室,观测模型(退化模型),超分辨率重建的方法,2012-12-19,9,武汉大学图像处理与智能系统实验室,超分辨率的概念,最早于上个世纪60年代由Harris提出用于单张影像的复原,并奠定了超分辨率的数学基础。
1984年,Tsai和Huang首次提出了利用多帧低分辨率退化图像进行超分辨率重建的问题,随后许多学者对图像超分辨率重建进行了研究,不仅在理论上说明了超分辨率重建的可能性,而且还提出和发展了很多具有实用价值的方法。
从目前的研究和应用成果来看,超分辨率重建算法主要分为频域方法、传统空域重建方法、基于学习(leaning-Based)的方法。
早期的研究工作主要集中在频域中进行,但考虑到更一般的退化模型,后期的研究工作几乎都集中在空域中进行。
基于学习的超分辨率重建方法是最近十年发展起来的,不仅克服了基于重建的方法在分辨率提高倍数方面的局限性,而且可以实现单幅图像的超分辨率重建。
基于重建的方法基于学习的方法,基于重建的方法,2012-12-19,10,武汉大学图像处理与智能系统实验室,频域方法非均匀插值法迭代方向投影(IBP)凸集投影(POCS)法基于概率的方法正则化方法自适应滤波方法盲超分辨率重建,频域法,2012-12-19,11,武汉大学图像处理与智能系统实验室,1984年,Tsai和Huang首次提出了序列图像的超分辨率重建问题,并给出了基于频域逼近的图像重建的方法,其观测模型是基于傅立叶变换的移位特性。
该类方法主要是通过频域消混叠重建来恢复图像的高频分量。
频域法的优点是理论简单,可并行处理。
然而运动模型只考虑到全局运动,局限性大,并且很难引入图像的先验知识来进行高分辨率图像的重建。
非均匀插值法,2012-12-19,12,武汉大学图像处理与智能系统实验室,处理流程,图像运动估计,图像合并,像素映射到高分辨率格点,进一步的去噪、抗糊化处理,非均匀插值方法的计算负荷较小,需要假定所有低分辨率图像的噪声和模糊特征都是相同的,而且在图像复原阶段忽略了插值阶段的误差,因此重建效果不佳,2012-12-19,13,武汉大学图像处理与智能系统实验室,迭代方向投影法(IBP),迭代反向投影算法由Irani和Peleg于1991年提出,其基本思想是:
将退化模型生成的低分辨率图像与输入的低分辨率图像之间的差值反向投影到高分辨率图像上,随着误差收敛,可以得到相应的超分辨率重建图像。
IBP算法可以用如下公式来表示:
该方法的特点是:
直观、简单、收敛快;
但没有惟一的解,难以利用先验知识,而且选择投影算子HBP是困难的,2012-12-19,14,武汉大学图像处理与智能系统实验室,凸集投影算法(POCS),凸集投影法是解决超分辨率问题的一类典型算法。
Stark和Oskoui首次(1989)将POCS应用于超分辨率重建,但其采用的运动模型却假定图像获取时仅存在整体平移,且没有考虑运动模糊的效果。
Patti等人(1997)提出了同时考虑混叠、传感器模糊、运动模糊和加性噪声的POCS方法。
POCS方法中,超分辨率解空间中可行解的每一个限制条件(如非负性、能量有界性、观测数据一致性、局部光滑性等),都被定义为一个约束凸集,通过对代表高分辨率图像性质的约束集求交,即可迭代解得解空间。
POCS的优点是可以方便地加入先验信息,可以很好地保持高分辨率图像上的边缘和细节。
缺点是解依赖于初始估计、收敛慢、运算量大和收敛稳定性不高等。
为了提高POCS算法收敛的稳定性,可以采用松弛投影算子,但松弛投影算子不利于保持图像的边缘和细节。
2012-12-19,15,武汉大学图像处理与智能系统实验室,凸集映射,符合条件2所有可能重构结果集合,重构结果落在符合各个条件的集合交集,符合条件1所有可能重构结果集合,符合条件3所有可能重构结果集合,凸集,凸集对应的映射算子,2012-12-19,16,武汉大学图像处理与智能系统实验室,基于概率的方法,包括最大后验概率估计法(MAP)和最大似然估计法(ML)Schultz和Stevenson(1994)提出的MAP方法是典型的概率论方法,他们把高分辨率图像和观察得到的低分辨率图像当作两个不同的随机过程。
根据MAP准则:
使用条件概率对上式进行变形、取负对数并舍弃常数项,可得,其中,高分辨率图像的先验模型可以由图像的先验知识确定,通常采用的MRF模型使图像的局部在光滑性和边缘保持上同时获得了比较好的效果,条件概率密度则由系统的噪声统计量确定MAP方法的优点在于有惟一解,如果有合理的先验假设可以获得非常好的图像边缘效果。
但是其显著的缺点就在于计算量相对比较大。
2012-12-19,17,武汉大学图像处理与智能系统实验室,基于概率的方法,2012-12-19,18,武汉大学图像处理与智能系统实验室,Schulz和Stevenson(1994)使用了具有边缘保持能力的Huber-Markov先验来完成超分辨率的MAP估计。
而Hardie等人(1997)首先考虑了图像配准参数和HR图像的联合MAP估计问题。
ML方法可以看作没有先验知识的特殊MAP估计,但由于SR问题本身是病态的,通常应优先选择MAP估计。
Tom和Katsaggelos(1995)提出了同时估计LR图像的亚像素位移、噪声方差和HR图像的ML方法,并通过EM算法求解。
Schultz和Stevenson(1995)最早将MAP优化与投影约束相结合。
Elad和Feuer(1997)提出了一种通用的最大似然估计凸集投影(ML/POCS)超分辨率方法等。
混合方法结合了各自的优点,能够充分利用先验知识,并且收敛的稳定性也有改善。
正则化方法,超分辨率重建本质上是一个病态的反问题,正则化方法利用先验信息对其进行约束,使超分辨率病态问题变成良态问题。
确定性正则化方法最常见的是约束最小二乘法,它的基本思路就是寻找一个X来最小化拉格朗日算子,并且使得这个X尽可能接近原始高分辨率图像。
其表达式如下:
正则化算法的优点是在解中可以直接加入先验约束、能确保解的存在和唯一、降噪能力强和收敛稳定性高等。
缺点是收敛慢和运算量大。
另外,该算法的边缘保持能力不如凸集投影方法,由这类方法获得的高分辨率图像的细节容易被平滑掉。
2012-12-19,19,武汉大学图像处理与智能系统实验室,正则化方法,2012-12-19,20,武汉大学图像处理与智能系统实验室,代表性的正则化超分辨率方法包括Hong等(1997)最早提出的基于Tikhonov正则化的超分辨率重建方法。
Nguyen等人(2001)运用广义交叉有效算法更新正则化参数。
Park等人(2004)把正则化方法用于基于DCT变换的压缩图像的超分辨率的重建。
He等人(2007)同步进行图像配准和图像的超分辨率重建,引入基于总变分的正则化方法来解决高分辨率图像重建问题。
Capel等(2000)提出基于连续全变差模型(TotalVariation;
TV)的文本序列图像SRR算法。
Farsiu等人(2004)提出了一种结合Bilateral滤波和TV正则化的改进BTV正则化算子。
此外,Kim等(2003)提出一种基于扩散张量的边缘增强和各向异性扩散变分SRR算法。
自适应滤波方法,Elad等(1999)首先提出了基于递归最陡下降法(R-SD)和递归最小均方法(R-LMS)的空域自适应滤波法的方法实现超分辨率重建。
Alam等(2000)针对维纳滤波进行改进,采用了一种加权最近邻域结合维纳滤波的超分辨率方法。
Hardie(2007)提出了基于自适应维纳滤波的方法,使用相邻的低分辨率图像像素的加权和来获得高分辨率图像。
Callico等(2005)则实现了一种基于Philips多格式编解码平台的实时超分辨率重建方案,对内存要求很低。
自适应滤波方法的缺点是最优滤波方法不能包含先验知识,而且该方法不能包含非线性先验知识。
2012-12-19,21,武汉大学图像处理与智能系统实验室,盲超分辨率重建,2012-12-19,22,武汉大学图像处理与智能系统实验室,目前大部分超分辨率算法是假设已知模糊过程,然而在很多情况下,模糊过程至少是部分未知的。
一个实用的超分辨率系统应该把模糊辨识融入到重建过程中,即盲超分辨率重建。
Harikumar和Bresler(1999)在不考虑噪声的情况下,引入基于子空间和似然估计的方法求得模糊方程及其大小,最后通过盲去卷积方法重建原始高分辨率图像。
Nguyen等人(2001)提出了基于GCV(GeneralizedCross-validation)和高斯积分的参数化模糊辨识和规整化方法。
但是,将模糊函数假定为单参数的高斯函数不符合应用中的实际情况。
乔建萍(2008)对盲超分辨率图像复原分别提出了基于矢量量化的模糊参数辨识方法以及基于支持向量机的方法。
基于学习的方法,2012-12-19,23,武汉大学图像处理与智能系统实验室,NN算法K-NN算法(Example-based方法)流形学习方法基于稀疏表示的方法幻想脸方法图像类推方法其他方法,基于学习的超分辨率模型,基于学习的超分辨重建方法的主旨思想是通过一定数量的训练样本图像,研究低分辨率图像和高分辨率图像之间的统计关系,并把它运用到从低分辨率图像到高分辨率图像的重建过程中。
典型的基于学习的超分辨率模型可定义为:
从高低分辨率样本图像中提取图像块作为训练样本库,其中是图像块的向量表示。
超分辨率重建过程中,从输入低
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 图像 分辨率 重建 文献 综述