图像拼接技术综述00.docx
- 文档编号:3984426
- 上传时间:2022-11-26
- 格式:DOCX
- 页数:9
- 大小:39.77KB
图像拼接技术综述00.docx
《图像拼接技术综述00.docx》由会员分享,可在线阅读,更多相关《图像拼接技术综述00.docx(9页珍藏版)》请在冰豆网上搜索。
图像拼接技术综述00
图像拼接技术综述
摘要:
给出了图像拼接的一般流程,在此基础上将图像拼接技术分为两个关键技术——图像配准技术和图像融合技术,并分别对图像配准技术和图像融合技术的经典算法及最新算法作一概述和比较。
关键词:
全景图像;图像拼接;图像配准;图像融合
图像拼接技术就是将数张有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)拼成一幅大型的无缝高分辨率图像的技术。
使用普通相机获取宽视野的场景图像时,因为相机的分辨率一定,拍摄的场景越大,得到的图像分辨率就越低;而全景相机、广角镜头等不仅非常昂贵,而且失真也比较严重。
为了在不降低图像分辨率的条件下获取超宽视角甚至360
的全景图,利用计算机进行图像拼接被提出并逐渐研究发展起来。
现在,图像拼接技术已经成为计算机图形学的研究焦点,被广泛应用于空间探测、遥感图像处理、医学图像分析、视频压缩和传输、虚拟现实技术、超分辨率重构等领域。
图像配准和图像融合是图像拼接的两个关键技术。
图像配准是图像融合的基础,而且图像配准算法的计算量一般非常大,因此图像拼接技术的发展很大程度上取决于图像配准技术的创新。
早期的图像配准技术主要采用点匹配法,这类方法速度慢、精度低,而且常常需要人工选取初始匹配点,无法适应大数据量图像的融合。
近十年来,许多图像自动拼接技术被提出并实现。
1992年,剑桥大学的Brown概述了图像配准技术的基本理论以及主要方法[1]。
2003年,Zitov等人综述了随后十年的图像配准领域的相关方法[2]。
2004年,国内关于图像拼接技术的综述性文献[3]把图像拼接技术分为基于自适应流形和基于人工确定流形两类进行论述,但是一些较新的技术没有介绍。
1图像拼接流程
图像拼接的方法很多,不同的算法步骤会有一定差异,但
大致的过程是相同的。
一般来说,图像拼接主要包括以下五步:
a)图像预处理。
包括数字图像处理的基本操作(如去噪、边缘提取、直方图处理等)、建立图像的匹配模板以及对图像进行某种变换(如傅里叶变换、小波变换等)等操作。
b)图像配准。
就是采用一定的匹配策略,找出待拼接图像中的模板或特征点在参考图像中对应的位置,进而确定两幅图像之间的变换关系。
c)建立变换模型。
根据模板或者图像特征之间的对应关系,计算出数学模型中的各参数值,从而建立两幅图像的数学变换模型。
d)统一坐标变换。
根据建立的数学转换模型,将待拼接图像转换到参考图像的坐标系中,完成统一坐标变换。
e)融合重构。
将带拼接图像的重合区域进行融合得到拼接重构的平滑无缝全景图像。
图1给出了图像拼接的基本流程图。
2图像配准
图像拼接的关键是精确找出相邻两张图像中重叠部分的位置,然后确定两张图像的变换关系,即图像配准。
由于视角、拍摄时间、辨率、分光照强度、传感器类型等的差异,待拼接的图像往往存在平移、旋转、度变化、尺透视形变、色差、扭曲、运动目标遮挡等差别,配准的目的就是找出一种最能描述待拼接图像之间映射关系的变换模型。
目前常用的一些空间变换模仿射变换以及投影变换等[4],如图2型有平移变换、刚性变换、所示。
可以用矩阵的形式来描述上述关系模型(8参数模型):
其中:
参数矩阵M中各参数的作用如表1所示。
表1投影变换矩阵M中各参数作用
参数作用
m2
水平方向位移
m5垂直方向位移
m0m1m3m4尺度和旋转量
m6m7水平与垂直方向的变形量
根据各参数的意义及不同变换模型的特点,对矩阵M作相应简化就可以得到各变换模型的参数矩阵。
本文主要讨论刚性变换模型图像配准的一些算法,即只考虑平移、转和尺旋度
设I1为与I2具有平移、旋转和尺度关系的图像:
I1(x,y)=I2[s(xcos+ysin)-x,s(-xsin+ycos)-y]0000
其中:
(x,y)为平移参数;为旋转角;s为尺度缩放因子。
图像的平移关系比较容易检测和配准,但旋转和尺度缩放的检测比较困难。
许多新的图像配准算法都是针对这一特点进行算法设计的。
图像配准算法大体可分为基于特征的图像配准和基于区域的图像配准两类。
21基于特征的图像配准
基于特征的图像拼接是利用图像的明显特征来估计图像之间的变换,而不是利用图像全部的信息。
这些明显特征如图像的特征点(角点或关键点)、轮廓和一些不变矩等。
211控制点配准算法
根据前面提到的8参数模型,图像的配准问题可以归结为求解对应点集。
在待配准的图像中选取一些特征点,对准了这些特征点,两幅图像也就配准了。
控制点法往往要借助人工选[4]取初始匹配点,这大大降低了算法的速度和适用范围。
因此有必要采用一些数学方法自动实现图像间对应控制点的选取。
212自动角点检测配准算法
这类算法通过检测图像中的角点,然后对两幅图像的角点按照一定的配准原则进行配准,最后剔除误匹配对,得到正确的配准结果。
角点没有明确的数学定义。
一般认为角点是二维图像亮度变化剧烈的点或图像边缘曲线上曲率极大值的点。
这些点在保留图像图形重要特征的同时,可以有效地减少信息的数据量,使其信息的含量很高,有效地提高了计算的速度和配准的靠性,使得实时处理成为可能。
图像的角点检测方法可概括为两类。
第一类方法先将图像分割为区域,用链码表示目标边界,然后通过方向变化确定角点。
这种方法的主要缺点是角点检测的结果依赖于前面的图像分割结果。
第二类方法直接对图像灰度级进行操作,这些方法主要利用梯度和曲率度量检测角点。
经典的第二类角点检测算法包括Harris角点检测算法[5]、SUSAN(smmmallestunivaluesegentassiilatingnucleus,最小同值分割吸收核)角点检测算法以及DoG(differenceofGaussian,双高斯差)算子角点检测算法[6]。
具体的配准步骤为:
a)利用角点检测算子检测图像中的角点;
b)利用控制点匹配算法对检测到的角点进行匹配,找出
角点匹配对;
c)剔除伪匹配对,得到正确匹配对,根据这些匹配对计算
出变换参数;
d)进行拼接融合得到全景图像。
基于特征点的配准算法量较小,配准精度高,缺点是边缘信息少的图像、大旋转和大尺度缩放的图像和多光谱图像不能很好地进行配准。
213基于轮廓特征的配准算法
基于轮廓特征的配准算法首先对图像进行直方图均衡和去噪处理,再对图像进行轮廓提取,然后对提取的轮廓进行配准,进而确定重叠区域。
轮廓的匹配准则可以选取链码相关或者其他一些相似性准则,如主轴和不变矩等。
文献[7]利用两幅图像中分割得到的较大轮廓的质心进行匹配估计出变换参数,从而达到配准的目的。
基于轮廓特征的配准算法适用于光照不一致、存在尺度关系及旋转的图像。
该方法需要准确提取出明显的轮廓特征,对于数据的缺失比较敏感,要求两幅图像的对应轮廓要比较完整。
对于轮廓特征不明显或噪声干扰较大的图像不适用。
文献[8]给出了两种基于轮廓的配准方法:
一种基本的基于轮廓的配准方法适于配准轮廓明显、声小的可见光图像;另一种噪弹性的基于轮廓的配准方法可以用来处理轮廓特征不明显、噪声大的SAR图像。
214基于SIFT(尺度不变特征变换)的配准算法
SIFT(scaleinvariantfeaturetransfor)配准算法由Lowe于m
1999年提出,2004年完善总结[9,10]。
该算法利用图像关键点
的SI特征向量进行匹配,是目前国内外特征点配准领域的FT
研究热点。
基于SI的配准算法主要步骤如下:
FT
a)检测尺度空间极值点,初步确定关键点的位置和所在
尺度。
图像I(x,y)在不同尺度下的尺度空间可表示为图像与高
斯核的卷积:
)=G(x,y,L(x,y,)I(x,y)-(x2+y2)/222
其中:
G(x,y,是尺度可变高斯函数;)=1/
(2)e(x,y)是图像像素位置;为尺度空间因子。
为了有效地在尺度空间检测到稳定的关键点,Lowe在图像平面空间和DoG尺度空间同时检测局部极值以作为特征点。
DoG算子定义为两个不同尺度的高斯核的差分:
D(x,y,0)=[G(x,y,k)-G(x,y,I(x,y)=D(x,y,)]L(x,y,k)-L(x,y,)
b)精确确定关键点的位置和尺度,同时剔除低对比度的关键点和不稳定的边缘响应点
c)分配关键点方向。
利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数,保证SIFT算子的旋转不变性。
关键点所在尺度的梯度模值和方向为
m(x,y)=[L(x+1y)-L(x-1,y)]2+[L(x,y+1)-L(x,y-1)]2,(x,y)=tan-1{[L(x,y+1)-L(x,y-1)]/L(x+1,y)-L(x-1y)]},
d)生成关键点描述子。
将坐标轴旋转为关键点的方向,然后以关键点为中心取88的窗口,计算每个44的小块上八个方向的梯度方向直方图,每个梯度方向的累加值形成一个种子点。
实际计算过程中,为了增强匹配的稳健性,Lowe建议对每个关键点使用44共16个种子点来描述。
这样对于一个关键点就可以产生128个数据,形成128维的SIFT特征向量。
e)生成两幅图像的SI特征向量后,采用关键点特征向FT量的欧式距离作为两幅图像中关键点的相似性判定准则。
得到满足准则的SFT匹配点对。
f)根据得到的SI匹配点对计算出图像的变换参数。
g)进行拼接融合得到全景图像。
SIFT特征是图像的局部特征,对旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也具有一定的鲁棒性。
22基于区域的图像配准
221相关法
相关法是指对于存在平移、旋转和尺度缩放的图像,利用图像间相似性最大化的原理实现配准,即通过优化相似性准则计算图像间的变换参数。
相似性准则包括灰度差的平方、相关函数和归一化相关函数等。
特征块匹配算法就是一种利用相关性准则的图像配准法。
由于相关法是一种寻优的全搜索算法,计算量相当大。
Kuglin等人在1975年提出了相位相关法,大大降低了运算复杂度。
相位相关法基本原理如下:
设图像I1(x,y)和I2(x,y)之间存在平移量(x,y)。
其中:
I1(x,y)=I2(x-x,y-y)
由傅里叶变换的平移特性有
^(ux+vy)^I1(u,v)=e-j2I2(u,v)
其归一化的互功率谱为
^^^^
Corr(u,v)=I1(u,v)I2*(u,v)/|I1(u,v)I2(u,v)|=e-j2(ux+vy)
^^^*^其中:
I1和I2分别对应I1和I2的傅里叶变换;I是I2的复
2共轭。
互功率谱的相位等于两幅图像的相位差。
归一化的互功
率谱进行逆傅里叶变换,得到一个冲激函数
Corr(x,y)=g-1[e-j2(ux+vy)]=(x-x,y-y)
该函数在两幅图像的相对位移(x,y)即匹配点处取最大值,其他地方接近零。
222对数极坐标变换方法
相位相关法给出了两幅图像之间的平移检测方法。
后续的研究都致力于将图像的旋转和尺度关系转换为平移关系后利用相位相关法进行平移检测。
Reddy等人利用对数极坐标变换提出了一种频域相位相关方法[11]。
Woberg等人通过多分辨率分析和对数极坐标等方法,在时域中检测图像间的平旋转和伸缩[12]。
Keller等人构造了伪极坐标Fourier变换移、旋转和尺度关系[13]。
Liu等人构造了伪对数检测图像的平移、极坐标Fourier变换[14]逼近对数极坐标Fourier变换,进一步改进了这一配准方法。
对数极坐标变换的关键点就是将存在旋转和尺度关系的图像通过对数极坐标变换变为该坐标系下的平移关系。
其中极坐标用来解决旋转问题,对数变换用来解决尺度关系问题。
设I1(x,y)和I2(x,y)为具有平移、旋转和尺度关系两幅图像。
I1(x,y)=I2[s(xcos0+ysin0)-x,s(-xsin+ycos)-y)]00
其中:
s为尺度因子;为旋转角;x、y为平移量。
0^^
其傅里叶变换I1(u,v)和I2(u,v)满足^^
I1(u,v)=e-j2(ux+vy)s-2{I2[s-1(ucos0+vsin),0-1(-usin0+vcos0)]}s
对上式两边取模得^^
|I1(u,v)|=s-2|I2[s-1(-ucos0+vsin),0-1(-usin0+vcos)]|s0^^-2
其中:
s是一个比例因子,忽略它的影响;|I1(u,v)|和|I2(u,和尺度关系s-1的差别。
为了进一步分离v)|仅存在旋转角0^^变量和s,对|I1(u,v)|和I2(u,v)|分别作极坐标变换0)可得(u,v)(r,M1(r,)=s-2M2(r/s-,0)^^
其中:
M1(r,)=|I1(rcos,rsin)|,M2(r,)=|I2(rcos,rsin)|。
将极坐标轴转换到对数极坐标轴,则上式的尺度关系s-1可以转换为其幅度谱在对数极坐标下的平移关系。
M1(logr,)=s-2M2(logr-logs-,0)
令=logs,则有=logr,)=s-2M2(-,-M1(,)0
利用相位相关法可以检测出图像的旋转和尺度关系。
以I1(x,y)为参考,将I2(x,y)根据检测出的旋转和尺度关系进行逆变换后得到I2(x,y)。
I2(x,y)与I1(x,y)利用相位相关法检测出图像的平移关系。
根据得到的平移、旋转和尺度关系,建立两幅待拼接图像之间的变换模型,进而可以完成图像拼接。
借助对数极坐标变换和相位相关法能有效解决平移、旋转和尺度缩放问题,但是要求待配准的图像间有较高的重合度。
223最大互信息配准法
互信息是最常用的多模态图像相似性测度,在1995年由Viola和Collignon最先分别独立提出[15]。
该方法不需要对两种成像模式中图像强度间关系的性质作任何假设,也不需要对图像进行任何预处理,所以被广泛用于CT、RIPET等多模态图M、像配准。
互信息用熵来定义,常用的是Shannon熵互信息。
3图像的融合
图像融合是图像拼接的另一个关键技术。
图像融合是将两幅已配准图像中有用信息综合到一幅图像中并以可视化方法显示的技术。
配准后的图像由于分辨率和视角的不同以及
光照等因素的影响,有时甚至是多光谱图像之间进行的拼接,
在图像拼接的重叠部分有时会产生模糊、鬼影或噪声点,边界
处也可能形成明显的拼缝。
为了改善拼接图像的视觉效果和
客观质量,需要对拼接后的图像进行融合。
31基于图像灰度的融合算法
311加权平均法
加权平均法是一种最简单的图像融合算法[16]。
将两幅图像对应像素点乘以一个加权系数后再相加得到融合的像。
设图像I1(ij)的加权系数为,则融合图像可表示为,
I(ij)=I1(ij)+(1-,,)I2(i,j)
其中:
加权系数满足01。
若=0.5,则相当于两幅图像取平均值;若取为渐变系数,即在不同的坐标点它的取值也不同;当由1慢慢变化到0时,图像从I1(ij)慢慢过渡到,了I2(ij),这样就可以实现图像间的平滑过渡,从而消除了拼,接的痕迹。
312基于感兴趣区域图像融合方法
基于感兴趣区域的图像融合算法可以看做是一种自适应的加权平均法。
分割出一幅图像的感兴趣区域,其加权系数置为1,将另外一幅图像响应区域的加权系数置为0即将一幅图像的感兴趣区域嵌入到另一幅图像中。
设I1(i,j)和I2(i,j)为待融合的图像,ROI为图像I2(i,j)分割出的感兴趣区,则融合图像I(i,j)可表示为
ROII2(i,j),(ij),I(ij)=,ROII1(i,j),(ij),
313Toet算法
a)确定图像I1(i,j)和图像I2(ij)的共同成分。
可以通过计算两幅图像对应像素灰度值的较小值实现:
I(i,j)=min{I1(i,j),I2(ij)},m
b)从图像I1(ij)减掉共同成分得到I1(ij)的特征成分,,*
I(i,j)=I1(ij)-Im(i,j);从图像I2(i,j)减掉共同成分得,1
到I2(ij)的特征成分I*2(i,j)=I1(ij)-I(ij)。
,,m
c)从图像I1(i,j)扣除I2(ij)的特征成分,得到,I1(i,j)-I*2(ij);从图像I2(i,j)扣除I1(ij)的特征成分,,,得到I2(ij)-I*1(ij)。
,
d)得到I1(ij)和I2(i,j)的不同部分作为背景,I*(i,j)-I*(ij)=I1(i,j)-I2(ij),,12
e)加权得到融合图像
(I1-I*)+***I=(I2-I1)+(I2-I1)2
其中:
、、为加权系数,。
++=1
314对比度调制法
利用一幅图像包含的图像细节信息提取其对比度,调制另一幅图像的灰度分布,实现图像融合[17]。
步骤如下:
a)图像I1(i,j)的局部对比度提取:
~
cL(ij)=[I1(i,j)-I1(i,j)]/I1(i,j),
~其中:
I1(i,j)是I1(i,j)的低通滤波图像;cL(ij)是局部对比度。
b)局部对比度归一化:
cLN(i,j)=cL(i,j)-min[cL(ij)]/{max[cL(ij)]-min[cL(ij)]},,,
c)图像调制:
将归一化对比度cLN(i,j)与另一幅图像,2(i,j)相乘得到融合图像:
I(i,j)=cLN(i,j)I2(i,j)
d)映射量化:
得到融合图像后重新量化,使之灰度范围与显示设备动态范围R(对于一般显示器为0~255,即R=255相匹配,得到最后的融合图像为
IN(ij)=R{I(i,j)-min[I(ij)]}/{max[I(i,j)]-min[I(ij)]},,,
32基于颜色空间变换的融合算法
文献[18]利用颜色空间RGB和IS模型(I表示强度;HH表示色调;S表示饱和度)等各自在显示与计算方面的优势,将图像从RGB模型转变到IS模型,对I、、三个分量分别进HSH行融合,然后反变换回RGB空间,得到融合后的图像。
也有基于其他颜色空间如YI模型、模型等的融合算法。
QLab
33基于变换域的融合算法
随着WaveletRidgeletCurvelet和Contourlet变换的发展,也出现了一些基于它们的图像融合算法。
这类算法的基本思想是先对图像进行WaveletRidgeletCurvelet或Contourlet变换,在变换域内利用一定的规则进行融合,将融合结果进行逆变换得到融合图像。
例如NI等人[19]利用Contourlet变换多传感器遥感图像进行了融合。
4结束语
本文介绍了图像拼接技术的相关技术和研究现状,总结了图像配准和图像融合的主要方法,并分析了各种配准算法的优缺点。
基于特征的图像配准方法对于特征明显的图像比较适用,但是对于多光谱图像的配准效果往往不理想;基于对数极坐标傅里叶变换的方法能有效解决平移、旋转和尺度缩放问题,对图像的尺寸和重合度要求较高;基于SIFT(尺度不变特征变换)的图像配准方法是目前的研究热点,性能优秀,但是算法复杂度较高。
展望未来,图像拼接技术应该在提高算法的运算速度、拼接精度、自动化程度和鲁棒性等方面进行深入研究。
参考文献:
BROWNLG.Asurveyofiageregistrationtechniques[J].ACM[1]m
ComputingSurveys1992,24(4):
325376.,
[2]ZITOVB,FLUSSERJIageregistrationmethodsasurvey[J]..m:
IageandVisinComputig,2003,21(11):
9771000.mon
[3]解凯,郭恒业,张田文.图像Mosaic技术综述[J].电子学报,
200432(4):
630633,.
SZELIIR.Videomosaicsforvirtualenvironments[J].IEEECom[4]SK
puterGraphicsandApplicatins1996,16
(2):
2230o,.
[5]HARRISC,STEPHENSM.Acombinedcornerandedgedetector
[C]//Procofthe4thAlveyVisionConference.Manchester[sn.],:
.
1988147151.:
[6]赵文彬,张艳宁.角点检测技术综述[J].计算机应用研究,
200623(10):
1719.,
[7]刘小军,周越.基于轮廓特征的SAR图像自动配准[J].计算机工
程,2007,33(4):
176178.
[8]LIHu,iMANJATHBS,MIUNTRASK.Acontourb
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 图像 拼接 技术 综述 00