图像配准的算法与实现.docx
- 文档编号:12665593
- 上传时间:2023-04-21
- 格式:DOCX
- 页数:65
- 大小:845.59KB
图像配准的算法与实现.docx
《图像配准的算法与实现.docx》由会员分享,可在线阅读,更多相关《图像配准的算法与实现.docx(65页珍藏版)》请在冰豆网上搜索。
图像配准的算法与实现
图像配准的算法与实现
摘要
图像配准技术是实现图像融合、图像校正、图像镶嵌以及目标识别与跟踪的关键步骤之一,已经广泛应用在图像识别以及图像重建等领域中。
简单来说,图像配准就是找到两幅不同图像之间的空间位置关系。
图像配准主要可分为以灰度为基础的匹配和以特征为基础的匹配。
本文首先对现有图像配准方法的进行分类、概述和简要的说明;分析了课题研究的背景,以及对国内外图像配准的研究状况描述;其次对现有的图像配准的几种常见算法进行简要的说明,其中着重介绍了基于特征的匹配的算法。
参考了一种基于图像灰度值特征点的快速匹配搜索算法,该算法利用得出的灰度值特征点作为搜索依据,通过实验,证实了该算法的快速性和准确性。
关键词:
图像配准;特征点;灰度匹配;特征点匹配
Abstract
Imagematchingtechniqueisoneofthekeystepstoachieveimagefusion,imagecorrection,imagemosaic,aswellastargetrecognitionandtrackingandhasbeenwidelyusedintheareasofimagerecognitionandimagereconstruction.Inaword,imagematchingistofindthespatialrelationshipbetweenthetwodifferentimages.Imagematchingcanbedividedintogray-basedandfeature-basedmatching.
Thepaperfirstlyclassifiedandbrieflydescribedtheexistingimagematchingmethodsandanalysedtheresearchbackground.Secondly,thepaperexplainedseveralcommonalgorithmsofexistingimagematching,especially,thealgorithmoffeature-basedmatching.Basedontheresearchofseveralimagematchingmethods,thepaperadoptedtraditionalmethodbasedongraylevel,themethodbasedonedgefeaturesandthemethodbasedonfirst-orderfeaturepointsimagematchingtoconductimagematchingsimulation,andcomparedtherapidityandaccuracyofthem.Finally,thepaperpointedouttheadvantagesanddisadvantagesofthemethodsbasedongraylevel,basedonedgefeaturesandbasedonfirst-orderfeaturepointsimagematching.Eachmethodhasboththeadvantagesanddisadvantagesinthedifferentenvironment.Imagematchingmethodbasedonedgefeaturescanmatchsuccessfullywhennoiseisadded,andcaneffectivelysuppressnoisecomparedwithothertwomethods.
Keywords:
Imagematching,FeaturePoints,GrayMatching,featurepointsmatching
目录
前言
数字图像处理,即用计算机对图像进行处理。
与人类对视觉机理研究的历史相比,它是一门相对年轻的学科。
但在其短短的历史中,它却以程度不同的成功被广泛应用于几乎所有与图像有关的领域数字图像处理技术。
图像是人类获取和交换信息的主要来源,因此,图像处理的应用领域必然涉及到人类生活和工作的方方面面。
随着人类活动范围的不断扩大,图像处理的应用领域也将随之不断扩大。
在20多年的时间里,迅速地发展成为一门独立的有强大生命力的学科。
随着科学技术的发展,图像配准己成为图像信息处理领域中一项非常重要的技术。
图像配准就是找到两幅不同图像之间的空间位置关系。
图像配准技术是实现图像融合、图像校正、图像镶嵌以及目标识别与跟踪的关键步骤之一。
图像配准主要可分为以灰度为基础的匹配和以特征为基础的匹配。
图像配准主要研究匹配的准确性、快速性[1]。
本文先通过对图像配准算法的作简要的说明,特别是基于特征图像配准的算法;然后分析了图像配准的算法的优劣;接着参考了一种基于图像灰度值特征点的快速匹配搜索算法,比较了基于灰度、基于边缘特征、基于一阶特征点图像配准算法的准确性、快速性、抵抗干扰和旋转性能;最后比较了这3种算法在不同环境下的优劣性。
第1章绪论
数字图像处理是通过计算机对图像进行去除噪声、增强、复原、分割、提取特征等处理的方法和技术。
数字图像处理的产生和迅速发展主要受三个因素的影响:
一是计算机的发展;二是数学的发展;三是广泛的农牧业、林业、环境、军事、工业和医学等方面的应用需求的增长。
数字图像处理的发展从20世纪20年代初的应用于改善伦敦和纽约之间海底电缆发送的图片质量,到20世纪70年代图像处理主要和模式识别及图像理解系统的研究相联系。
发展到现在,数字图像处理已从一个专门的研究领域变成了科学研究和人机界面中的一种普遍应用的工具。
第1.1节课题的研究背景
当今社会是信息社会,各种媒体各种工具相互交存于社会的方方面面,而图像在其中又占据了极其重要的地位。
图像具有包含信息量大、直观、容易理解以及吸引人注意等优点,是人们感知和认识外部的重要载体,人们生活中离不开图像。
图像可以分为模拟图像和数字图像之分。
模拟图像一般用照相机等来获取,模拟图像可以用一个连续函数来描述,所以模拟图像也可以成为:
连续图像处理。
其主要过程主要借助各种设备对图像进行加工处理。
但是模拟图像有处理精度太差,处理方式也不够灵活,处理时间过长等缺点。
数字图像是用二进制来表示图像的,是离散的数据集,可以通过数码相机等数字设备来获取。
数字图像处理的是数字图像,即是由一组具有颜色、亮度等像数点的集合。
数字图像的特点决定了其灵活性,并且以强大的功能成为现阶段图像处理技术的主流。
第1.2节图像配准的概述
1.2.1图像配准的概念
图像配准是指通过一定的匹配算法在两幅或多幅图像之间识别同名点,如二维图像配准中通过比较目标区和搜索区中相同大小的窗口的相关系数,取搜索区中相关系数最大所对应的窗口中心点作为同名点。
其实质是在基元相似性的条件下,运用匹配准则的最佳搜索问题。
图像配准就是找到两幅不同图像之间的空间位置关系。
图像配准技术是实现图像融合、图像校正、图像镶嵌以及目标识别与跟踪的关键步骤之一[4]。
1.2.2影响图像配准的主要因素
根据已知模式的图像在一幅陌生图像中寻找对应该模式的子图像被称为图像配准。
由于传感器噪声、光照、目标移动和变形、成像过程中视角改变或者环境的改变会使同一场景在不同条件下投影所得到的二维图像会有很大的差异。
为解决图像畸变带来的匹配难度,人们基于以下四个要素提出了许多匹配算法:
(1)特征空间
特征空间是由参与匹配的图像特征构成的,特征可以是灰度值,也可以是边界、轮廓、表面、显著特征、统计特征、高层结构描述与句法描述等。
(2)形似性度量
相似性度量指用什么来确定待匹配特征之间的相似性,它通常是某种代价函数或者是距离函数的形式。
(3)搜索空间
图像配准问题是一个参数的最优估计问题,待估计参数组成的空间即搜索空间,成像畸变的类型和强度决定了搜索空间的组成和范围;
(4)搜索策略
搜索策略是用合适的搜索方法在搜索空间中找出平移、旋转等变换参数的最优估计,使得图像之间经过变换后的相似性最大。
第1.3节图像配准的研究现状
图像配准一直以来都是计算机视觉的基本问题之一,其中包括许多目前炙手可热的领域,如目标或场景识别、立体匹配和目标跟踪等。
建立正确匹配是解决问题的关键。
各行各业的专家学者从问题的不同方面出发运用多种方法,对如何得到既快又好的匹配算法进行了探索研究[6]。
表1·1匹配三要素
特征空间
相似性度量
搜索策略
灰度
相关系数
层次
特征点
归一化相关系数
迭代点匹配
边缘强度
归一化相关系数及匹配滤波器
层次迭代或模拟退火
二值边缘
统计相关与匹配滤波器
模拟退火
曲线
绝对差之和、局部熵差
遗传算法、神经网络
表面
奄模相关
树或图匹配
统计属性
Hausdorff距离
松弛算法
模型
最小距离分类器
能量最小化
高层匹配
互信息
快速FFT
第2章图像配准的几种算法
图像配准研究涉及到了图像采集、图像预处理、图像分割、特征提取等,并且与计算机视觉、多维信号处理和数值计算方法等紧密结合。
它也是其它一些图像分析技术,如立休视觉、运动分析、数据融合等的基础。
正因为其应用的广泛性,新的应用和新的要求逐步产生,使得匹配算法的研究逐步走向深入,出现了快速、稳定、鲁棒性好的匹配算法因此,对现有匹配算法展开分析对几实际工程提高图像处理质量和识别精度具有非常重要的意义
图像配准是指通过一定的匹配算法在两幅或多幅图像之间识别同名点,如二维图像配准中通过比较目标区和搜索区中相同大小的窗口的相关系数,取搜索区中相关系数最大所对应的窗口中心点作为同名点。
其实质是在基元相似性的条件下,运用匹配准则的最佳搜索问题。
图像配准的算法很多,但基本原则是不变的:
算法必须有效;必须稳定;必须快速。
基本上可以将匹配算法分为基于象素灰度相关的匹配、基于图像特征的匹配以及基于其它理论的图像配准,综述了具有代表性的传统匹配算法以及近年来的新思路和新方法。
第2.1节基于像素灰度相关的匹配算法
基于灰度相关的匹配算法,即对待匹配得两幅图像以一定的灰度阵列按某种或几种相似性度量顺次搜索匹配的方法,其匹配性能主要取决于相似性度量及搜索策略的选择。
匹配窗口大小的选择也是影响匹配性能的一个重要因素,当景物存在遮挡或者图像不光滑时,选择大窗口容易出现错误的匹配,而小窗口又不能满足强度的变化,因此为了达到最好的匹配效果,可以自动适应调整匹配窗口的大小。
基于灰度相关的匹配算法直接利用图像的灰度进行匹配,可以利用图像的所有信息,但需要处理很大的信息量,计算复杂而且容易出错,很难达到实时匹配的要求,而且对图像间的细微差别很敏感,一个很小的变化都有可能对匹配的结果产生很大的影响,从而导致匹配的失败。
所以该算法抗噪声及其他抗干扰的能力比较差,只能用于对具有相同外界条件的两幅图像进行匹配[7]。
设参考图像Xij的大小为m×n,输入图像Yij的大小为M×N,其中M>m,N>n。
Y(a,b)ij表示输入图像以(a,b)为中心,与参考图像大小相等,对应(i,j)位置的像素灰度。
(1)不变矩匹配法
不变矩匹配算法用两个图像之间七个不变矩之间的相似性来描述相似度。
现在如果令实时图的不变矩为Mij=1,2...7,并且令实验位置(u,v)上的基准子图的不变矩为Ni(u,v),j=1,2...7,则两图之间的相似度可以用任一种相关算法来度址本文采用上面的归一化相关算法时其相似度如式(3),其中R(u,v)是实验位置(u,v)上的不变矩的相关值。
R(u,v)=
/
1/2(2·1)
(2)灰度的绝对差值法(AD)
模板N在图像M上平移,搜索窗口所覆盖的子图记作Mi,j,i,j为子图的左上角顶点在图M中的坐标。
最简单的基于灰度值的方法是利用灰度的绝对差值(absolutedifference,简称AD)即计算模板与搜索子图灰度值的L1距离[8]:
D(i,j)=
|Mi,j(m,n)-N(n,m)|(2·2)
其中,S,T分别代表图像各个像素的灰度值,m,n代表各个像素的坐标。
D(i,j)值越小,表示两个像素块越相似。
这种方法虽然计算比较简单,但是它对噪声非常敏感。
显然,此种算法的时间复杂度是O(M2N2),一旦搜索图的灰度发生变化,算法将可能会失效。
(3)差方和法(SSD)
这种方法是计算模板与搜索子图灰度值的L2距离:
D(i,j)=
|Mi,j(m,n)-N(n,m)|2(2·3)
基于灰度值的匹配方法的主要特点是计算简单,但是由于计算相似度时往往涉及到待匹配单元的每个像素的灰度值,所以导致整个匹配搜索过程要消耗巨大的计算量。
基于灰度的匹配算存在如下几个缺陷:
(1)对图像的灰度变化比较敏感,尤其是非线性的光照变化,将大大降低算法的性能:
(2)计算复杂度高;(3)对目标的旋转,形变以及遮挡比较敏感。
利用灰度信息匹配方法存在着各种缺陷,实际工作中一般都有一定的速度要求,所以这些方法很少被使用。
第2.2节基于特征的匹配算法
基于特征的匹配算法根据两幅图像相同特征的集合关系计算配准参数,而图像的低级别特征主要有点、边缘及面特征等。
但是面特征提取比较麻烦,耗时多,因此基于特征的匹配算法主要是研究利用特征点和边缘特征进行匹配。
基于特征点的图像配准主要有点点匹配和点集匹配两种。
点点匹配首先按一定的约束关系得到两个点集,然后利用其它的约束条件剔除错误匹配点,最好确定点与点的一一对应关系。
点集匹配不需要建立明确的点点对应关系,只需要利用点的位置和相互关系进行匹配。
Hausdorff距离不需要精确的点点对应关系,对非相似变形不敏感,因此该匹配方法广泛应用于特征图像的匹配[9]。
图像特征分为两类,第一类是局部特征,比如说角点,边缘点,短的边缘或线段,小块区域等;第二类是全局特征,通常由几个多边形或是几个对图像内容更为复杂的描述构成。
特征匹配首先对图像进行预处理来提取其高层次的特征,然后建立两幅图像之间特征的匹配对应关系,通常使用的特征基元有点特征、边缘特征和区域特征。
特征匹配需要用到许多诸如矩阵的运算、梯度的求解、还有傅立叶变换和泰勒展开等数学运算。
基于特征的匹配方法主要涉及到两个关键步骤:
(1)特征提取:
正如上文提到的,图像特征分为局部特征和全局特征。
有些方法采用角点作为局部特征,如也有些方法采用线段,比如通过提取高分辨率遥感城市图像中的道路作为特征来匹配也可以是边缘,轮廓,小块区域等其他更为复杂的特征,比如以多边形区域作为待匹配特征。
而全局特征就是局部特征的组合。
常用的特征提取与匹配方法有:
模型法、几何参数法、几何法、边界特征法、信号处理法、傅氏形状描述法、统计方法、形状不变矩法等。
(2)特征匹配:
特征匹配是指在两幅图像的特征之间建立对应关系的过程。
特征匹配方法涉及到对特征描述的定义和特征匹配策略两点。
对特征描述的定义即如何量化地描述一个特征,一个好的特征描述定义应该尽量做到以下几点:
来自两幅图像的特征应该就有几何不变性,特征值受噪声的影响应该小;要使特征值尽量分散,即不同的特征应该有不同的特征值,这样才可以避免歧义性;一个特征有多个特征可匹配,要使特征的描述尽量简单,过于复杂的描述会增加计算复杂度。
在多数情况下这几点是矛盾的,所以一个好的特征描述定义应该很好的权衡好这几点问题。
特征匹配策略是指如何快速准确地找到特征之间的对应关系。
常用的基于特征的匹配算法有距离匹配方法、最小均方误差匹配、金字塔小波匹配等,以及现在很热门的SIFT算法。
基于特征的图像配准方法流程如图2·1:
特征提取
特征匹配
图像变换
图2·1图像配准方法流程图
2.2.1特征点的描述
如何准确提取稳定的特征点是基于特征的图像配准算法首先需要解决的问题,能否准确提取稳定的特征点直接影响匹配算法的实现,因此对特征点提取算法进行研究具有重要的意义。
本章对特征点的提取算法进行分析,的能找出一种快速有效的特征点提取算法[10]。
理想的特征点中含有反映图像的重要结构信息,容易与别的像素点区别,并且当图像发生变换或者获取图像的视觉发生变化时,仍然能保持独立性。
在常见的特征点有灰度局部极大值点、边缘点、角点和拐点等等。
由于特征点的定义又很大差异,征点的提取方法也各有各的特点。
2.2.2特征点的提取算法
特征点提取与匹配是计算机图形学中最基础的一个研究课题,现在已经有很多研究成果和应用项目,每种方法都有其优点。
SIFT(ScaleInvarianceFeatureTransform)方法是由DavidLowe提出的,利用SIFT方法从图像中提取出的特征点可以用于一个物体或场景不同视角下的可靠匹配,提取出的特征点对图像尺度和旋转保持不变,对光线变化、噪声、仿射变化都具有鲁棒性,另外,SIFT提取出的特征点具有很高的独特性,因此从某种意义上说一个特征点可以在多幅图像提取出的特征点库中得到正确匹配的概率极高。
SIFT算法的主要思路是:
首先建立图像的尺度空间表示,然后在尺度空间中搜索图像的极值点,由极值点建立特征描述向量。
采用SIFT方法提取的图像特征具有放缩不变性、旋转不变性,还有一定的抗光照变化和抗视点变换性能。
1.SIFT特征点的提取[11]
DavidG.Lowe在2004年总结了现有的基于不变量技术的特征检测方法,并正式提出了一种基于尺度空间的,对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子-SIFT算子,全称ScaleInvariantFeatureTransform,即尺度不变特征变换。
SIFT算法首先在尺度空间进行特征检测,并确定关键点的位置和关键点所处的尺度,然后使用关键点邻域梯度的主方向作为该点的方向特征,以实现算子对尺度和方向的无关性。
SIFT算法的实现主要包括4个步骤:
(1)检测尺度空间极值,以初步确定关键点位置和所在尺度。
(2)精炼特征点位置。
通过拟和三维二次函数以精确确定关键点的位置和尺度,同时去除低对比度的关键点和不稳定的边缘响应点(因为DOG算子会产生较强的边缘响应),以增强匹配稳定性、提高抗噪声能力。
(3)计算特征点的描述信息,利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数,使算子具备旋转不变性。
(4)生成本地特征点描述符。
2.SIFT特征匹配
SIFT特征匹配算法包括两个阶段:
第一阶段是SIFT特征的生成,即从多幅待匹配图像中提取出对尺度缩放、旋转、亮度变化无关的特征向量;第二阶段是SIFT特征向量的匹配。
当两幅图像的SIFT特征向量生成后,下一步采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。
给定N个数据点组成的数据集合P,假设它们中的绝大多数是由一个参数未知的特定的模型产生的,该模型的参数至少需要n个数据点求出,N>n。
现在所要解决的问题就是要求出这个模型的参数。
将下述过程运行k次:
(1)从P中随机选取n个数据点的子集Sl;
(2)由选取的这n个数据点计算出一个模型M;
(3)对数据集合中其余的N-n个数据点,计算出它们与模型M之间的距离,记录在Ml的某个误差允许范围内的P中数据点的个数count。
在重复步骤
(1)~(3)k次之后,对应最大count值的模型即为所求模型,数据集合p中的这count个数据即为内点,其余的N-count个数据点即为外点。
在提纯应用中,透视矩阵由4个匹配点得出。
文中将第二幅图像平面分成16个小方格,每次选取4个包含特征点的方格,再在每个方格内随机选取一个点,由这四个点计算透视矩阵。
选用内点阈值为1.25,即特征点提取标准差为0.5107个像素值,定义阈值计算公式为dv=d2(x′-Mx),小于等于阈值的特征点对为M的内点,大于阈值的则为外点。
以前后两次内点数目不发生变化为迭代终止条件。
从而可以得到了优化的内点集合来进一步计算透视矩阵M。
第2.3节基于边缘特征的匹配算法
边缘无疑是图像中最显著和直观的特征,它存在于图像的目标区域和背景之间,对应着图像中更抽象的信息和匹配时比区域匹配更少的计算量。
图像的边缘主要表现为图像局部特征的不连续性,是图像中灰度变换比较剧烈的地方。
图像的边缘划分为阶跃状和屋顶状。
阶跃状边缘中边缘两边的灰度值有明显的变化;而屋顶状边缘中边缘位于灰度增加与减少的交界处。
在数学上可以利用灰度的导数来描述边缘点的变化,对阶跃状边缘、屋顶状边缘分别求其一阶、二阶导数。
为了求取边缘方向直方图,需要提取图像中目标的边缘。
基于形状的图像检索技术对于边缘的定位要求很高,这将会直接影响到最终的检索效果。
目前,用于边缘检测的算子有很多,如Roberts算子、Sobel算子、Prewitt算子和Canny算子。
其中Canny算子是比较常用的方法,下面将简单介绍上述的边缘特征提取方法[12]。
2.3.1Roberts边缘检测算子
任意一对相互垂直方向上的差分可以看成求梯度的近似方法,Roberts边缘检测算子利用该原理,采用对角线方向相邻两像素之差代替梯度,即
fx=f(i,j)-f(i+1,j+1)(2·4)
fy=f(i,j+1)-f(i+1,j)(2·5)
梯度幅值近似为
R(i,j)=
或R(i,j)=|fx|+|fy|(2·6)
通过差分可以求得Roberts算子在差分点(i+1/2,j+1/2)处连续梯度幅度的近似值R(i,j)。
适当选取阈值τ,如果R(i,j)>τ,则认为点(i,j)是边缘点。
Roberts边缘检测算子采用对角线方向相邻两像素之差进行梯度幅度检测,其检测水平、垂直方向边缘检测性能要好于斜线方向边缘,并且检测定位精度比较高,但对噪声敏感。
2.3.2Sobel边缘检测算子
Sobel边缘检测算子的基本思想是[13]:
以待检测图像的任意像素(i,j)为中心,截取一个3×3像素窗口,分别计算窗口中心像素在x,y方向上的梯度
Sx=[f(i-1,j+1)+2f(i,j+1)+f(i+1,j+1)]-[f(i-1,j-1)+2f(i,j-1)+f(i+1,j-1)](2·7)
Sy=[f(i+1,j-1)+2f(i+1,j)+f(i+1,j+1)]-[f(i-1,j-1)+2f(i-1),j+f(i-1,j+1)](2·8)
Sobel边缘检测算子是综合图像每个像素的上、下、左、右邻点灰度的加权和,接近中心的权值较大。
适当选取阈值门限τ,如果f′(i,j)>τ,则认为点(i,j)是边缘点。
Sobel边缘检测算子不但可以产生较好的边缘效果,而且对噪声具有平滑作用,减小了对噪声的敏感性。
但是,Sobel算子也检测出了一些伪边缘,使得边缘比较粗,降低了检测定位精度。
2.3.3Prewitt边缘检测算子
Prewitt边缘检测算子是一种类似Sobel边缘检测算子的边缘模板算子,通过对图像进行八个方向的边缘检测,将其中方向响应最大的作为边缘幅度图像的边缘Prewitt边缘检测算
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 图像 算法 实现