图像识别匹配技术原理.docx
- 文档编号:26931069
- 上传时间:2023-06-24
- 格式:DOCX
- 页数:27
- 大小:1.24MB
图像识别匹配技术原理.docx
《图像识别匹配技术原理.docx》由会员分享,可在线阅读,更多相关《图像识别匹配技术原理.docx(27页珍藏版)》请在冰豆网上搜索。
图像识别匹配技术原理
第1章绪论
1・1研究背景及意义
数字图像,又称数码图像或数位图像,是二维图像用有限数字数值像素的表示。
通常,像素在计算机中保存为二维整数数组的光栅图像,这些值经常用压缩格式进行传输和储存。
数字图像可以由许多不同的输入设备和技术生成,例如数码相机、扫描仪、坐标测量机等,也可以从任意的非图像数据合成得到,例如数学函数或者三维几何模型,三维几何模型是计算机图形学的一个主要分支。
数字图像处理领域就是研究它们的变换算法。
数字图像处理(DigitalImageProcessing)是通过计算机对图像进行去除噪声、增强、复原、分割、提取特征等处理的方法和技术。
数字图像处理的产生和迅速发展主要受三个因素的影响:
一是计算机的发展;二是数学的发展(特别是离散数学理论的创立和完善);三是广泛的农牧业、林业、环境、军事、工业和医学等方面的应用需求的增长。
图像配准(Imageregistration)就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程,它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。
图像配准的方法迄今为止,在国内外的图像处理研究领域,已经报道了相当多的图像配准研究工作,产生了不少图像配准方法。
总的来说,各种方法都是面向一定范围的应用领域,也具有各自的特点。
比如计算机视觉中的景物匹配和飞行器定位系统中的地图匹配,依据其完成的主要功能而被称为目标检测与定位,根据其所采用的算法称之为图像相关等等。
基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理,而是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。
主要特点是实现简单,但应用范围较窄,不能直接用于校正图像的非线性形变,在最优变换的搜索过程中往往需要巨大的运算量。
经过几十年的发展,人们提出了许多基于灰度信息的图像配准方法,大致可以分为三类:
互相关法(也称模板匹配法)、序贯相似度检测匹配法、交互信息法。
目前主要图像配准方法有基于互信息的配准方法,基于相关性的配准方法和基于梯度的配准方法。
其中基于梯度的方法基本很少单独使用,而作为一个辅助性的测度与其它方法相结合起来使用。
基于灰度的配准算法是医学图像配准研究的发展方向,也是目前研究的热点之一。
基于灰度的配准方法与基于特征的配准方法的区别在于前者没有提取图像特征的步骤,直接对图像中的灰度进行处理。
基于灰度的配准方法计算复杂度高、对图像的灰度、旋转、形变以及遮挡都比较敏感。
灰度相关的配准方法是从待拼接图像的灰度值出发,图像拼接故而成为灰度相关的配准算法的一个基础。
图像拼接(imagemosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。
图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。
灰度相关的图像配准算法在图像处理技术中起着十分关键的作用,它是图像
处理技术得以发展的一个重要基础。
它推动着图像处理技术在医学、生物、信息处理和其他很多高科技领域内的应用,它已渐渐发展成社会生活中不可分离的一种技术,对于图像处理技术发展及应用具有重要意义。
1.2图像配准方法概述
配准技术的流程如下:
首先对两幅图像进行特征提取得到特征点;通过进行相似性度量找到匹配的特征点对;然后通过匹配的特征点对得到图像空间坐标变换参数:
最后由坐标变换参数进行图像配准。
而特征提取是配准技术中的关键,准确的特征提取为特征匹配的成功进行提供了保障。
因此,寻求具有良好不变性
和准确性的特征提取方法,对于匹配精度至关重要。
图像配准的方式可以概括为相对配准和绝对配准两种:
相对配准是指选择多图像中的一张图像作为参考图像,将其它的相关图像与之配准,其坐标系统是任
意的。
绝对配准是指先定义一个控制网格,所有的图像相对于这个网格来进行配准,也就是分别完成各分量图像的几何校正来实现坐标系的统一。
本文主要研究
大幅面多图像的相对配准,因此如何确定多图像之间的配准函数映射关系是图像配准的关键。
通常通过一个适当的多项式来拟合两图像之间的平移、旋转和仿射
变换,由此将图像配准函数映射关系转化为如何确定多项式的系数,最终转化为
如何确定配准控制RCP。
目前,根据如何确定RCP的方法和图像配准中利用的图像信息区别可将图像配准方法分为三个主要类别:
基于灰度信息法、变换域法和基于特征法,其中基于特征法又可以根据所用的特征属性的不同而细分为若干类别。
以下将根据这一分类原则来讨论目前已经报道的各种图像配准方法和原理。
1・3研究现状
国外从20世纪60年代就开始在图像配准领域进行研究,但直到1980年代才开始引起学者们的关注。
到上世纪末,单模图像配准问题已基本解决,但多模图像配准由于涉及模式和领域的复杂性,仍需密切关注。
国际上对图像配准技术曾做过调查,其结论是1990年代初技术就明显增加。
而国内从1990年代初才开始涉足此领域。
与灰度相关的图像配准算法是图像配准算法中比较经典的一种,很多配准技术都以它为基础进行延伸和扩展。
针对多光谱遥感图像,提出了一种基于局部灰度极值的配准方法:
通过在基
准图像和待配准图像中同步寻找含有灰度极值的小区域,再用多项式对极值区域
进行曲面拟合,最后,分别计算小区域的极值点作为特征点进行配准。
并用真实
和模拟多光谱图像进行了试验结果显示该课题提出具有算法简单和配准精度高的特点。
这是与灰度相关图像配准算法有关的一个扩展应用。
1・4研究问题及内容
本文在分析了灰度相关的图像配准算法中的线匹配法、比值匹配法和块匹配法,利用这三种方法分别实现两幅图像在水平垂直位移上的配准,而本课题研究
的内容是提出一种基于灰度相关的算法,不仅能实现两幅图在水平和垂直位移的配准,同时也能实现在绕光轴旋转情况下的图像配准。
这里提出了一种方法,多尺度模块匹配法。
在这三种匹配的环境下,它能实现水平垂直位移上的匹配、缩放以及旋转。
同时通过在Matlab编程环境下编程实现相关算法,通过实际图像的配准试验,利用这些结论最终得到精确地配准结果。
第2章图像配准基本理论
2.1图像配准的基本介绍
2.1.1图像配准的描述
图像配准是对取自不同时间,不同传感器或不同视角的同一场景的两幅图像或者多幅图像匹配的过程。
图像配准广泛用于多模态图像分析,是医学图像处理的一个重要分支,也是遥感图像处理,目标识别,图像重建,机器人视觉等领域中的关键技术之一,也是图像融合中要预处理的问题,待融合图像之间往往存在偏移、旋转、比例等空间变换关系,图像配准就是将这些图像变换到同一坐标系下,以供融合使用。
2.1.2图像配准的定义
对于二维图像配准可定义为两幅图像在空间和灰度上的映射⑷,如果给定尺寸的二维矩阵F1和F2代表两幅图像,F1(X,Y)和F2(X,Y)分别表示相应位置(X,Y)上的灰度值,则图像间的映射可表示为:
F2(X,Y)=G(F1(H(X,Y))),式中H表示一个二维空间坐标变换,即(X',Y')=H(X,Y),且G是一维灰度变换。
2.1.3图像配准的步骤
图像配准的基本过程可以分为三个步骤:
第一步是为每一个图像信息模式各定义一个坐标系F(X,Y),然后再定义这些参考特征之间的失调或相似函数;第二步是分割出图像的参考特征,再定义这些参数特征之间的失调或相似函数;第
三步是应用优化算法,使第二步中失调(相似)函数达到全局最小(最大)值,达到两幅图像的配准。
其中参考特征和对应优化算法的选择是配准的核心,也是
不同配准算法的差异所在。
2.2图像配准的相关概念
2.2.1配准基准
通常,图像配准中根据配准基准的特性,可分为基于外部基准的配准和基于内部基准的配准⑸,外部基准是指强加于待配准对象的各种人造标记,这些标记必须在各种配准模式中都清晰可见且可准确检测到。
内部基准是指由图像本身得
到的位置相对固定且图像特征明晰的各种配准标识。
2.2.2映射变换与配准区域
设fl和f2表示两幅待匹配的图像,I1(x)=I1(x,y)和I2(x')=l2(x',y')分别表示两幅图像的密度函数,其中x=(x,y)和x'=(x',y')分别表示在图像D1和D2中的像素坐标。
图像匹配就是要找到一个把图像fl映射到图像f2的变换
M(x)=(U(x,y),V(x,y)使得变换后的图像I3(M(x))和I2(x')具有几何对应性。
这种映射变换有刚体变换、仿射变换、投影变换以及曲线变换等。
配准时的变换区域根据实际需要又分为局部配准和全局配准。
局部变换一般很少直接使用,因为它会破坏图像的局部连续性,且变换的双映射性会影响图像的再采样。
从近期关于图像配准方面的文章看,一般刚性和仿射多用于全局变换,而曲线变换多用于局部变换。
2.2.3配准的交互性与优化
根据人的参与程序配准又可分为全自动式,交互式和半自动式三种。
全自动
式中使用者仅需给相应算法提供图像数据以及图像获取的一些可能信息;交互式
中使用者必须亲自进行配准,软件仅给目前变换提供一个可视的或数字的感官印象以及初始变换的一个可能参数;半自动式中,交互式有两种方式:
一种是使用者须初始化算法,如分割数据,另一种是指导算法,如拒绝或接受配准假设。
配准变换的参数可以是直接计算出的,也可以是搜索计算出的。
直接计算的
最优化方法一般已完全由实例决定,所能研究的工作也仅限于如何使用非常少的信息把此计算方法应用于实际。
搜索计算的最优化方法大多都可以用待优化的变换参数的一个标准数学函数来表达配准实例,此函数力图使图像在某一变换时两幅图像可达到最大相似。
这些函数通常在单模配准中能简单一些,因为此时图像
的相似性更能容易直接定义。
我们可以通过使用一个标准的、合适的最优化方法使相似函数达到最优。
目前应用比较广泛的方法有Powell的方法、DownhillSimplex方法、Brent的方法以及一系列一维搜索算法、Levenberg-Marquardt最优化算法、Newton-Raphson迭代算法、stochasti(搜索算法、梯度下降法(gradientdescentmethods、遗传算法(geneticmethods)、模拟退火法(simulatedannealing),粒子群算法(particesworm),蚁群算法(ant),几何散列法(geometrichashing。
多分辨率(如金字塔)和多尺度方法可以加速最优化的收敛速度。
许多实际应用中使用了不止一种最优化方法,一般是先使用一种粗糙但快速的算法,然后再接着使用一种准确但运算
速度慢的算法。
224图像成像模式与配准方法的分类
有单模式和多模式等,单模(monomodality)图像配准是指待配准的两幅图像是同一种成像设备获取的。
多模(multimodality)图像配准⑹是指待配准的两幅图像来源于不同的成像设备。
基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理,而是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。
主要特点是实现简单,但应用范围较窄,不能直接用于校正图像的非线性形变,在最优变换的搜索过程中往往需要巨大的运算量。
经过几十年的发展,人们提出了许多基于灰度信息的图像配准方法,大致可以分为三类:
互相关法(也称模板匹配法)、最大互信息法和基于小波变换的图像配准法。
(1)互相关法
对于同一物体由于各种图像获取条件的差异或物体自身发生的空间位置的改变而产生的单模图像配准问题常常应用互相关法。
在互相关法中互相关值的大小反映了配准的效果。
互相关法的思路是找出使各图像之间相关性最大的空间变换参数来实现图像的配准。
该方法通过优化两幅图像间的相似性测度来估计空间变换参数(刚体的平移和旋转参数),采用的相似
性测度可以是多种多样的,例如相关系数,差值的平方和及相关函数等。
其中最经典的相似性测度是归一化的相关系数(correlationcoefficientCC),即:
-了)(爲-刃
式中,F为模板图像,F={fn}:
:
fn为图像F的灰度;G为与F有相同大
小的目标图像GXgn.'n吕,gn为图像G的灰度;f和g分别为图像F和G灰度的均方值。
由于要对每种变换参数可能的取值都要计算一次相似性测度,互相关法的计算量比较庞大,因此近年来发展了快速搜索算法,例如,用相位相关傅立叶法估算平移和旋转参数;用遗传算法和模拟退火技术减少搜索时间和克服局部极值问题。
尤其注意的是互相关法受到不同模态成像特点的影响,例如同一物体在不同的模态图像中表现出纹理和密度的非线性差异,使相关性计算无意义,故互相关性法主要局限于单模图像配准⑺。
对于条件不好或曲线不完全闭合的图像配准,
Kaneko等提出了一种选择性相关系数法(selectivecorrelationcoefficient,即
SCC),SCC实际上是CC的扩展,SCC在每次为其计算时间仅仅依靠两幅图像
灰度的比较过程,故其代价非常小甚至可以忽略不计。
(2)最大互信息法(MaximizationofMutualInformation)
互信息是信息论的一个基本概念,是两个随机变量统计相关性的测度。
最大互信息法几乎可以用在任何不同模式图像的配准,特别是当其中一个图像的数据部分缺损时也能得到很好的配准效果。
当含有相同内容的两幅图像通过几何变换在空间对齐时,它们所包含的灰度值的互信息量最大。
因此最大化的互信息量可以作为图像配准准则。
基于最大互信息⑹的配准过程实质上是搜索最佳的几何变换参数,使两幅图
像的互信息达到最大。
该方法采用整幅图像的所有像素共同组成特征空间,再根据特征空间确定一种空间变换,使一幅图像经过该变换后和另一幅图像的互信息最大,最终实现配准。
互信息(MutualInformation,MI)是信息论中的一个测度,用于描述两个变量间的统计相关性,或一个变量中包含的另一个变量中的信息的多少,表示两个随机变量之间的依赖程度,一般用熵来表示。
熵表达的是一个系数的复杂性和不确定性。
变量A的熵定义为:
H(A)=22PJa)logPJa),(2.2)
_a
H(A,B)=ZPAB(a,b).log%(a,b),(2.3)
a,b
将待配准的两幅医学图像定义为浮动图像A和参考图像B,它们是关于
图像灰度的两个随机变量集。
设它们的边缘概率分布分别为PA(a)、PB(b),
联合概率分布PAB(a,b),贝尼们的互信息MI(A,B)为:
血3B)二旧(Q十丹⑷-丑(&衣2艺比(比幼1绍
(2.4)
2
当两幅图像的空间位置达到一致时,其中一幅图像表达另一幅图像的信息,即其互信息应为最大。
继互信息测度提出后,学者们对基于Shannon熵的方法做了进一步的研究,相继提出了比互信息更为稳定的,其它一些形式的熵测度,称为归一化的互信息,例如Studholme提出了归一化互信息测度(nrimalizedmutualinformation,NMI):
(3)基于小波的图像配准方法
近年来图像配准的重要发展之一是采用小波变换进行图像局部特征提取,该
方法的关键技术是二维离散小波分解。
设在x,y平面内的二维图像f(xi,yi)基于二维离散小波变换的图像分解是将该原始图像在某一尺度上分别在x,y方
向上进行小波分解,每次分解后的低频部分用L表示,高频部分用H表示。
在某一尺度上,图像可以经过x方向和y方向的离散小波变换后分解为4个子图像,在x方向和y方向都是高频子图像fHH(xi,yi),在x方向是低频,在y方向是高频子图像fLH(xi,yi)和在x方向是高频y方向是低频的子图像fHL(xi,yi)。
低频子图像给出了原图像的概貌,高频子图像给出了原图像的细貌。
对于二维正交小波变换有其快速算法-Mallat算法,它把小波变换的计算问题转化为小波变换后系数的计算问题:
在实际操作中,给出M1尺度层上的离
散采样值{fM1(m,n)}数据,要计算M尺度层上的小波变换系数,即分解算法的问题。
基于小波变换的图像配准方法有多分辨率分析的优势,能够提高配准的
速度。
2.3灰度相关的配准方法
基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理,而是
利用图像本身具有灰度的一些统计信息来度量图像的相似程度。
主要特点是实现
简单,但应用范围较窄,不能直接用于校正图像的非线性形变,在最优变换的搜
索过程中往往需要巨大的运算量。
经过几十年的发展,人们提出了许多基于灰度
信息的图像配准方法,大致可以分为三类:
互相关法(也称模板匹配法)、序贯
相似度检测匹配法、交互信息法。
互相关法是最基本的基于灰度统计的图像配准[9]方法,通常被用于进行模板匹配和模式识别。
它是一种匹配度量,通过计算模板图像和搜索窗口之间的互相关值,来确定匹配的程度,互相关值最大时的搜索窗口位置决定了模板图像在待配准图像中的位置。
序贯相似度检测匹配法(SequentialSimilarityDetectionAlgorithms,SSDA)是由Barnea等人提出来的。
SSDA方法的最主要的特点是处理速度快。
该方法先选择一个简单的固定门限T,若在某点上计算两幅图像残差和的过程中,残差和
大于该固定门限T,就认为当前点不是匹配点,从而终止当前的残差和的计算,转向别的点去计算残差和,最后认为残差和增长最慢的点就是匹配点。
这种方法的基本思想是基于对误差的积累进行分析。
所以对于大部分非匹配点来说,只需计算模板中的前几个像素点,而只有匹配点附近的点才需要计算整个模板。
这样平均起来每一点的运算次数将远远小于实测图像的点数,从而达到减少整个匹配
过程计算量的目的。
交互信息法最初是Viola等人于1995年把交互信息引入到图像配准的领域的,它是基于信息理论的交互信息相似性准则。
初衷是为了解决多模态医学图像的配准问题。
交互信息用来比较两幅图像的统计依赖性。
首先将图像的灰度视作具有独立样本的空间均匀随机过程,相关的随机场可以采用高斯一马尔科夫随机场模型建立,用统计特征[10]概率密度函数来描述图像的统计性质。
交互信息是两个随机变量A和B之间统计相关性的量度,或是一个变量包含另一个变量的信息量的量度。
交互信息图像配准方法一经提出,有不少基于此类的研究,尤其在医学图像的配准问题上。
比如将交互信息和梯度结合起来改善其极值性能的算法、多分辨
率图像金字塔法等等。
但交互信息是建立在概率密度估计的基础上的,有时需要建立参数化的概率密度模型,它要求的计算量很大,并且要求图像之间有很大的重叠区域,由此函数可能出现病态,且有大量的局部极值。
本文接下来将要陈述灰度相关的几种配准方法,大致可分为:
线匹配法、比值匹配法和块匹配法。
比值匹配法是指将待配准图像的一定间隔的行或列的像素的比值作为模板;块匹配法是指将待配准图像的正方形区域的像素的集合作为模板。
比值匹配法是从一幅图像的重叠区域中部分相邻的两列上取出部分像素,然
后以它们的比值作为模板,在另一幅图像中搜索最佳匹配,这种算法计算量较小,但精度低;块匹配法是以一幅图像重叠区域中的一块作为模板,在另一幅图像中搜索与此模板最相似的匹配块,这种算法精度较高,但计算量过大。
而设计一种基于灰度相关的算法,既能实现水平、垂直位移上的配准,同时也能实现绕光轴旋转这种情况是本文的核心。
第3章线匹配法
3.1线匹配法基本介绍及原理
针对图像的平移、旋转、尺度变换等整体匹配,提出了一种图像线性变换的匹配算法[11]。
首先定义待匹配图像匹配点间的线性变换模型,以对应像素灰度差平方和作为图像匹配误差函数,然后借助最小化误差函数确定参数迭代增量,由
迭代法求得最佳线性变换参数。
为减少计算量与提高收敛速度提出了三种改进策略:
增加权函数、图像网格点采样和增加加速运动量。
实验显示对于小范围平移、旋转及尺度变换的图像能进行准确快速的整体匹配,而改进策略能有效提高匹配速度。
3.2线性变换图像匹配模型
@Xa,
(3.1)
(3.2)
(3.3)
令待匹配的两幅二维图像为F和G,两幅图像中任意一对匹配点的坐标满足线性变换关系。
令图像G中某一坐标为X=[x,y]T,它与图像F中的坐标Y对应(X,Y・R21)。
上式中上标T表示转置运算。
坐标X与Y之间存在一个偏移量T,定义如下:
1,x,y,0,0,0
||0,0,0,1,x,y
因此坐标变换可以表示为丫二XT,即像素G(X)与F(XT)对应
3.3线匹配法具体的算法实现
如果给定条件,两幅图像内容整体间存在某种线性变换,则通过求解变换系数能实现配准。
这对很多问题是一种合理假设。
基于这一思想,为解决图像整体匹配问题,本文针对图像的平移、旋转、尺度变换等整体匹配,提出一种带6
个参数的坐标线性变换图像匹配新模型,该模型将匹配误差定义为图像整体误差,通过最小化误差函数确定参数迭代增量,由迭代法求得最佳线性变换参数。
并且针对收敛速度提出了增加权函数、图像网格点采样和增加加速动量项三种策略及具体实现方法。
(1)误差函数及参数求解算法
图像匹配的误差函数定义为:
E「[F(XT)—G(X)]2,(3.4)
xWR
该公式中领域R与图像G的分辨率一致。
这种领域设置与光流模型的领域设置存在显著不同,它对噪声更不敏感。
通过最小化误差函数可以求出变换参数a,它决定各像素的偏移量T0为建立迭代求解模型,引入增量,代入式(3.1)得到•汀,新的模型如下:
.aR61,「R21,(3.5)
E==[F(XT:
T)-G(X)]2(3.6)
x:
R
为求解增量,:
a,上述函数需要对•汩求偏导。
一种可行方法是将F函数一阶泰勒展开:
F(XT:
T):
F(XT)F'(XT)T(3.7)
上式中点号表示积。
将(3.7)代入(3.6),对厶a求偏导,并令偏导为零,则得
到下式:
[、(XF')(XF')t]£=、(G(X)-F(XT))XF'(3.8)
X-RX-R
〜T
上式中f'表示F'(X-T),它用图像F中坐标X+T处得灰度梯度近似。
XF'
~T~T
表示六维列向量。
求3只需对方程(3.8)乘以p(XF')(XF')t]的逆矩阵即可。
x€r
(2)迭代方法求解变换参数
求解图像G与图像F间的匹配,可以用增量迭代法计算变换参数a向量,算
法如下:
1初始化a向量为零向量;
2按式(3.8)计算参数增量"a;
3更新参数a:
a=a「a;
4如果.:
a的二范数小于某一阈值,则表示迭代收敛,程序退出;若大于该阈
值则转到步骤②继续迭代;如果迭代次数超过最多限定次数则程序退出,提示不
收敛。
判断收敛的条件也可设置为最近n次迭代-;a的二范数之和小于某一阈值,n的典型取值为3。
3.4实验结果和分析
首先利用配准图像库中的图像,生成具有不同相对位移的子图像;平移配准参数可以在程序中进行调整,图3.1及图3.2为配准参数为rx=112,cy=112时生
图3.3及图3.4为配准参数为rx=224;cy=224时生成尺寸为288X288的两
幅图像
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 图像 识别 匹配 技术 原理