第7章-图像融合.ppt
- 文档编号:193861
- 上传时间:2022-10-06
- 格式:PPT
- 页数:65
- 大小:4.22MB
第7章-图像融合.ppt
《第7章-图像融合.ppt》由会员分享,可在线阅读,更多相关《第7章-图像融合.ppt(65页珍藏版)》请在冰豆网上搜索。
第七章图像融合,朱瑾,信息融合技术,第7章图像融合,7.1图像融合概论7.2图像融合分类7.3图像匹配7.4图像融合算法,参考资料:
覃征.数字图像融合.西安交通大学出版社.2004郭雷.图像融合.电子工业出版社.2008敬忠良.图像融合.高等教育出版社.2007焦李成等.图像多尺度几何分析理论与应用后小波分析理论与应用.西安电子科技大学出版社2008佘二永.多源图像融合方法研究D.国防科技大学,2005刘贵喜.多传感器图像融合方法研究D.西安电子科技大学,2001,7.1图像融合概论,图像融合:
将不同传感器获得的同一景物的图像或同一传感器在不同时刻获得的同一景物的图像,经过去噪、时间配准、空间配准和重采样后,再运用某种融合技术得到一幅合成图像的过程。
通过对多幅传感器图像的融合,可克服单一传感器图像在几何、光谱和空间分辨率等方面存在的局限性和差异性,提高图像的质量,有利于对物理现象和事件进行定位、识别和解释,7.1图像融合概论,图像传感器的组合效果,7.1图像融合概论,图像融合的形式可分为3种:
多传感器非同时获取的图像的融合;多传感器同时获取的图像的融合;单一传感器不同时间,或者不同环境条件下获取的图像的融合图像融合的作用图像增强去噪特征提取目标识别与跟踪三维重构,7.1图像融合概论,图像融合的发展最早用于遥感图像分析:
1979年Daliy首先将雷达与卫星图像复合,用于地质解释;1980年代逐渐应用于一般的图像处理;1990年代成为研究热点,应用领域包括遥感、光学图像处理,医学图像处理等;近年来成为计算机视觉、自动目标识别、成像导航与制导等方面的研究热点。
7.1图像融合概论,图像融合的研究现状多传感器信息融合领域中,图像融合是应用最为广泛,发表文献最多的一个方向:
信息融合文章中,信号层的信息融合文章占53;在EiCompendexWeb数据库中用“imagefusion”作为关键词,检索从1980年到2001年摘要中出现这一词组的文章数目:
1980年至1984年的文章只有4篇;1995年至1999年增加到603篇;2000年和2001年两年就有299篇;有关组织与刊物:
SPIE、IEEE,7.1图像融合概论,图像融合研究中的问题图像融合技术缺乏理论指导:
虽然公开报道很多,但每篇文章都是针对一个具体的应用问题,对图像融合技术还没有一个统一的理论框架,建立图像融合的理论框架是目前的一个发展方向;出于图像的特殊性,在设计图像融合算法时一定要考虑到计算速度和所需的存储量,如何得到实时、可靠、稳定、实用的融合算法和硬件电路是目前研究的一个热点;建立客观的图像融合技术评价标谁也是急需解决的问题。
7.1图像融合概论,图像融合应用举例医学图像融合,7.1图像融合概论,图像融合应用举例遥感图像融合,7.1图像融合概论,图像融合应用举例战场图像融合,7.1图像融合概论,图像融合应用举例监视系统图像融合,7.2图像融合分类,图像融合分类根据信息表征层次的不同,多传感器信息融合可分为信号级融合、像素级融合、特征级融合和决策级融合;有的学者分为3类,不考虑信号级融合信号级融合:
合成一组传感器信号,提供与原始信号形式相同但品质更高的信号。
7.2图像融合分类,7.2图像融合分类,像素级融合:
直接对图像中像素点进行信息综合处理。
目的是生成一幅包含更多信息、更清晰的图像;属于较低层次的融合;一般要求原始图像在空间上精确配准,如果图像具有不同分辨率,在融合前需作映射处理;目前大部分研究集中在该层次上。
7.2图像融合分类,7.2图像融合分类,像素级融合的过程一般可分4个步骤:
预处理、变换、综合和反变换(重构图像)。
预处理阶段包括了对被融合的原始图像的滤波和配准处理;配准就是将被融合的原始图像进行必要的变换(主要是几何变换),从而使被融合图像的每一个像素都对准;变换阶段采用的主要方法有:
PCA,多分辨分析(金字塔算法、小波算法),7.2图像融合分类,综合阶段将被融合图像的变换结果进行综合处理,从而获得最终的融合图像。
综合方法可分为:
选择法,即根据某种规则,分别选择不同被融合图像的变换系数,组成一组新的变换系数;加权法,即用某种加权平均算法将不同被融合图像的变换系数综合为一组新的变换系数;优化法,即根据应用不同,构造某个评价融合效果的性能指标,综合结果使该性能指标最优;反变换阶段是根据综合阶段得到的一组变换系数进行反变换操作,得到融合图像。
7.2图像融合分类,特征级图像融合:
属于中间层次,先对来自不同传感器的原始信息进行特征抽取,然后再对从多传感器获得的多个特征信息进行综合分析和处理,以实现对多传感器数据的分类、汇集和综合。
一般来说,提取的特征信息应是像素信息的充分表示量或充分统计量,包括目标的边缘、方向以及运动速度等;特征级图像融合可分为两大类,即目标状态数据融合和目标特性融合;,7.2图像融合分类,目标状态数据融合:
主要用于多传感器目标跟踪领域,首先通过融合系统对传感器数据进行预处理以完成数据校准,再实现主要参数相关的状态估计。
特征级目标特性融合:
即特征层联合识别,采用模式识别技术,在融合前对特征进行相关处理,从而把特征矢量分类成有意义的组合。
特征级图像融合的优点在于实现了可观的信息压缩,便于实时处理。
由于所提出的特征直接与决策分析有关,因而融合结果能最大限度地给出决策分析所需要的特征信息。
7.2图像融合分类,决策级图像融合:
对每个图像的特征信息进行分类、识别等处理,形成相应的结果,进行进一步的融合过程,最终的决策结果是全局最优决策;决策级融合是一种更高层次的信息融合,其结果为各种控制或决策提供依据;决策级融合必须结合具体应用及需求,有选择地利用特征级融合所抽取的目标的各类特征信息,其结果直接影响最后的决策水平;输入为特征信息,结果为决策描述,因此决策级融合数据量最小,抗干扰能力强;,7.2图像融合分类,7.2图像融合分类,决策级融合优点:
数据量少,通信及传输要求低;容错性高,对一个或若干个传感器的数据干扰,可以通过适当的融合方法予以消除;数据要求低,传感器可以是同质或异质,对传感器的依赖性和要求降低;分析能力强,能全方位有效反映目标及环境的信息,满足不同应用的需要;,7.2图像融合分类,7.3图像匹配,概述图像匹配在近几十年来一直是人们研究的热点和难点,它是在变换空间中寻找一种或多种变换,使来自不同时间、不同传感器或者不同视角的同一场景的两幅或多幅图像在空间上一致;由于拍摄时间、角度、自然环境的变化、多种传感器的使用和传感器本身的缺陷,使图像受噪声的影响,存在严重的灰度失真和几何畸变。
如何达到精度高、匹配正确率高、速度快、鲁棒性和抗干扰性强以及并行实现是匹配算法的目标。
7.3图像匹配,图像匹配算法:
(1)基于灰度相关的匹配对待匹配图像的像元以一定大小窗口的灰度阵列按某种或几种相似性度量顺次进行搜索匹配的方法。
这类算法的性能主要取决于相似性度量及搜索策略的选择上。
匹配窗口大小的选择也是该类方法必须考虑的问题,大窗口对于景物中存在遮挡或图像不光滑的情况会出现误匹配的问题,小窗口不能覆盖足够的强度变化,因此可自适应调整匹配区域的大小来达到较好的匹配结果。
7.3图像匹配,
(2)基于特征的匹配首先从待配准的图像中提取特征,用相似性度量和一些约束条件确定几何变换,最后将该变换作用于待匹配图像。
匹配中常用的特征有边缘、轮廓、直线、兴趣点、颜色、纹理等。
7.3图像匹配,(3)基于模型的匹配模板匹配方法在计算机视觉和模式识别等领域中的应用也非常广泛,它可以分为刚体形状匹配和变形模板匹配两大类。
7.3图像匹配,在刚体形状匹配中,原型模板通过平移、旋转和尺度化等简单变换达到和目标图像的匹配,但是它不能处理目标形状存在较大变形时的问题,为此提出使用变形模板匹配方法。
7.3图像匹配,(4)基于变换域的匹配频域匹配技术对噪声有较高的容忍程度,检测结果与照度无关,可处理图像之间的旋转和尺度变化。
常用的频域相关技术有相位相关和功率倒谱相关,其中相位相关技术使用相对广泛。
7.3图像匹配,最主要的变换域图像配准方法是Fourier变换方法:
图像的平移、旋转、仿射等变换在Fourier变换域中都有相应的体现;相位相关技术是配准两幅图像平移失配的基本Fourier变换方法:
给定两幅图像,它们之间的唯一区别是存在一个位移;旋转在Fourier变换中是一个不变量:
旋转一幅图像,在频域相当于对其Fourier变换作相同的角度的旋转,两个频谱的幅度是一样的,只是有一个旋转关系。
也就是说,这个旋转关系通过对其中一个频谱幅度进行旋转,用最优化方法寻找最匹配的旋转角度就可以确定,7.3图像匹配,图像匹配关键要素与步骤特征提取;特征匹配;变换模型估计;图像重采样与变换;,7.3图像匹配,图像匹配步骤,7.3图像匹配,特征提取:
1)控制点的选择控制点尽可能自动选取;控制点数量足够多以保证匹配精度;控制点应分布得足够均匀;2)基于轮廓的方法对图像进行边缘/轮廓提取,作为匹配的控制点,进行轮廓的配准后再应用于整个图像,7.3图像匹配,特征提取算法:
基于区域的算法:
绕过对控制点的选择,对两个区域图像逐个进行计算;典型算法:
基于最大化互信息的方法,利用基准图像与输入图像的互熵作为判断依据,在医学图像匹配中成功应用;基于灰度相关的匹配,7.3图像匹配,基于特征的匹配算法:
首先从待配准的图像中提取特征,用相似性度量和一些约束条件确定几何变换,最后将该变换作用于待匹配图像。
常用的特征有边缘、轮廓、直线、兴趣点、颜色、纹理等。
特征的选择可以在空间域进行,也可以在变换域进行空间域:
常用特征如边缘、端点、交叉点等,典型算法有基于模型的匹配;变换域:
图像被分解为一组系数再匹配,不依赖于像素,更适合自动配准。
7.3图像匹配,特征匹配:
匹配图像的相似性度量即确定待匹配特征之间的相似性,通常定义为某种代价函数或距离函数的形式。
经典的相似性度量包括相关函数和Minkowski距离,近年来还有Hausdorff距离、互信息作为匹配度量。
Hausdorff距离对噪声非常敏感,分数Hausdorff距离能处理当目标存在遮挡的情况,但计算费时;互信息方法对照明的改变不敏感,在医学等图像的匹配中得到了广泛应用,但计算量大,且要求图像之间有较大的重叠区域。
7.3图像匹配,变换模型估计:
包括变换模型的选择与参数确定图像几何变换用来解决两幅图像之间的几何位置差别,包括刚体变换、仿射变换、投影变换、多项式变换等;变换参数的搜索策略是用合适的搜索方法在搜索空间中找出平移、旋转等变换参数的最优估计,使得图像之间经过变换后的相似性最大。
搜索策略有:
盲目搜索、分层搜索、模拟退火算法、动态规划法、遗传算法和神经网络等;,7.3图像匹配,几何变换种类:
刚体变换仿射变换投影变换弯曲变换,7.3图像匹配,图像的重采样与变换得到变换模型及其参数后,需要对输入图像做相应几何变换转换到同一坐标系。
由于变换结果不一定对准整数坐标,因此需要重采样与插值;插值方法影响匹配结果。
7.3图像匹配,进一步研究的几个问题
(1)复合匹配算法:
上面的四类匹配方法都有各自的优缺点,如果能综合利用它们的优点将会取得更好的匹配结果
(2)目前大多数算法是利用图像的全局特征,基于图像之间存在刚性变换的前提下提出的,但是物体的全局特征一般不容易获取,而且当物体之间存在遮挡时提取的全局特征是不可靠的,局部特征能较好地解决这一问题,因此很有必要研究基于图像的局部特征以及图像之间存在非线性变换时的匹配算法。
7.3图像匹配,(3)彩色图像匹配算法灰度图像的匹配算法已经进行了比较广泛和深入的研究,对彩色图像相对较少。
图像匹配在图像检索、三维重建、目标识别和跟踪以及人脸识别等领域都有非常广泛的应用,当前对于彩色图像的匹配研究最多的是基于颜色特征的图像检索,而对其在其它应用中的研究较少。
7.3图像匹配,(4)在计算机视觉领域中,传统的边缘检测和图像匹配算法都采用自底向上
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 图像 融合