一种基于区域分割的多传感器图像融合方法.docx

一种基于区域分割的多传感器图像融合方法.docx

《一种基于区域分割的多传感器图像融合方法.docx》由会员分享，可在线阅读，更多相关《一种基于区域分割的多传感器图像融合方法.docx（9页珍藏版）》请在冰豆网上搜索。

一种基于区域分割的多传感器图像融合方法

第３９卷　第１０期２００５年１０月

西　安　交　通　大　学　学　报

JOURNALOFXI′ANJIAOTONGUNIVERSITY

Vol．３９　№１０Oct．２００５

一种基于区域分割的多传感器图像融合方法

李　敏

１，２

，蔡　伟２，谈　正

１

（１．西安交通大学电子与信息工程学院，７１００４９，西安；２．第二炮兵工程学院计算机系，７１００２５，西安）

摘要：

针对传统像素级图像融合方法割裂像素间联系的问题，提出一种基于区域分割的图像融合方法．在图像配准的基础上进行区域分割，提取显著性因子和可见性因子作为区域特征，自适应地确定融合权值以得到融合图像．该方法克服了传统像素级融合方法中融合图像模糊、对噪声敏感等不足，尤其适用于图像没有严格配准的应用场合．实验结果表明，与小波变换融合方法相比，均方根误差减小了３３％～３６％，灰度标准差提高了０．９％～５３％，互信息提高了３９％～４２％，空间频率提高了０．３％～３８％，客观评价准则与目视效果吻合良好．

关键词：

图像融合；区域分割；区域特征；客观评价准则

中图分类号：

TN９４１．１　文献标识码：

A　文章编号：

０２５３９８７X（２００５）１０１１３１０４

RegionSegmentationBasedMultisensorImageFusionApproach

LiMin

１，２

，CaiWei２，TanZheng

１

（１．SchoolofElectronicsandInformationEngineering，Xi′anJiaotongUniversity，Xi′an７１００４９，China；２．DepartmentofComputerScience，TheSecondArtilleryEngineeringCollege，Xi′an７１００２５，China）

Abstract：

Focusingonthemosttraditionalimagefusionalgorithmsthatsplitrelationshipamongpixels，aregionbasedimagefusionschemewasproposed．Onthebasisofimageregistration，sourceimagesweresegmentedintoseveralregions，thentwofeaturesofsalienceandvisibilitywereextractedfromeachregiontoadaptivelydeterminethefusionweighttogetthefusedimage．Theproposedmethodsolvessomeofthewell－knownproblemsinpixel－levelfusion，suchasblurringeffectsandhighsensitivitytonoise，particu－larlywhenthereismis－registrationofthesourceimages．Experimentalresultsshowthatitoutperformsthediscretewavelettransformapproachwith３３％to３６％reductioninrootmeansquareerror，０．９％to５３％improvementinstandarddeviationofgraylevel，３９％to４２％enhancementinmutualinformation，and０．３％to３８％improvementinspacefrequency．Theobjectiveevaluationcriteriacoincidewiththevisu－aleffectverywell．

Keywords：

imagefusion；regionsegmentation；regionfeature；objectiveevaluationcriteria　　多传感器图像融合作为信息融合的重要分支和研究热点，已广泛应用在机器视觉、医疗诊断、军事遥感等领域

［１］

．传统的像素级多分辨图像融合方法，

包括基于拉普拉斯金字塔、比率低通金字塔、梯度金字塔和小波变换等融合方法，在对源图像进行多尺度分解和系数选取时，大都孤立地处理各个像素，割裂了像素间的联系．此外，尽管基于小波变换的图像

融合方法在多分辨图像融合方法中是最优的

［２］

，但

是由于传统的小波变换不具有平移不变性，在源图像没有或无法严格配准的情况下，将直接影响融合效果．

本文以区域观点来考虑像素间的相关性，提出一种基于区域分割的图像融合方法，将特征与区域相结合，自适应地确定目标区域的融合权值，以得到

收稿日期：

２００５０１１７．　作者简介：

李　敏（１９７１～），女，博士生；谈　正（联系人），男，教授，博士生导师．　基金项目：

“十五”“２１１工程”西安交通大学学科建设重点项目．

融合图像．这种融合方法可以克服传统像素级融合方法所造成的融合图像模糊、对噪声敏感等不足，尤其适用于图像没有严格配准的应用场合．多聚焦图像融合和异质图像融合的实验结果表明，本文方法适用范围广，无论在视觉质量还是客观评价准则上，均明显优于基于小波变换的图像融合方法．

１　算法结构

本文提出的算法基本结构流程如图１所示，具

体步骤如下．

图１　本文算法流程图

（１）对来自多传感器的源图像I１，I２，…，In在经过配准的基础上，进行区域分割，设Im，i为源图像Im（m＝１，２，…，n）经分割后所得的第i个区域．

（２）提取能反映图像分割区域Im，i的性能和清晰度特征———显著性因子和可见性因子．

（３）将特征作为主要依据确定该区域在融合图像中的贡献系数，即融合权值．

（４）根据像素所属区域的融合权值，通过加权平均最终得到融合图像．

２　区域分割

本文从实时性和有效性出发，提出的区域分割方法如下．

（１）对源图像进行边缘检测．由于Canny算子具有定位准确、单边响应和信噪比高等优点，本文先采用Canny边缘检测算子求得图像的边缘［３］．假设B（p）为经过Canny算子求得的像素p的边缘特性值，若p为边缘点，则B（p）为１，否则为０．

（２）根据下式确定检测结果中的孤点和断点　　　

∑

q∈N９

（p）

B（q）＝

１　　p为孤点

２

p为断点

｛

（１）

式中：

N９（p）是以图像中边缘点p为中心的３×３邻域．图像中的孤点常由噪声干扰产生，可以直接忽略不计．

（３）对断点进行边界闭合处理．

设Q为所有边缘点和图像边界点组成的集合，对于相连点的选择，采用计算量小、应用效果良好的距离测度，即对于任意断点pk，集合Q中位于pk的

３×３邻域外且与pk欧氏距离最小的点作为其相连点qk．qk满足下式

D（qk，pk）＝Dmin（q，pk），q∈Q∩N９（p）（２）式中：

D（q，pk）为q、pk两点间的欧氏距离．得到各源图像对应的分割结果后，为了满足后续处理过程，需要将所有分割结果进行合并以得到一幅更加细化的二值分割图像，依此对各源图像进行区域分割．边界点归属到与８邻域内灰度值最接近的非边界点所在区域．

３　特征提取

３．１　显著性因子

通过对多聚焦和异质图像融合的实例分析发

现，对同一目标而言，它在不同源图像中边缘的清晰程度直接决定了其相应源图像在融合过程中的贡献系数，边缘愈清晰，其相应源图像的融合权值愈大，故本文从目标区域边界相对于背景邻域的突出性出发，提出显著性因子作为区域的提取特征之一．

对于各分割区域Im，i，将其边缘进行８邻域扩张，形成一条宽约为３个像素的边缘带，求取带内所有属于和不属于该目标区域的像素平均灰度值之差，其绝对值即定义为相应目标区域的显著性因子

S＝

m∑m

i＝１fi－n∑n

j＝１

gj

（３）

式中：

fi为区域边缘带上任一属于该区域的像素灰度值；m为边缘带上属于该区域的像素总数；gj为区域边缘带上任一不属于该区域的像素灰度值；n为边缘带上不属于该区域的像素总数．３．２　可见性因子

根据人眼生理视觉特性，本文采用的可见性因子定义如下［４］

V＝

∑

Im，i∑（x，y）∈Im，i

mi

α

imi

（４）

式中：

α为视觉常数，通常取值为０．６～０．７；∑Im，i是

区域中像素总数；mi为区域中像素平均灰度值．以显著性因子和可见性因子作为区域融合依据，自适应地确定权值即可得到融合图像．

图２为未精确配准的多聚焦图像融合实例（源图像由LehighUniversity研究小组提供）．图２a所示的图片左前方的物体聚焦，右后方的物体离焦，图２b所示的图片刚好相反，采用人工剪切和粘贴的方法合成的聚焦清晰的参考图片示于图２c．

　　本文分别对图２a和图２b中表盘字符“８”所在

　　　　　（a）左边聚焦右边离焦的图像　　（b）右边聚焦左边离焦的图像　　（c）人工剪切和粘贴的清晰图像

图２　多聚焦图像融合实例

区域的S值和V值进行计算，实验结果见表１．由表１可知对应区域越清晰，其S值和V值就越大，特征值的大小能够反映视觉效果的清晰度．

表１　显著性因子和可见性因子示例

区域S

图２a图２bV

图２a图２b图２中表盘字符“８”

５３．００２

１３．６６８

０．０３６１８

０．００７２９

４　融合效果仿真实验及性能评价

为了检测算法性能，采用灰度均方根误差（ERMS）、灰度标准差（σg）、空间频率（SF）和互信息（MI）作为融合效果客观评价准则［５］．以两幅源图像融合为例，设R为理想融合图像，F为实际融合图像．以上各评价准则定义如下

ERMS＝

MN∑M－１i＝０∑N－１

j＝０

［R（i，j）－F（i，j）］２

｝

１／２

（５）

σg＝

∑L－１

g＝０

（

g－

∑L－１

g＝０gp（g）

）２

p（g）

［］

１／２

（６）

SF＝

MN

∑M－１

i＝０

∑

N－１

j＝１

［F（i，j）－F（i，j－１）］２

＋

∑N－１

j＝０

∑M－１

i＝１

［F（i，j）－

F（i－１，j）］

２

］｝

１／２

（７）

MI＝∑L－１

u＝０∑L－１

v＝０

hR，F（u，v）lbR，FhR（u，v）hF（u，v）　　

（８）

式中：

M和N为图像的尺寸；L为灰度级数；p（g）为灰度等于g的像素数与图像总像素数的比值；hR，F为R和F间的归一化联合灰度直方图分布；hR和hF分别为两幅图像的归一化边缘直方图分布．

均方根误差越小，说明融合图像与理想图像越接近．灰度标准差反映了相对灰度均值的离散状况，标准差越大，灰度分布越分散．空间频率反映了一幅图像空间域的总体活跃程度，值越大越活跃．互信息衡量的是融合图像对源图像不确定性的减少量，故其值越大越好．

针对多聚焦图像融合和异质图像融合，利用基于小波变换的融合方法和本文算法进行了对比实验．小波变换采用Daubechies的８系数小波，分解层数为３，采用基于区域能量匹配度的融合规则，窗口大小为５×５像素，α取值为０．７［２］．

图３为未精确配准的多聚焦图像融合实例，源图像见图２．注意图２a和２b中人的头部存在相对位移（虚线框所示），采用不同方法的融合效果见图３，客观评价准则见表２．

表２　图３中不同方法的图像融合效果对比

融合方法

ERMSσgSFMI小波变换４．６６２４６．７９２１２．８７６３．９８４８本文方法

２．９６７

４８．００８

１２．９１４

５．５３２４

　　由图３可看出，由于源图存在一定位移，基于小

波变换方法的融合结果中，人的头部位置存在一定

程度的虚影和模糊，而利用本文方法所得的融合图像则无此现象．此外，从表２中也可以看出，与基于小波变换的融合方法相比，本文方法的均方根误差减小了３６％，灰度标准差提高了２．６％，空间频率提高了０．３％，互信息提高了３９％．

图４给出了异质图像融合实例，图４a为计算机X射线断层扫描（CT）图像，图４b为核磁共振（NMR）图像，不同融合方法所对应的融合效果如图４c、４d所示．由于在此实验中无法构造出理想的融合参考图像，选用的客观评价准则见表３．

　　　　　　（a）基于小波分解的融合效果　　（b）本文方法区域分割结果　　　（c）本文方法融合效果

图３　

未精确配准的多聚焦图像融合效果比较

　　　　　　　（a）CT图像　　　　　（b）NMR图像　（c）基于小波分解的融合效果（d）本文方法的融合效果

图４　医学CT图像和NMR图像融合效果比较

表３　图４中不同方法图像融合效果对比

融合方法σgSF小波变换３９．５７２８１６．９５９２本文方法

６０．５９１５

２３．３３０４

　　由图４可看出，相比较而言，本文方法融合效果更清晰，边缘轮廓保持得更好，图像细节更丰富．表３中的客观评价准则与视觉效果吻合良好．

５　结　论

本文提出一种基于区域分割的图像融合方法，该方法计算量小，实时性好，可以更准确地保持图像的有用信息，提高融合的针对性，克服了传统像素级融合方法中融合图像模糊、对噪声敏感、对非严格配准图像融合效果差等不足，评价结果与目视效果吻合良好．本文方法可以很容易地扩展为对两种以上传感器获得的多幅图像进行融合处理，同时适用于

遥感、机器视觉、目标跟踪和战场监视等诸多领域．参考文献：

［１］　iellaG．Ageneralframeworkformultiresolutionim－

agefusion：

frompixelstoregions［J］．InformationFusion，２００３，３（４）：

２５９２８０．

［２］　ZhangZ，BlumRS．Acategorizationofmultiscale－de－

composition－basedimagefusionschemeswithaper－formancestudyforadigitalcameraapplication［J］．ProceedingsofIEEE，１９９９，８７（８）：

１３１５１３２６．［３］　CannyJ．Acomputationalapproachtoedgedetection

［J］．IEEETransactionsonPatternRecognitionandMachineAnalysis，１９８６，８（６）：

６７９６９８．

［４］　黄继武，ShiYQ，戴宪华．基于视觉系统特性的图像

分割编码算法［J］．中国图像图形学报，１９９９，４（５）：

４００４０４．

［５］　XydaesC，PetroviV．Objectiveimagefusionperform－

ancemeasure［J］．ElectronicLetters，２０００，３６（４）：

３０８３０９．

（编辑　刘　杨）