一种红外-可见光异源图像匹配方法.pdf
- 文档编号:30852256
- 上传时间:2024-03-02
- 格式:PDF
- 页数:17
- 大小:1.16MB
一种红外-可见光异源图像匹配方法.pdf
《一种红外-可见光异源图像匹配方法.pdf》由会员分享,可在线阅读,更多相关《一种红外-可见光异源图像匹配方法.pdf(17页珍藏版)》请在冰豆网上搜索。
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号(43)申请公布日(21)申请号202110348571.4(22)申请日2021.03.31(71)申请人北京航天飞腾装备技术有限责任公司地址100097北京市海淀区蓝靛厂南路59号23号楼3层3018房间申请人中国航天时代电子有限公司(72)发明人王怀野郭慧敏王冬赵晓霞叶林宋敏龚美玲彭明松(74)专利代理机构中国航天科技专利中心11009代理人张辉(51)Int.Cl.G06K9/62(2006.01)G06T7/73(2017.01)(54)发明名称一种红外-可见光异源图像匹配方法(57)摘要一种红外可见光异源图像匹配方法,该方法通过任务规划系统在可见光基准图像中选取原始目标模板图像,并对模板图像进行特征检测及特征描述,形成基准图特征文件,根据实时姿态信息对模板图像进行坐标变换,使各个弹道位置的目标模板图像与实际飞行时获得的红外实时图像具有相同的尺度和视角,将红外实时图像特征信息与模板图像特征信息进行匹配得到红外实时图像中的目标位置。
本发明通过导航、弹道与图像处理一体化设计,解决了常用模板匹配目标识别方法不适用于尺度变化、视角变化的问题,简化了导引头的图像信息处理,提高了模板匹配的匹配概率,可用于红外成像空地制导武器末段自动识别目标,具有良好的应用前景。
权利要求书2页说明书7页附图7页CN113128573A2021.07.16CN113128573A1.一种红外可见光异源图像匹配方法,其特征在于步骤如下:
(1)根据每一时刻的弹道姿态信息,将可见光基准图通过透视变换转换到与红外实时图同一视角下,在可见光基准图中选取若干参照物模板,计算各模板中心与目标点的位置关系;
(2)分别对红外实时图与可见光基准图进行处理,形成红外梯度方向图和可见光梯度方向图;(3)分别计算红外梯度方向图和可见光梯度方向图各像素点的梯度值;(4)在每个参照物模板梯度方向图中,划分出M*N个子块并计算各子快的梯度和,根据各子块的梯度和提取参照物模板的兴趣块;(5)对于每一个参照物模板,按照参照物模板的大小,以一定步长遍历红外梯度方向图,得到若干个待匹配区域,对每一个待匹配区域执行以下操作:
将红外梯度方向图待匹配区域分割成为M*N个子块,对每个子块与参照物模板中的兴趣块进行匹配,获得最优的匹配结果,即得到参照物模板中心在红外梯度方向图中对应同名点的位置;(6)根据各参照物模板与目标点的位置关系以及红外梯度方向图中同名点的位置,在红外实时图中得到目标点位置信息,完成红外可见光异源图像匹配。
2.根据权利要求1所述的一种红外可见光异源图像匹配方法,其特征在于:
所述步骤
(2)中,红外梯度方向图中,像素点(x,y)的梯度G1(x,y)定义为向量,表示为:
其中,G1x为像素点(x,y)在x方向的梯度,G1y为像素点(x,y)在y方向的梯度,I1为像素点(x,y)的像素值;梯度的方向定义为1(x,y)arctan(G1y/G1x)其中1(x,y)是像素点(x,y)的梯度G1(x,y)相对x轴的角度。
3.根据权利要求2所述的一种红外可见光异源图像匹配方法,其特征在于:
红外梯度方向图中,像素点(x,y)的梯度值|G1(x,y)|满足4.根据权利要求1所述的一种红外可见光异源图像匹配方法,其特征在于:
所述步骤
(2)中,可见光梯度方向图中,每一个像素点(x,y)的梯度G2(x,y)定义为向量,表示为:
其中,G2x为像素点(x,y)在x方向的梯度,G2y为像素点(x,y)在y方向的梯度,I2为像素点(x,y)的像素值;梯度的方向定义为2(x,y)arctan(G2y/G2x)权利要求书1/2页2CN113128573A2其中2(x,y)是像素点(x,y)的梯度G2(x,y)相对x轴的角度。
5.根据权利要求4所述的一种红外可见光异源图像匹配方法,其特征在于:
所述步骤(3)中,可见光梯度方向图中,像素点(x,y)的梯度值|G2(x,y)|满足6.根据权利要求1所述的一种红外可见光异源图像匹配方法,其特征在于:
所述步骤(4)中,每个子块的梯度和等于该子块中所有像素点的梯度值之和。
7.根据权利要求1所述的一种红外可见光异源图像匹配方法,其特征在于:
所述步骤(4)中,提取参照物模板兴趣块的方法如下:
将参照物模板分割成M*N个子块,并分别计算各个子块的梯度和,将各子块的梯度和按照从大到小排序,选出排在最前面的k个作为兴趣块,k大于等于3。
8.根据权利要求1所述的一种红外可见光异源图像匹配方法,其特征在于:
将红外梯度方向图中目标点位置传递给伺服系统或者制导系统,供后续应用。
权利要求书2/2页3CN113128573A3一种红外可见光异源图像匹配方法技术领域0001本发明涉及一种非制冷红外可见光异源图像匹配方法,尤其涉及空对地制导武器中的非制冷红外与可见光图像匹配方法,属于精确制导领域。
背景技术0002可见光相机、红外相机、合成孔径雷达(SAR)和卫星遥感图像已大量应用于的情报侦察和精确制导中,来源不同的图像(异源图像)匹配技术是精确制导的一个重要课题。
由于成像机理的差异,不同图像传感器的图像很容易出现灰度非线性、非单调性和非函数关系的畸变,因此,相同对象在不同的成像方式下得到的图像差异非常大,图像之间的灰度关联性会严重降低,在一些特殊下,图像的非线性灰度畸变还会导致图像灰度和结构方向的反转,为图像匹配带来非常大的困难。
0003非制冷红外成像制导具有体积小、重量轻、功耗低和成本低等优点,已成为红外技术发展的重要方向,在军事领域拥有巨大的发展空间,是近期战术制导武器研究的重点。
特别是近年来,非制冷红外成像器件打破国外垄断,国内己经能自主研制具有较高性能的非制冷红外焦平面,推动了非制冷红外在军事领域的快速应用。
然而,非制冷红外成像质量上有其固有缺陷,为后续的图像处理带来非常大的困难,主要表现为灵敏度低,NETD一般在50mK以上,远高于制冷探测器的10mK,导致非制冷成像质量与制冷探测器相差很大,另外,探测器采用的敏感材料的热敏时间常数510ms左右,环境的振动会导致明显成像拖尾,进一步使图像质量恶化,带来了图像的边缘模糊、角点和轮廓特征不明显等问题,使实时图与基准图的细节相差很大,用传统的匹配方法很难得到理想的匹配精度与正确率。
0004常用的图像方法可分为基于变换域和基于特征的方法。
基于变换域的方法主要有Fourier变换、wavelet变换,wash变换等,主要适用于图像间存在刚性变换的情况。
基于特征的匹配方法适应范围更广,检测算法主要有角点特征检测、边缘特征检测、区域特征检测等,其中,基于角点的特征检测算法包括Moravec检测算法、SUSAN检测算法、最大稳定极值区域(MSER)检测算法、SIFT、PCASIFT、GLOD和SURF算法等;基于边缘的方法主要检测图像的边缘、轮廓或线特征,常用的方法有Sobel算子、Roberts算子、Canny算子、LOG算子、分水岭算法、水平集方法、MeanShift聚类方法等,这些算子对噪声鲁棒性差,并且在视觉感知和边缘确定方面难以满足实际需求;常见的区域特征为模板匹配法。
此类算法的优点为算法简单,与图像内容无关,通用性好,对噪声和遮挡具有一定的鲁棒性;缺点为计算量较大,对图像的畸变较为敏感。
基于变换域和基于特征在同源图像应用已经比较成功,但大量文献研究发现,这些匹配算法在异源图像匹配中效果不佳,不适应异源图像的灰度非线性畸变、强噪声和局部特征信息丢失等问题。
发明内容0005本发明的技术解决问题是:
克服现有技术的不足,提供一种红外可见光异源图像匹配方法。
说明书1/7页4CN113128573A40006本发明的技术解决方案是:
0007一种红外可见光异源图像匹配方法,步骤如下:
0008
(1)根据每一时刻的弹道姿态信息,将可见光基准图通过透视变换转换到与红外实时图同一视角下,在可见光基准图中选取若干参照物模板,计算各模板中心与目标点的位置关系;0009
(2)分别对红外实时图与可见光基准图进行处理,形成红外梯度方向图和可见光梯度方向图;0010(3)分别计算红外梯度方向图和可见光梯度方向图各像素点的梯度值;0011(4)在每个参照物模板梯度方向图中,划分出M*N个子块并计算各子快的梯度和,根据各子块的梯度和提取参照物模板的兴趣块;0012(5)对于每一个参照物模板,按照参照物模板的大小,以一定步长遍历红外梯度方向图,得到若干个待匹配区域,对每一个待匹配区域执行以下操作:
0013将红外梯度方向图待匹配区域分割成为M*N个子块,对每个子块与参照物模板中的兴趣块进行匹配,获得最优的匹配结果,即得到参照物模板中心在红外梯度方向图中对应同名点的位置;0014(6)根据各参照物模板与目标点的位置关系以及红外梯度方向图中同名点的位置,在红外实时图中得到目标点位置信息,完成红外可见光异源图像匹配。
0015所述步骤
(2)中,红外梯度方向图中,像素点(x,y)的梯度G1(x,y)定义为向量,表示为:
00160017其中,G1x为像素点(x,y)在x方向的梯度,G1y为像素点(x,y)在y方向的梯度,I1为像素点(x,y)的像素值;0018梯度的方向定义为00191(x,y)arctan(G1y/G1x)0020其中1(x,y)是像素点(x,y)的梯度G1(x,y)相对x轴的角度。
0021红外梯度方向图中,像素点(x,y)的梯度值|G1(x,y)|满足00220023所述步骤
(2)中,可见光梯度方向图中,每一个像素点(x,y)的梯度G2(x,y)定义为向量,表示为:
00240025其中,G2x为像素点(x,y)在x方向的梯度,G2y为像素点(x,y)在y方向的梯度,I2为像素点(x,y)的像素值;0026梯度的方向定义为00272(x,y)arctan(G2y/G2x)说明书2/7页5CN113128573A50028其中2(x,y)是像素点(x,y)的梯度G2(x,y)相对x轴的角度。
0029所述步骤(3)中,可见光梯度方向图中,像素点(x,y)的梯度值|G2(x,y)|满足00300031所述步骤(4)中,每个子块的梯度和等于该子块中所有像素点的梯度值之和。
0032所述步骤(4)中,提取参照物模板兴趣块的方法如下:
0033将参照物模板分割成M*N个子块,并分别计算各个子块的梯度和,将各子块的梯度和按照从大到小排序,选出排在最前面的k个作为兴趣块,k大于等于3。
0034将红外梯度方向图中目标点位置传递给伺服系统或者制导系统,供后续应用。
0035本发明与现有技术相比的优点在于:
0036
(1)本发明将红外实时图像和可见光基准图像转换为梯度方向图,保留异源图像间的共性特征;0037
(2)本发明中兴趣块通过分块梯度的方法自动选择,避免了人工选取的主观性,使算法更加客观。
0038(3)本发明解决了模板匹配不适用于尺度变化、视角变化等问题;0039(4)本发明采用组合模板模板匹配方法实现目标定位,解决了异源图像匹配的鲁棒性问题。
附图说明0040图1为本发明方法实现流程图;0041图2为本发明中坐标变换关系图;0042图3为本发明中图像示意图,其中(a)为红外实时图,(b)为可见光基准图;0043图4为本发明中图像示意图,其中(a)为红外实时梯度图,(b)为可见光梯度图;0044图5为本发明中图像示意图,其中(a)为红外实时梯度方向图,(b)为可见光梯度方向图;0045图6为本发明中可见光基准图中选取的参照物模板;0046图7、图8为本发明中QATM算法示意图;0047图9为本发明中QATM算法的5种匹配情况;0048图10图13为本发明中QATM算法匹配到的红外对应兴趣块位置;0049图14为本发明中异源图像匹配算法得到的目标位置结果。
具体实施方式0050本发明针对非制冷红外和可见光图像的特点,提出了一种基于梯度方向的区域匹配方法,通过构造梯度方向图像,提取出红外与可见光图像的梯度方向信息,保证了红外与可见光图像灰度差异大时,仍能得到相同的特征;然后通过匹配算法找出红外与可见光图像最相似位置,得到目标的精确位置。
0051本发明适用于红外成像空地制导武器地面固定目标的识别。
该方法所用可见光基准图像取自无人机或卫星图片等侦查手段,通过任务规划系统在基准图像中选取原始目标模板图像,并对模板图像进行特征检测及特征描述,形成基准图特征文件装订给红外导引说明书3/7页6CN113128573A6头;在弹体飞行过程中,根据弹体实时姿态信息对模板图像进行坐标变换,使各个弹道位置的目标模板图像与实际飞行时获得的红外实时图像具有相同的尺度和视角,导引头采用与模板图像相同的特征检测及特征描述算法对实时红外图像进行处理,获取红外实时图像的特征信息,最后将红外实时图像特征信息与模板图像特征信息进行匹配得到红外实时图像中的目标位置。
本发明通过导航、弹道与图像处理一体化设计,解决了常用模板匹配目标识别方法不适用于尺度变化、视角变化的问题,简化了导引头的图像信息处理,提高了模板匹配的匹配概率,可用于红外成像空地制导武器末段自动识别目标,具有良好的应用前景。
0052如图1所示,本发明具体实现步骤如下:
0053步骤一:
根据每一时刻的弹道姿态信息,将可见光基准图像通过透视变换转换到与红外实时图同一视角下。
在可见光基准图中选取若干参照物模板,计算各模板中心与目标点的位置关系。
0054如图2所示,导引头图像采集的过程实际是通过世界坐标系转换到相机坐标系,再转换到图像坐标系,最后转换到计算机图像坐标系的过程。
0055相机坐标系选择原点为透镜中心,视线方向为zc轴负方向,相机向下且与zc轴垂直的方向为yc轴正向,xc轴与yc轴、zc轴正交组成右手坐标系。
从世界坐标系(xw,yw,zw)到相机坐标系(xc,yc,zc)的转换关系可以表示如下:
00560057其中T1为平移向量(Tx,Ty,Tz),与导引头的空间位置有关。
R为坐标旋转矩阵。
旋转矩阵R与导引头的姿态有关,可以用欧拉角表示法求得。
如图4所示,记视线方向偏航角度,俯仰角度和滚转角度,可以得到:
00580059图像坐标系为二维坐标系,选择原点为透镜焦点与zc轴的交点,xu轴、yu轴分别平行于xc轴、yc轴。
从相机坐标系(xc,yc,zc)到图像坐标系(xu,yu)的转换关系式为:
00600061其中f为相机的焦距。
0062计算机图像坐标系主要一般采用整数坐标,其坐标范围由具体图像设备的分辨率决定。
从图像坐标系(xu,yu)到计算机图像坐标系(u,v)的转换关系式为:
00630064其中(cx,cy)为原点在像平面上的像坐标,dx、dy分别为像平面上xu、yu方向上单位像素的尺寸。
0065通过上述相机成像过程的模拟,可以将可见光模板图像按照规定的顺序进行旋转变换至红外实时图像的拍摄视角。
说明书4/7页7CN113128573A70066在变换后的可见光图像中选取若干参照物作为模板(如图6所示),并计算各模板中心与目标点的位置关系。
0067图3为本发明中图像示意图,其中(a)为红外实时图,(b)为可见光基准图0068步骤二:
通过Canny算法对红外实时图与可见光基准图进行处理,形成红外梯度方向图和可见光梯度方向图。
0069Canny边缘检测器是高斯函数的一阶导数,是对信噪比与定位之乘积的最优化逼近算子Canny1986.我们将通过下面的符号对Canny边缘检测器算法作一概括说明。
用Ix,y表示图像,使用可分离滤波方法求图像与高斯平滑滤波器卷积,得到的结果是一个已平滑数据阵列0070Fx,ygx,y;*Ix,y(5)0071其中Fx,y是平滑后的图像,gx,y;是高斯滤波器。
0072边缘检测是检测图像局部显著变化的最基本运算。
在一维情况下,阶跃边缘同图像的一阶导数局部峰值有关。
梯度是函数变化的一种度量,而一幅图像可以看作是图像强度连续函数的取样点阵列。
因此,同一维情况类似,图像灰度值的显著变化可用梯度的离散逼近函数来检测。
梯度是一阶导数的二维等效式,定义为向量。
0073Canny梯度图如附图4所示,其中(a)为红外实时图,(b)为可见光基准图。
0074梯度方向图如附图5所示,其中(a)为红外实时图,(b)为可见光基准图。
0075具体地,红外梯度方向图中,像素点(x,y)的梯度G1(x,y)定义为向量,表示为:
00760077其中,G1x为红外梯度方向图中像素点(x,y)在x方向的梯度,G1y为红外梯度方向图中像素点(x,y)在y方向的梯度,I1为红外梯度方向图中像素点(x,y)的像素值;0078梯度的方向定义为00791(x,y)arctan(G1y/G1x)0080其中1(x,y)是红外梯度方向图中像素点(x,y)的梯度G1(x,y)相对x轴的角度。
0081可见光梯度方向图中,每一个像素点(x,y)的梯度G2(x,y)定义为向量,表示为:
00820083其中,G2x为可见光梯度方向图中像素点(x,y)在x方向的梯度,G2y为可见光梯度方向图中像素点(x,y)在y方向的梯度,I2为可见光梯度方向图中像素点(x,y)的像素值;0084梯度的方向定义为00852(x,y)arctan(G2y/G2x)0086其中2(x,y)是可见光梯度方向图中像素点(x,y)的梯度G2(x,y)相对x轴的角度。
0087步骤三:
分别计算红外梯度方向图和可见光梯度方向图各像素的梯度值。
0088分别对红外实时梯度方向图和可见光梯度方向图的每一像素点的梯度幅值进行计算。
0089红外梯度方向图中,像素点(x,y)的梯度值|G1(x,y)|满足说明书5/7页8CN113128573A800900091可见光梯度方向图中,像素点(x,y)的梯度值|G2(x,y)|满足00920093步骤四:
提取可见光模板的兴趣块0094在每个参照物模板梯度方向图中,划分出M*N个子块并计算各子快的梯度和,根据各子块的梯度和提取参照物模板的兴趣块;0095提取参照物模板兴趣块的方法如下:
0096将参照物模板分割成M*N个子块,并分别计算各个子块的梯度和,将各子块的梯度和按照从大到小排序,选出排在最前面的k个作为兴趣块,k大于等于3。
0097所得兴趣块如附图7所示。
0098(5)通过匹配算法,得到各模板中心在红外实时图中的位置0099对于每一个参照物模板,按照参照物模板的大小,以一定步长遍历红外梯度方向图,得到若干个待匹配区域,对每一个待匹配区域执行以下操作:
0100将红外梯度方向图待匹配区域分割成为M*N个子块,对每个子块与参照物模板中的兴趣块进行匹配,获得最优的匹配结果,即得到参照物模板中心在红外梯度方向图中对应同名点的位置0101传统模板匹配算法如NCC等需要将模板以及搜索图像的待匹配区域中全部像素纳入计算,待匹配区域形变稍大或出现遮挡等情况时,会大幅影像匹配精度。
0102本发明匹配算法将模板以及待匹配区域进一步划分为补丁,目的为了在计算时收敛匹配区域,降低模板或待匹配区域中背景变化对匹配产生的影响,突出目标主体,将匹配质量最优的区域合并作为最终的匹配位置,其详细思路如下:
0103如附图7、附图8所示,定义可见光图像中参照物模板为模板T,红外图像中待匹配的搜索区域为S,在搜索图像中给待匹配区域找到与模板T匹配程度最高的补丁si,在模板中找到与待匹配区域S匹配程度最高的补丁ti,得到模板与待匹配区域的最佳匹配区域si,ti,其中si为红外实时图中待搜索区域的子块,ti为可见光基准图中的子块。
0104将搜索图像中待匹配区域S与模板T以及补丁si,ti作为向量展开,分别计算S与t1、t2、ti的余弦相似度(s,t),以及T与s1、s2、si的余弦相似度(t,s),代入Softmax函数(原型为)分别得到似然函数值L(t|s)、L(s|t),式中参数作用为增加似然函数的灵敏度,使得相似度高的一组t和s似然函数值趋近于1,反之若相似度低于趋近于0。
二者相乘得到匹配质量系数QATM。
01050106说明书6/7页9CN113128573A90107QATM(sq,tp)L(tp|sq)L(sq|tp)(11)0108(tp,sq)表示补丁tp和sq的似然函数值,L(sq|tp)表示补丁sq和tp的似然函数值。
0109如附图9所示,算法分为5种匹配情况:
若S中只有1个补丁si与T匹配度较高,且T中只有一个补丁ti与S匹配程度较高,那么认定匹配可靠性较高,匹配质量系数QATM为1;若S中只有1个补丁si与T匹配度较高,但T中有N个补丁ti与S匹配程度较高,那么认为匹配可靠性较低,匹配质量系数QATM为1/N;若S中有M个补丁si与T匹配度较高,但T中只有1个补丁ti与S匹配程度较高,那么认为匹配可靠性较低,匹配质量系数QATM为1/M;若S中有M个补丁si与T匹配度较高,且T中有N个补丁ti与S匹配程度较高,那么认为匹配可靠性较低,匹配位置还可以进一步优化,匹配质量系数QATM为1/MN;若S与T的补丁相互匹配程度均较低则认为S与T不匹配,匹配质量系数QATM近似为0。
0110最后选择匹配质量系数最高的几组s和t区域合并,使得整体匹配质量最大化,得到最终的匹配位置,分别对各可见光参照物模板进行匹配计算,得到各参照物模板在红外实时图中的同名点位置,如附图10附图13所示。
0111(6)根据各参照物模板与目标点的位置关系以及红外梯度方向图中同名点的位置,在红外实时图中得到目标点位置信息,完成红外可见光异源图像匹配。
如附图14所示。
0112最后将红外实时图中目标点位置信息传递给伺服系统或者制导系统。
0113针对异源图像灰度非线性、非单调性和非函数关系的特点,将灰度图像转换为梯度方向图,保留异源图像间的共性特征,并通过组合模板模板匹配方法实现目标定位。
0114经过相关试验表明,本发明很好的解决了异源图像匹配的鲁棒性问题,使异源图像匹配技术在空地制导武器上得以应用。
0115本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。
说明书7/7页10CN113128573A10图1说明书附图1/7页11CN113128573A11图2图3说明书附图2/7页12CN113128573A12图4图5说明书附图3/7页13CN113128573A13图6图7说明书附图4/7页14CN113128573A14图8图9图10说明书附图5/7页15CN113128573A15图11图12说明书附图6/7页16CN113128573A16图13图14说明书附图7/7页17CN113128573A17
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 一种 红外 可见光 图像 匹配 方法