1 引言
红外图像与可见光图像之间配准是计算机视觉领域研究的热点技术之一，其普遍在双目视觉、体温检测与消防救援等领域得到广泛应用[1-5]。首先针对红外图像和可见光图像的成像原理进行分析，红外光与可见光分别处于光谱的不同波段，都有其固有特征，红外图像由物体表面的发射率和温度决定，而可见光图像由物体表面的反着率和阴影决定，所以红外图像与可见光图像之间的成像原理存在差异，然后由于红外传感器与可见光传感器在拍摄同一时间同一区域时不可能在完全相同的位置和视角，会导致二者存在一定的视角差，从而导致图像产生几何畸变，给估计红外图像与可见光图像之间配准模型带来困难，以上2个因素是导致红外图像与可见光图像之间配准准确率不高的主要原因。
针对红外图像与可见光图像之间配准准确率不高的问题，国内学者以国外的同源图像配准算法为对象进行进一步优化，例如，2017年，许金鑫等人利用图像形态学算法加上加速鲁棒性特征算法(speeded up robust feature，SURF)[6]，提取红外图像与可见光图像的特征，在匹配时采用斜率一致性的方法进行匹配，并将该方法应用在电气设备图像的配准中[7]；2019年，江泽涛等人利用显著性特征方法进行预处理，然后将泰勒级数融入到定向的加速分段测试特征(features from accelerated segment test，FAST)[8-9]和旋转的二进制鲁棒独立基本特征(binary robust independent elementary features，BRIEF)[10](oriented FAST and rotated BRIEF，ORB)算法[11]中，进行红外图像与可见光图像的特征提取与匹配[12]；2020年，奚绍礼等人将尺度不变特征变换(scale invariant feature transform，SIFT)算法[13-14]和ORB算法相互融合，利用SIFT特征匹配点对ORB特征匹配点进行几何约束来进行图像特征的精匹配[15]。
本文提出新型图像配准方法，首先使用平滑和边缘轮廓检测算法进行预处理，然后使用基于极值原理的优化KAZE算法[16]生成32维图像特征描述符序列，最后使用基于K最近邻(K-nearest neighbors，KNN)算法[17]与快速最近邻逼近搜索库(fast approximate nearest neighbor search library，FLANN)算法[18]相结合的优化匹配算法进行匹配。
2 新型图像配准方法
新型图像配准方法按照实现流程分为3个阶段：① 预处理阶段，包括对红外图像与可见光图像进行平滑和边缘轮廓检测处理；② 描述符阶段，包括使用基于极值原理和降维算法的优化KAZE算法生成32维描述符序列；③ 匹配阶段，包括使用优化匹配算法进行图像特征匹配。新型图像配准方法的实现流程如图1所示。
图1 新型图像配准方法的实现流程框图
Fig.1 Implementation flow chart of the new image registration method
2.1 预处理阶段
新型图像配准方法在预处理阶段使用平滑和边缘轮廓检测算法对红外图像与可见光图像进行预处理，分为以下4个步骤：① 用高斯滤波器平滑处理红外图像与可见光图像；② 用一阶偏导的有限差分来计算图像梯度的幅值和方向；③ 对图像梯度幅值进行非极大值抑制；④ 用双阀值方法检测和连接边缘轮廓，将得到边缘轮廓图像作为后续图像特征提取的输入。
2.2 描述符阶段
新型图像配准方法在描述符阶段使用优化KAZE算法提取图像特征，并生成32维图像特征描述符序列，优化KAZE算法在图像特征提取阶段，使用极值原理提取图像特征，如果仅使用极大值或极小值，在同源图像之间配准效果显著，但在红外图像与可见光图像之间配准效果欠佳，提取的图像特征较少，不利于后续的图像特征匹配，所以本文利用极值原理提取图像特征。
优化KAZE算法将不同尺度上图像亮度的变化看成某种流动函数的散度，利用非线性扩散方程对图像进行扩散滤波构建非线性尺度空间，非线性扩散方程为：
(1)
式(1)中：L表示图像的亮度；t表示尺度参数；div表示散度；▽表示梯度；▽Lδ表示原始图像L在δ尺度上经过高斯滤波后的梯度。g函数表示为：
(2)
式(2)中：k表示对比度因子，其值是梯度图像▽Lδ直方图70%百分位上的值。
对式(1)进行隐式差分后，采用加性算子分裂算法(additive operator splitting，AOS)构建线性尺度空间，获得方程的解为：
(3)
式(3)中： I表示单位矩阵；ti表示进化时间；Al表示对角占优的三对角线矩阵；Li表示非线性尺度空间第i层图像亮度。
首先，在非线性尺度空间中，通过计算像素点的Hessian矩阵值来提取图像特征。将每个像素点的Hessian矩阵值与当前层i、上层i+1和下层i-1的δi×δi的矩形窗口内共26个像素点的Hessian矩阵值进行比较，如果该像素点的 Hessian矩阵值大于或者小于这26个像素点的Hessian矩阵值，则该像素点的Hessian矩阵值为极值点，该极值点为图像特征。
其次，为了获得旋转不变图像特征描述符序列，需要计算图像特征的主方向，计算方法是：以图像特征为中心点，选取半径为6δi的圆形区域，对所在区域内像素点计算一阶微分Lx、Ly，再以张角为60°、步长为0.15 rad的扇形区域绕图像特征转动，转动过程中累加一阶微分Lx、Ly的值，其中累加值最大对应的方向就是主方向。
再次，再以图像特征为中心，选取大小为24δi×24δi的矩形区域，并划分成大小相等的8块子区域，且相邻区域有4δi的重合，对子区域内像素点的一阶微分使用高斯核进行加权计算，从而得到描述符向量dν，描述符向量dν计算式为：
dν=(∑Lx，∑Ly，∑|Lx|，∑|Ly|)
(4)
式(4)中：dν表示描述符向量；Lx表示图像在x方向的一阶微分；Ly表示图像在y方向的一阶微分；|Lx|表示图像在x方向的一阶微分的绝对值， |Ly|表示图像在y方向的一阶微分的绝对值。
最后，使用高斯窗口对8个子区域描述符向量dν进行进一步加权计算和归一化处理，得到32维图像特征描述符序列。
2.3 匹配阶段
新型图像配准方法在匹配阶段使用KNN算法与FLANN算法相结合的优化距离相似性度量方法，分为以下3个步骤：① 使用KNN算法对红外图像向可见光图像进行特征匹配，得到匹配图像特征对集A；② 使用FLANN算法对可见光图像向红外图像进行特征匹配，得到匹配图像特征对集B；③ 比较匹配特征对A和匹配特征对B，得到最终匹配图像特征对集F。
针对2.2节中得到的32维图像特征描述符序列参数，设定红外图像中图像特征描述符序列参数为Ui(x1，x2，x3，…，x30，x31，x32)，可见光图像中图像特征描述符序列参数为Vj(y1，y2，y3，…，y30，y31，y32)。
首先，假定红外图像中图像特征集为U，可见光图像中图像特征集为V，然后以图像特征集U中的图像特征Ui为对象，使用欧式距离定义式(5)遍历图像特征集V中的所有图像特征，得到d(Ui，Vj)的最小值d(Ui，V1j)与次最小值d(Ui，V2j)，即最近邻图像特征V1j和次最近邻图像特征V2j，如果d(Ui，Vj)的最小值d(Ui，V1j)与次最小值d(Ui，V2j)满足欧式距离比较式(6)，则图像特征集V中的图像特征V1j为图像特征集U中的图像特征Ui的匹配图像特征，遍历图像特征集U中所有图像特征，得到匹配图像特征对集A。
(5)
(6)
式(5)(6)中：xm表示红外图像中图像特征描述符序列参数的元素；ym表示可见光图像中图像特征描述符序列参数的元素；d(Ui，Vj)表示红外图像与可见光图像之间特征的距离相似性度量值；d(Ui，V1j)、d(Ui，V2j)分别表示图像特征集U中的图像特征Ui与图像特征集V中的最近邻图像特征V1j、次最近邻图像特征V2j的距离相似性度量值；Th1表示阈值，本文设定Th1的值为0.80。
然后，以可见光图像中图像特征集V为对象，遍历图像特征集U中的所有图像特征，得到d(Vj，Ui)的最小值dmin(Vj，Ui)，即最近邻图像特征Ui，取遍可见光图像中图像特征集V中所有对象，得到d(Vj，Ui)的最小值dmin(Vj，Ui)的集合K{dmin(Vj，Ui)}，计算集合K{dmin(Vj，Ui)}中的最小值为dmin(Vj，Ui)，dmin(Vj，Ui)与dmin(Vj，Ui)满足定义式(7)，则将其纳入匹配图像特征对集B中。
(7)
式(7)中：dmin(Vj，Ui)表示所有dmin(Vj，Ui)的集合中的最小值；min 表示计算集合的最小值；K{} 表示集合；dmin(Vj，Ui)表示图像特征集V中的图像特征Vj与图像特征集U中的最近邻图像特征Ui的距离相似性度量值。
最后，比较匹配图像特征对集A与匹配图像特征对集B中匹配图像特征对，如果匹配图像特征对完全相同，则为有效的匹配图像特征对，有效的匹配图像特征对的集合为最终的匹配图像特征对集F。
3 仿真实验
仿真实验软件为Visual Studio 2010，配置OpenCV 2.4.13图像处理库，仿真实验硬件为计算机，计算机的中央处理器配置是：AMD A10-7300 Radeon R6 10 Compute Cores 4CPU + 6 GPU@1.90 GHz、内存配置是4 096 MB RAM、操作系统配置是Windows 7 旗舰版32位。
仿真实验采用TNO_Image_Fusion_Dataset图像库中Marne_04、Kaptein_1123与Airplane_in_Trees共3组红外图像与可见光图像作为仿真实验图像源，如图2所示，其中图2(a)是Marne_04红外图像，像素大小为620×450，即Marne_04_IR；图2(b)是Marne_04可见光图像，像素大小为620×450，即Marne_04_VIS；图2(c)是Kaptein_1123红外图像，像素大小为620×450，即Kaptein_1123_IR；图2(d)是Kaptein_1123可见光图像，像素大小为620×450，即Kaptein_1123_VIS；图2(e)是Airplane_in_Trees红外图像，像素大小为595×328，即Airplane_in_Trees_IR；图2(f)是Airplane_in_Trees可见光图像，像素大小为595×328，即Airplane_in_Trees_VIS。
图2 待配准的红外图像与可见光图像
Fig.2 The registration images of infrared and visible
整个仿真实验使用传统SIFT算法、传统SURF算法、新型图像配准方法对待配准的红外图像与可见光图像进行图像配准实验，其中，图3表示对红外图像与可见光图像进行预处理的边缘轮廓检测结果图像，图4表示基于传统SIFT算法、传统SURF算法、新型图像配准方法的边缘轮廓图像特征提取与匹配结果图像，图5表示基于传统SIFT算法、传统SURF算法、新型图像配准方法的源图像特征提取与匹配结果图像。
图3中：图3(a)表示Marne_04_IR的边缘轮廓检测结果图像，图3(b)表示Marne_04_VIS的边缘轮廓检测结果图像，图3(c)表示Kaptein_1123_IR的边缘轮廓检测结果图像，图3(d)表示Kaptein_1123_VIS的边缘轮廓检测结果图像，图3(e)表示Airplane_in_Trees_IR的边缘轮廓检测结果图像，图3(f)表示Airplane_in_Trees_VIS的边缘轮廓检测结果图像。
图3 边缘轮廓检测结果图像
Fig.3 The result graphs of edge contour detection
图4中：图4(a1)-图4(c1)表示使用传统SIFT算法对边缘轮廓图像的特征提取与匹配结果图像，图4(a2)-图4(c2)表示使用传统SURF算法对边缘轮廓图像的特征提取与匹配结果图像，图4(a3)-图4(c3)表示使用新型图像配准方法对边缘轮廓图像的特征提取与匹配结果图像。
图4 边缘轮廓图像特征提取与匹配结果图像
Fig.4 The feature extraction and matching result graphs of edge contour images
图5中：图5(a1)-(c1)表示使用传统SIFT算法对源图像特征提取与匹配结果图像，图5(a2)-图5(c2)表示使用传统SURF算法对源图像特征提取与匹配结果图像，图5(a3)-图5(c3)表示使用新型图像配准方法对源图像特征提取与匹配结果图像。
图5 源图像特征提取与匹配结果图像
Fig.5 The feature extraction and matching result graphs of source images
为了比较新型图像配准方法的运行效率，仿真实验选择特征数目、特征匹配数目、特征正确匹配数目、特征配准准确率、图像描述符阶段消耗时间、图像特征匹配阶段消耗时间、图像配准总消耗时间共7个统计参数作为评价指标，其中图像特征配准准确率的计算公式如式(8)所示，评价指标统计数据如表1所示。根据图3～图5结果与评价指标统计数据的对比分析可知：
1) 传统SIFT算法与传统SURF算法对异源图像的配准效果不理想，出现大量的误匹配对；
2) 新型图像配准方法的平均配准准确率为91.62%，但耗时稍长，在图像拼接等配准准确率要求较高但不追求配准实时性的应用场景具有明显的优越性，不适合同时追求配准准确率与实时性2个方面的应用场景，如目标追踪等。
(8)
式(8)中：Pm表示新型图像配准方法的图像配准准确率；M新型配准方法表示新型图像配准方法的图像特征正确匹配数目；N新型配准方法表示新型图像配准方法的图像特征匹配数目。
表1 基于传统SIFT算法、传统SURF算法与新型图像配准方法的统计数据对比
Table 1 Statistical data comparison based on the traditional SIFT algorithm， the traditional SURF algorithm and the new image registration method
参数Marne_04_IR_VISSIFTSURF新型Kaptein_1123_IR_VISSIFTSURF新型Airplane_in_Trees_IR_VISSIFTSURF新型图像特征数目/个110/3251 439/2 512418/918323/9081 946/4 135733/1 743155/1911 100/1 155523/573图像特征匹配数目/对7210562231233图像特征正确匹配数目/对009012001131图像配准准确率/%0090.00016.6790.91091.6793.94图像描述符阶段消耗时间/ms931.062 084.662 390.631 087.482 358.152 478.48619.071 031.061 296.19图像匹配阶段消耗时间/ms357.16492.05426.50387.48408.02418.15334.53429.64285.28图像配准总消耗时间/ms1 444.402 735.893 049.311 656.822 936.783 058.361 127.291 648.521 876.15
4 结论
1) 经过图像预处理阶段、图像特征提取与描述符序列生成阶段、图像特征匹配阶段共3个阶段的处理，得到新型图像配准方法。
2) 新型图像配准方法与传统SIFT算法、传统SURF算法相比有以下特点：① 图像配准准确率高；② 实时性不高；③ 红外图像与可见光图像之间配准还无法做到与同型图像配准一样具有普遍适应性，只能在特定的应用场景下进行适配。
3) 后续工作主要针对以下2个方面进行研究：① 利用分块或降维的思想来提升图像配准的实时性；② 在预处理阶段，利用红外图像与可见光图像的成像差异性对预处理算法进行优化，提升图像配准算法对应用环境的适应性。
[1] 马永军.基于可见光和红外热像仪的双目视觉目标检测与定位[D].大连:大连海事大学，2018.
Ma Y J.Object detection and localization by stereoscopic vision system based on thermalvisual cameras[D].Dalian：Dalian Maritime University，2018.
[2] 王志远，王茂森.基于双目视觉的移动机器人测距与定位系统[J].兵器装备工程学报，2017(11):173-177.
Wang Z Y，Wang M S.Ranging and positioning system of mobile robot based on binocular vision[J].Journal of Ordnance Equipment Engineering，2017(11):173-177.
[3] Zhang H.Research on automatic control system of fire-fighting robot based on infrared thermo-graphy[D].Nanjing:Nanjing University of Aeronautics and Astron-autics，2019.
[4] Chen S.Development and Implementation of infrared thermal imaging analysis algorithm for human body[D].Harbin:Harbin Institute of Technology，2017.
[5] 任智伟，吴玲达.基于信息量改进主成分分析的高光谱图像特征提取方法[J].兵器装备工程学报，2018，39(07)：151-154.
Ren Z W，Wu L D.Feature extraction for hyperspectral images based on principal component analysis improved by information quantity[J].Journal of Ordnance Equipment Engineering，2018，39(07):151-154.
[6] Bay H，Tuytelaars T，Gool L V.SURF：Speeded Up Robust Features[C]//Proceedings of the European Conference on Computer Vision，2006:404-417.
[7] 许金鑫，李庆武，马云鹏，等.基于斜率一致性的电气设备红外与可见光图像配准方法[J].光电子·激光，2017，28(07):794-802.
Xu J X，Li Q W，Ma Y P，et al.Registration method between infrared and visible images of electrical equipment based on slope consistency[J].Journal of Optoelectronics·Laser，2017，28(07):794-802.
[8] Rosten E，Porter R，Drummond T.Faster and Better：A machine learning approach to corner detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32:105-119.
[9] Rosten E，Drummond T.Machine learning for high-speed corner detection[C]//Proceedings of the International European Conference on Computer Vision，2006:430-443.
[10] Calonder M，Lepetit V，Strecha C，et al.BRIEF：Binary robust independent elementary features[C]//Proceedings of the European Conference on Computer Vision，2010:1-14.
[11] Rublee E，Rabaud V，Konolige K，et al.ORB：An efficient alternative to SIFT or SURF[C]//Proceedings of the 2011 International Conference on Computer Vision，2011：2564-2571.
[12] 江泽涛，刘小艳，王琦.基于显著性和ORB的红外和可见光图像配准算法[J].激光与红外，2019，49(02):251-256.
Jiang Z T，Liu X Y，Wang Q.Visible and infrared image registration algorithm based on saliency and ORB[J].Laser & Infrared，2019，49(02):251-256.
[13] Lowe D G.Object recognition from local scale-invariant features[C]//Proceedings of the International Conference on Computer Vision，1999:1150-1157.
[14] Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision，2004，60(02):91-110.
[15] Xi S L，Li W，Xie J F，et al.Feature point matching between infrared image and visible light image based on SIFT and ORB operators[J].Infrared Technology，2020，42(02):168-175.
[16] Alcantarilla P F，Bartoli A，Davison A J.KAZE features[C]//European Conference on Computer Vision-ECCV 2012，Springer Berlin Heidelberg，2012:214-227.
[17] Cover T M，Hart P E.Nearest neighbor pattern classification[J].IEEE Transactions on Information Theory，1967，13(01):21-27.
[18] Muja M，Lowe D G.Fast approximate nearest neighbors with automatic algorithm configuration[C]//Proceedings of IEEE Conference on Computer Vision Theory and Applications Lisbon，Portugal:IEEE Computer Society，2009:331-340.