0 引言
多传感器融合是计算机视觉领域重要的研究方向,红外与可见光融合是多传感器融合的一种主要方法,目前已广泛应用于航天、军事、公共安全、医疗与民用等多个重要领域。不同类型的传感器由于成像机理不同而形成不同的图像表征信息,虽然红外图像不受外部不利客观因素的影响,能够准确的捕获各种低照度环境下的热辐射目标信息,但针对场景的纹理、边缘等细节表现力较差;可见光图像能够很好的体现场景的细节信息,但易受天气、遮挡等不利因素的干扰,同时不能捕获隐藏、伪装的目标信息。将可见光与红外图像进行融合,利用两者间的优势进行互补,得到一幅信息更为丰富的新图像,能够更为准确的反映观测场景,得到一副同时包括场景纹理细节与红外热目标的融合图像,可以有效提高各种复杂环境下对场景和目标的监测、识别、分析、跟踪的能力[1]。
因空间域融合算法存在抗干扰能力差的问题,基于多尺度分析的图像融合算法是目前主要的研究方向,其中,具有代表性的方法有:离散小波变换、非下采样轮廓波变换、非下采样剪切波变换等。例如,文献[2]中提出一种基于非下采样轮廓波变换的压缩感知图像融合方法,在突出红外目标的同时很好的突出了融合图像的对比度;针对单类型传感器包含信息量不足问题,文献[3]中提出一种基于非下采样剪切波多尺度熵的红外与可见光图像融合方案,可以在不同尺度上计算高低频分量的信息含量以选择合适的权值。上述方法存在缺少平移变换性、方向性不足等缺陷,会导致融合后的图像出现“振铃效应”、“伪吉布斯”效应等问题。基于稀疏表示的方法主要通过非监督方式提取图像特征[4],文献[5]中针对红外与可见光图像融合中边缘伪影导致细节丢失问题,利用交替方向乘子法求解卷积稀疏系数完成细节层的融合,有效提升了融合的图像的对比度及边缘纹理信息;文献[6]中利用卷积稀疏表示和选择最大值策略得到稀疏系数图,并结合学习字典重构低频分量,消除了融合图像中的伪影。基于稀疏表示的方法虽然解决了细节模糊问题,但也会导致低对比度、图像过暗等问题[7]。基于深度学习的方法主要包括基于卷积神经网络、基于生成对抗网络,以及基于自动编码器的方法,如文献[8]中提出一种基于卷积神经网络的无监督端到端深度融合算法,并引入注意力机制提升融合效果,很好的保留了源图像的边缘纹理信息;针对融合图像边缘模糊、对比度降低问题;文献[9]中提出一种基于生成对抗网络的融合算法,在提升客观评价指标的同时很好的突出了红外热目标。但目前的融合技术仍不能很好的展现融合图像的纹理细节、边缘、方向信息[10],并突出红外目标信息。
综上所述,传统图像融合算法存在对比度降低、未充分考虑红外与可见光成像差异而丢失源图像信息、纹理与边缘细节特征模糊、破坏图像局部区域相关性、算法复杂等问题。
潜在低秩表示变换(latent low rank representation decomposition,LLRRD),能够突出图像全部的结构信息,并且易于分离噪声干扰,抗噪性能强。非下采样轮廓波变换(non-subsampled contourlet transform,NSCT)具有多分辨率、多方向性、平移不变性、时域局部性等优良特性,克服了奇异点处的伪吉布斯效应而导致图像频谱混淆、失真等不足,有利于图像的多尺度、多方向刻画,更好的表现图像的细节。
为了解决目前融合算法缺陷,本文结合LLRRD能够更好的表达融合图像全局结构信息,以及NSCT对图像边缘方向信息刻画的更为细致的优势,提出一种基于潜在低秩表示与非下采样轮廓波变换的多尺度图像融合方法:先通过LLRRD对源图像进行首次分解,得到低秩子带与显著子带;利用NSCT继续对低秩子带进行二次分解得到低、高频分量;针对低、高频分量所携带的不同信息特征,对低、高频分量设计不同的规则进行融合;最后采用基于卷积稀疏表示的方法对显著子带进行融合。实验结果显示,所提新算法能够很好的展现图像细节信息,较好的突出了红外热目标信息,并具有适宜的对比度,在主、客观评价上均取得了很好的效果。
1 相关理论
1.1 LLRRD
LLRRD是一种基于稀疏表示无监督的鲁棒特征提取方法,如式(1)所示,LLRRD可将图像数据矩阵分解为低秩分量、显著分量、稀疏噪声3部分:
I=LI+SI+NI
(1)
式(1)中:I为维度M×N的源图像矩阵;LI为低秩矩阵,代表红外图像与可见光图像的背景信息等不突出部分;SI为显著矩阵,代表红外图像中目标信息与可见光图像中突出信息等显著部分;NI代表稀疏噪声。
通过式(2)凸优化函数处理来求解式(1)[11-12]:
(2)
式(2)由不精确增广拉格朗日乘数求解,式(2)中,‖‖*、‖‖1分别表示矩阵的核范数与l1范数;λ>0为平衡系数。图1为夜晚拍摄的某公园湖面的红外-可见光图像组,可以很直观的观察到,低秩矩阵包含了目标整体和背景部分的信息,显著矩阵包含了显著区域信息,噪声矩阵几乎不包含任何信息。
图1 LLRRD分解结果
Fig.1 LLRRD decomposition results
1.2 NSCT
NSCT由非下采样金字塔(non-subsampled pyramid,NSP)与非下采样方向滤波器组(non-subsampled directional filter banks,NSDFB)2部分组成,NSCT可以有效提取图像边缘特征,并提供更丰富的图像细节纹理,不会产生“振铃”、“抖动”现象,稀疏表示后的图像能量更为集中,非下采样使得各子带图像尺寸相同,非常适合于可见光与红外夜视图像融合。2层NSCT变换过程如图2所示。首先,通过NSP多尺度变换将原始图像分解为1个低频子带与若干高频子带;然后,利用NSDFB将NSP分解得到的高频子带进行频域方向分割,以得到多方向的楔形高频子带;最后,反复对上一层低频子带进行上述操作实现对原始图像的多尺度、多方向分解[13],图像经过L级分解后,可得1个低频子图像和
高频子图像,ds为尺度s下的方向分解级数。图3给出了图1(a)、(b)所对应的红外、可见光图像在3层NSCT分解下所对应的高低频子带分量。
图2 2层NSCT分解示意图
Fig.2 NSCT decomposition diagram of two levels
图3 NSCT分解结果
Fig.3 NSCT decomposition results
卷积稀疏表示(convolutional sparse representation,CSR)相对于稀疏表示(sparse representation,SR)可以从全局上非实现对整幅图像的稀疏优化处理,从而在红外与可见光融合过程中保留更多的纹理、边缘等细节信息,其核心是将待处理图像看作稀疏系数映射和字典滤波器之间的一组卷积和,卷积稀疏表示模型为
(3)
式(3)中:‖‖2、‖‖1分别表示矩阵的l2范数与l1范数;{Cm}为一组稀疏系数;{dm}表示一组字典滤波器;I为待处理图像;k为正规化参数。
2 融合方法
2.1 融合框架
整体融合框架如图4所示。
图4 融合算法整体框架
Fig.4 The proposed fusion algorithm overall framework
具体步骤如下:
1) 首先,通过LLRRD将红外与可见光源图像分解为低秩子带LIi和显著子带SIi;(其中,为i=inf或low,分别表示源红外或可见光图像,后续所有下标均定义如上),并舍弃噪声NIi;
2) 其次,利用NSCT对LLRRD分解得到的低秩子带LIi进一步分解,得到低频分量Wi和高频分量Qi;
3) 然后,对首次分解得到的显著子带SIi,采用基于卷积稀疏表示的规则进行融合;
4) 接着,对二次分解得到的低频分量Wi,采用基于全局均值-区域均值-区域能量的规则进行融合;
5) 同时,利用权重决策图的规则对二次分解得到的高频分量Qi进行融合;
6) 将Wi和Qi通过NSCT逆变换得到低秩子带LIi融合结果;
7) 最后,低秩子带LIi和显著子带SIi通过LLRRD逆变换得到最终的融合结果。
2.2 显著子带融合规则
采用CSR可以充分考虑显著子带间的相关性,将显著子带进行整体编码以提取图像的特征信息,式(3)的卷积稀疏编码最优解可在交替方向乘子算法框架下,由傅里叶频域推导出
(4)
(5)
其中:Cinf,m、Clow,m,m∈{1,…,M}分别表示红外与可见光图像对应的稀疏系数图;SIinf、SIlow分别表示红外与可见光图像的显著子带;k1、k2为稀疏诱导系数,同式(3);{dm}表示字典滤波器组。
基于标准稀疏表示融合法,将稀疏系数图的范数作为源图像的活性度测度Ai(m,n)(i=inf或low),即:
(6)
同时为了提升抗噪性,对式(9)进行局部窗口平均滤波以得到优化后的活性度测度为
(7)
式(7)中:Δm、Δn为横、纵偏移量;r为局部窗口半径。则融合后的显著子带FS可表示为
Amean,low(m,n)·SIlow
(8)
2.3 低频分量融合规则
低频分量包含着图像的大部分信息,为了更好的保存图像的整体特征,本文利用全局均值、区域均值、区域能量函数完成低频分量的融合[14]。图像中任一点I(m,n)中窗口尺寸为l(l范围内区域均值RMi、区域能量函数REi可分别表示为
(9)
(10)
尺寸为M×N的红外与可见光图像全局均值可表示为
(11)
则融合后的低频分量通过下式计算:
(12)
式(12)中: i=inf或low,分别表示红外与可见光图像;Wi为经NSCT分解得到低频分量。
首先,比较红外图像Iinf(m,n)与可见光图像Ilow(m,n)对应点的亮度绝对值以获得源图像原始决策图[15]。
(13)
(14)
式(13)、式(14)中,Mapinf(m,n)、Mapvis(m,n)分别为红外与可见光图像的决策图。然后,通过计算尺寸为l(l窗口内的局部区域能量以得到优化后的权重决策图。
(15)
最后,得到融合后的高频分量FQ。
FQ=MAPinf×Qinf+MAPvis×Qlow
(16)
式(16)中,Qi为经NSCT分解得到的高频分量。
3 实验结果与分析
为验证本文融合算法的有效性,下面从主观视觉评价角度和客观指标参数评价2个角度将本文算法与其他几种典型的高效融合算法进行比较分析,对融合图像质量进行评估。实验图像分别来自INO库(序号1、2)与TNO库(序号3、4)2种权威红外与可见光测试图像集,其中INO库的两组图像均为白天拍摄,序号1为冬天的停车场,序号2为夏日的草坪;TNO库的两组图像为夜晚拍摄,序号3为吉普车前的士兵,序号4为街道,4组图像具有不同的环境、拍摄时间及检测目标,可以从多种角度验证算法的适应性。
3.1 主观视觉评价
图5为实验对比图,前2行为源红外、可见光图像,其余各行为不同算法(CBF[16]、DTCWT[17]、GFCE[18]、IFEVIP[19]、NSCT[13]、本文算法)得到的融合图像,由左至右每一列对应不同的场景。观察图5可以发现,序号1中,所提算法得到的融合图像很好的结合了红外图像的热源信息(背景天空的云朵、刚熄火的汽车前盖与轮胎)与可见光图像的纹理信息(车棚中的自行车、道路上的车印)各自的优势;序号2中,本文方法对红外图像中明显的目标(路灯、树木)与可见光图像中细节信息(建筑在地面的投影、图像右侧建筑墙壁纹理)进行了有效融合,很好发挥了源图像各自的特点;序号3中,本文采用的算法很好的结合了红外图像的目标特征信息(树后隐藏的人)与可见光图像细节(树木的枝干)特征,符合特定目标侦测与人眼感知的需求;序号4中,所提算法将红外图像的显著特征(屋门口站立的人)与可见光图像中的细节特征(路标的纹理)很好的传递至融合图像中。
图5 不同算法的融合结果对比
Fig.5 Comparison results of various algorithms
其余算法的融合图像具有各自的特点,但也存在一定的不足,如在所有场景中,CBF法得到的融合图像的边缘伪影较多,无论在明亮还是黑暗环境下均存在较多的噪声;GFCE法对所有场景的融合结果存在整体亮度过高,对比度不明显的不足;IFEVIP法的融合结果丢失了序号1和序号2源图像中天空的云朵、序号3房顶左侧树枝、序号4右侧路标纹理等细节;DTCWT与NSCT法得到的融合图像效果整体较好,但2种传统融合算法整体对比度较暗,因此,在序号3、4的2个夜晚环境中对于目标突出不明显,均不如本文采用的融合方法,不利于后续对于目标的识别与检测。
总的来说,本文所提算法有效结合了红外与可见光图像各自独有的特征,具有更好的目标突出效果,纹理和边缘细节刻画更为细腻,很好的保存了背景信息,携带信息丰富且清晰度高,整体对比度适宜。
3.2 客观指标评价
为从客观角度定量分析各种算法的融合效果,本文选取关联系数(CORR)、信息熵(EN)、互信息(MI)、边缘信息保持度(Qab/f)、顶峰信噪比(PSNR)、根号均方误差(RMSE)、差异相关和(SCD)以及结构相似度(SSIM)作为评价指标来验证算法性能,除RMSE外,其余7项参数值均为越大越好。
观察表1(a)至表1(d)可以发现,4种场景中,所提方法的EN与MI两项评价指标均取得了最优值,说明本文算法得到的融合图像包含信息最丰富、源图像转移到融合图像的信息更多,满足了信息互补的目的;所提算法的CORR、PSNR指标在序号1、2、4中均为最佳,仅在序号3场景中排名第2,说明算法与源图像关联程度高且包含噪声少;本文方法的Qab/f参数值在序号4中取得了最优值,并在序号1、2、3中仅略低于NSCT方法,排在所有方法的第2位,说明本文算法很好的保留了源图像中的边缘信息;本文融合算法的RMSE指标在序号3、4场景表现最好,在另外2种场景中排名第2,说明该算法与源参考图像差异小;在序号1至序号3中,所提方法的SCD指标值均为最优值,只在序号4中小于IFEVIP法,表明本文算法从源图像中继承了更多的信息、携带的信息量更大;所提算法的SSIM指标值在序号2、4中是最优的,同时在序号1、3中也排在第2位,说明本文算法失真小,具有较好的信息保留度。对其他融合方法进行分析,如在序号1中,CBF法的EN与MI指标参数在所有方法中排名第2,但SCD与SSIM为最差值,IFEVIP法的EN、MI、Qab/f值为最劣值,但SSIM值为最优。类似的是,在序号3中NSCT的EN、MI值排名倒数第2,但Qab/f与SSIM两项指标均为最优,说明在某些场景限定下CBF、IFEVIP与NSCT法的个别指标参数波动较大。综合分析可知,从总体上看,本文所提算法较其他高效融合算法在各项指标上都有所提升,不仅在各种场景取得了更好的数值,而且在不同场景下各项评价指标值也更为稳定、鲁棒性更强,这与主观评价结果保持一致,进一步说明了本文所提算法具有更好的融合质量。
表1 不同融合算法的客观指标值
Table 1 Objective indicators value with various algorithm
对比图像融合算法客观指标参数CORRENMIPSNRQab/fRMSESCDSSIM序号1文献[16]0.267 77.563 715.127 48.456 90.522 60.230 91.637 10.516 6文献[17]0.258 97.196 814.393 77.073 50.562 30.245 71.801 10.581 0文献[18]0.229 47.263 214.526 37.001 30.563 40.237 11.768 00.562 8文献[19]0.230 67.045 214.090 44.269 10.411 80.282 51.660 70.613 3文献[13]0.269 57.234 414.468 88.211 30.609 00.137 71.820 70.597 6Proposed0.386 67.634 015.268 19.418 20.588 40.165 41.914 60.602 3序号2文献[16]0.237 47.642 615.285 26.064 40.600 20.275 81.127 50.641 2文献[17]0.226 57.393 514.786 97.035 00.621 80.242 41.419 30.691 2文献[18]0.293 17.258 614.517 39.404 10.521 20.208 91.483 10.585 8文献[19]0.237 47.020 514.041 03.590 10.474 70.201 81.344 90.684 2文献[13]0.260 57.397 914.795 810.795 70.647 60.181 71.432 60.694 5Proposed0.293 87.873 715.547 311.232 10.640 20.196 71.579 70.695 6序号3文献[16]0.201 17.018 314.036 68.713 50.339 20.293 81.657 70.484 6文献[17]0.202 26.545 913.091 87.078 70.398 80.304 11.826 10.687 9文献[18]0.290 17.295 914.591 77.818 60.303 10.229 71.663 90.508 6文献[19]0.213 87.230 214.460 44.680 70.340 00.268 31.871 80.676 4文献[13]0.270 36.562 513.125 014.590 10.546 00.172 11.836 30.711 0Proposed0.283 77.462 914.925 89.661 10.544 70.146 21.914 50.696 0序号4文献[16]0.210 86.702 713.405 47.256 80.450 60.239 01.271 90.498 6文献[17]0.308 65.995 011.990 07.525 40.507 20.219 41.504 80.663 5文献[18]0.219 46.895 113.790 13.770 40.344 00.205 11.555 70.448 2文献[19]0.311 76.701 213.402 44.388 00.585 20.169 91.834 10.662 3文献[13]0.267 66.195 712.391 48.064 70.596 50.164 71.607 90.659 5Proposed0.381 77.138 714.299 98.237 00.603 60.162 11.713 40.670 9
4 结论
基于LLRRD良好的细节特征提取与噪声可分离能力,结合NSCT对于图像细节多尺度、多方向的刻画性能,将图像分解得到低秩子带低频分量、低秩子带高频分量以及显著子带3部分,并根据三者所对应的全局、结构、局部显著信息特点设计不同的融合规则。
1) LLRRD具有强大的全局结构细节表征能力,但由于在求解过程中将显著分量作为隐藏项求解,会损失部分细节特征信息,NSCT对于局部细节提取能力强,结合两者的优势可有效继承源图像的有效信息;
2) 利用卷积稀疏表示对于细节较好的刻画能力融合显著子带以继续优化融合图像的特征;
3) 另外,本文结合全局均值、区域均值与能量的低频分量融合方法,克服了传统图像融合算法对红外目标表达能力弱的不足,提升了图像的对比度,保证了图像的信息丰富度;
4) 由于基于LLRRD的算法复杂度较高,因而在运行时间上表现不佳,下一步将对算法做进一步优化,以满足红外和可见光图像实时融合处理的需要。
[1] 程博阳,李婷,王喻林.基于视觉显著性加权与梯度奇异值最大的红外与可见光图像融合[J].中国光学,2022,15(4):675-688.CHENG Boyang,LI Ting,WANG Yulin.Fusion of infrared and visible light images based on visual saliency weighting and maximum gradient singular value[J].Chinese Optics,2022,15(4):675-688.
[2] 金安安,李祥,张丽,等.基于NSCT与压缩感知的红外影像融合[J].应用科学学报,2022,40(1):80-92.JIN Anan,LI Xiang,ZHANG Li,et al.Infrared image fusion based on NSCT and compressed sensing[J].Journal of Applied Sciences-Electronics and Information Engineering,2022,40(1):80-92.
[3] 任亚飞,张娟梅.基于NSST多尺度熵的红外与可见光图像融合[J].兵器装备工程学报,2022,43(7):278-285.REN Yafei,ZHANG Juanmei.Infrared and visible image fusion based on NSST multi-scale entropy[J].Journal of Ordnance Equipment Engineering,2022,43(7):278-285.
[4] ZEILER M D,TAYLOR G W,FERGUS R.Adaptive deconvolutional networks for mid and high level feature learning[C]//Proceedings of the International Conference on Computer Vision.Barcelona:IEEE,2011:2018.DOI:10.1109/iccv.2011.6126474.
[5] 裴佩佩,杨艳春,党建武,等.基于滚动引导滤波器和卷积稀疏表示的红外与可见光图像融合方法[J].激光与光电子学进展,2022,59(12):1210001-01-08.PEI Peipei,YANG Yanchun,DANG Jianwu,et al.Infrared and visible image fusion method based on rolling guidance filter and convolution sparse representation[J].Laser &Optoelectronics Progress,2022,59(12):1210001-01-08.
[6] 魏亚南,曲怀敬,王纪委,等.基于NSCT和卷积稀疏表示的红外与可见光图像融合[J].计算机与数字工程,2022,50(2):276-283.WEI Yanan,QU Huaijing,WANG Jiwei,et al.Infrared and visible image fusion based on NSCT and convolutional sparse representation[J].Computer &Digital Engineering,2022,50(2):276-283.
[7] LIU Y,LIU S,WANG Z.A general framework for image fusion based on multi-scale transform and sparse representation[J].Information Fusion,2015,24:147-164.
[8] MUSTAFA H T,YANG J,ZAREAPOOR M.Multi-scale convolutional neural network for multi-focus image fusion[J].Image and Vision Computing,2019,85:26-35.
[9] MA J Y,YU W,LIANG P W,et al.Fusion-GAN:a generative adversarial network for infrared and visible image fusion[J].Information Fusion,2019,48:11-26.
[10] 张冬冬,王春平,付强.深度学习框架下的红外与可见光图像融合算法综述[J].激光与红外,2022,52(9):1288-1298.ZHANG Dongdong,WANG Chunping,FU Qiang.Overview of infrared and visible image fusion algorithms based on deep learning framework[J].Laser &Infrared,2022,52(9):1288-1298.
[11] LIU G C,YAN S C.Latent low-rank representation for subspace segmentation and feature extraction[C]//IEEE International Conference on Computer Vision,Barcelona,Spain,IEEE,2011:1615-1622.
[12] 江泽涛,蒋琦,黄永松,等.基于潜在低秩表示与符合滤波的红外与弱可见光增强图像融合方法[J].光子学报,2020,49(4):0410001-1-12.JIANG Zetao,JIANG Qi,HUANG Yongsong,et al.Infrared and low-light-level visible light enhancement image fusion method base on latent low-rank representation and composite filtering[J].Acta Photonica Sinica,2020,49(4):0410001-1-12.
[13] WANG K,LI W H,LI X C.Infrared and visible image fusion based on NSCT[J].Journal of Air Force Engineering University(Natural Science Edition),2015,16(6):55-59.
[14] 陆盈,邱建林.基于非下采样Shearlet变换耦合相对亮度测度的可见光与红外图像融合算法[J].光学技术,2022,48(2):244-249.LU Ying,QIU Jianlin.The fusion algorithm of visible and infrared image based on nonsubsampled shearlet transform coupled relative brightness measure J].Optical Technique,2022,48(2):244-249.
[15] 陈广秋,王帅,黄丹丹,等.基于多尺度局部极值分解与ResNet152的红外与可见光图像融合[J].光电子·激光,2022,33(3):283-295.CHEN Guangqiu,WANG Shuai,HUANG Dandan,et al.Infrared and visible image fusion based on multiscale local extrema decomposition and ResNet152[J].Journal of Optoelectronics·Laser,2022,33(3):283-295.
[16] SHREYAMSHA KUMAR B K.Image fusion based on pixel significance using cross bilateral filter[J].Signal,Image and Video Processing,2015(9):1193-1204.
[17] 姜迈,沙贵君,李宁.基于PUCS与DTCWT的红外与弱可见光图像融合[J].红外技术,2022,44(7):716-725.JIANG Mai,SHA Guijun,LI Ning.Infrared and low-level visible light images fusion based on perception unified color space and dual tree complex wavelet transform[J].Infrared Technology,2022,44(7):716-725.
[18] ZHOU Z Q,DONG M J,XIE X Z,et al.Fusion of infrared and visible images for night-vision context enhancement[J].Applied Optics,2016,55(23):6480-6490.
[19] ZHANG Y,ZHANG L J,BAI X Z,et al.Infrared and visual image fusion through infrared featureextraction and visual information preservation[J].Infrared Physics &Technology,2017(83):227-237.