0 引言
无人作战系统是新时代智能化武器装备,其在加速战争形态向智能化演进的过程中发挥着重要的作用,也因此受到各国越来越多的重视。
探测识别技术是“低慢小”无人机反制系统的核心技术之一,探测识别技术主要通过雷达探测、射频监测和红外成像探测等技术,实现对“低慢小”无人机探测跟踪和预警[1]。由于“低慢小”无人机具备飞行高度低、飞行速度慢、反射截面积小等特征,导致传统雷达难以将其与飞鸟区分辨别[2-3]。同时,文献[4]研究表明,现有消费级小型无人机控制链路存在于某些特定频段,采用射频技术可针对民用无人机遥控和图传信号频段进行实时监测,但是现实环境存在各种其他射频信号,使得射频监测结果有很大的虚警和误报的概率。红外成像探测技术主要利用目标与周围环境的温度差异进行成像来完成对目标的搜索、识别和跟踪等任务[5],并且红外探测识别不会受到目标体积和环境信号的影响。同时作为红外探测领域的关键技术,适应于不同复杂环境下的红外弱小目标检测算法一直受到国内外研究人员的广泛关注。
对于“低慢小”无人机检测与跟踪算法大多采用概率密度和图像边缘特征作为跟踪标准,这些算法易部署,但其特征表示性能差,无法处理复杂场景下的目标跟踪。如Kim等[6]提出一种新颖的多假设跟踪算法,通过卷积神经网络对每个目标进行外观建模,接着与假设轨迹进行最优匹配,该算法虽然在性能上相较原始算法有所提升,但速度仍不高。Bewley 等[7]提出SORT(simple online and realtime tracking),一经问世就引起了广泛关注,该算法因框架简单使得运行速度较快,但与此同时,算法抗遮挡能力较差,无法进行较长时间的稳定跟踪。浙江大学的谢家阳等[8]提出小型无人机视觉检测的时空特征融合方法,结合无人机运动特征完成检测。哈尔滨工业大学的赵烨[9]提出红外与可见光图像融合的无人机目标检测方法,通过 YOLO 卷积神经网络进行目标检测。罗茜等[10]提出YOLOv5结合Deep-SORT算法进行无人机多目标跟踪。这些算法主要是不能平衡检测精度和时间的缺陷,高的检测精度造成算法结构复杂,结构复杂导致检测速度受限。
为了完成在复杂背景下对红外小型无人机目标实现高效检测的目的,以保证检测精度和时间的统筹兼顾,在本文中提出一种基于密度-距离空间的新方法。由阿基米德密度-质量理论和目标在红外成像中的颜色特征赋予图像新的理论概念,通过欧几里得距离计算公式求出其他任何一个较高密度之间的距离,结合两者概念构建一个二维的密度-距离空间来获得目标信息,通过目标定位方法提取目标,本算法与现有传统算法相比具有更强的环境适应能力,同时还可以保持更高的检测精度。文章中通过多目标检测实验验证算法的鲁棒性和多目标识别能力,又对单个无人机进行单目标检测算法实验,与现有6种经典算法进行对比,体现本文中的方法对单目标具有良好的实时性和优越的检测能力。
2 密度-距离空间的目标确定
2.1 算法总体流程
无人机小目标检测算法应具备3个能力:多目标检测能力;尺度自适应;检测时间快。从人类的视觉角度分析,在白热红外图像中大多数的小目标都存在于一个局部相对平坦的灰度区域,且比周围的邻域更加“明亮”。同时,无人机红外成像具备两个特征:存在局部灰度密度峰值以及与其他任何一个较高灰度值像素的距离最短。算法总体流程如图1所示。
图1 算法总体流程
Fig.1 The overall flow of the algorithm
首先,从原始的红外图像生成2个主要参数,密度ρ和距离σ。然后将所有像素的ρ值和σ值转换为一个新的二维空间。通过自适应阈值从新的二维空间中选择出绿色圆点为候选目标,蓝色为不满足阈值的像素点,绿色原点与右图中绿色方框一一对应,其中包括多个真实目标和虚假目标。
2.2 密度和距离的定义
红外小目标通常具有灰度值高、像素数少、一定的对比度等特点,即在有限的区域内拥有比邻近区域更高的灰度值。根据此定义,可以认为红外小目标具有较高的“密度值”,其中将灰度值看作质量,把像素数看作体积。图像中每个像素点的密度定义如式(1)所示:
式中, ρ(i, j)表示位置(i, j)处的像素点的密度; G(i, j)是(i, j)位置像素点的灰度值; n表示ε邻域包含的像素个数。从公式可以看出,密度值反映了目标及其邻域的平均灰度特征,并将特征集中在一个像素上以提高检测精度。此外,通过检测单个像素来代表目标的位置,得出的检测结果不受目标自身尺寸和形状变化的影响。
本文将像素的距离参数用σ表示。σ定义为像素i与比其密度值高的其他像素j之间的最小距离。计算方式如式(2)和式(3)所示:
其中,dij表示像素i和像素j之间的欧氏距离,x和y是像素的坐标值。另外当某一个像素具有整个红外图像中最高的密度特征值时,σ应当是所有距离中最大的值。
密度和距离的计算过程如图2所示,其中浅蓝色的区域为原始红外图像矩阵,深蓝色的区域为像素数3×3大小的邻域ε。
图2 密度和距离的计算过程
Fig.2 The calculation process of density and distance
图2中4个标记出的像素点的密度值排列为ρ2<ρ0<ρ1,ρ3。对于像素ρ0来说,当前的距离σ为ρ0和ρ1之间的距离,在图中用黄色虚线表示。虽然ρ2与ρ0的距离更短,但是它的密度值小于ρ0。同理,虽然ρ3的密度值大于ρ0,但其距离要小于ρ1。因此,2个红色标记的像素点无法作为衡量参数σ的正确值。另外,当一个像素具有整个红外图像中最高的密度值时,σ应当是所有距离中的最大值。
2.3 密度-距离空间
假设红外小目标所占的像素点应在局部区域具有最大的ρ值,红外目标区域上的像素也应具有最大的σ值,将此像素点称之为密度峰值点。为了从复杂背景中快速准确地检测出候选目标点,构建二维的密度-距离空间,建立ρ和σ之间的关系。通过引入第三个评估参数α,将密度和距离参数通过加权求和的方法建立二维空间,参数α的计算方式如式(4)所示:
α=ρ×θ
(4)
将所有像素点按照α值从大到小的顺序选取候选目标的数量,具有最大值αmax的像素点被视为密度峰值点,候选目标的数量与真实目标数量相等。
红外无人机目标区域像素通常具有比背景区域更大的密度ρ,或者与周围区域相比具有更远的距离σ。可以直接将红外小目标直接看作是一个密度峰值点,因为距离的计算方式限制了红外目标区域只有密度最大值点可以被检测,因此,将密度峰值点直接当成候选目标既可以降低检测算法的复杂度,还可以使得检测精度不受目标尺寸和外形的影响。
图3显示了在一张图像上,同一位置2个具有不同尺寸目标的初步检测结果。其中图3(a)和(b)中2个目标的尺寸分别为2×2和3×5。为了更清晰的表现无人机尺寸的差异,我们提取了红外图像中包含25×25像素的区域。从图中可以看出,当原始图像中的目标尺寸不同但是位置相同时,目标在密度-距离空间中的位置也近似相同,且都可以被算法准确的检测到。本次测试验证了本文前面所提出检测多尺度目标的能力,同时基于密度-距离空间的方法为检测红外目标提供了理论基础。
图3 相同条件下不同尺寸目标检测结果
Fig.3 Detection results of objects of different sizes under the same conditions
2.4 目标定位方法
在通过二维密度-距离空间获得目标区域的像素集后,需要对目标区域经过精准定位来获得目标在红外成像探测器视场中的方位。但目标区域的像素集结果都不是规则的矩形,无法准确获得目标的形心位置。本文中通过等效目标的定位方法将不规则的目标区域转换成规则的几何图形来获得准确的目标位置,如图4所示。
图4 等效目标法
Fig.4 Equivalent target method
等效目标的几何中心应与所得目标区域的形心重合基本重合,形心坐标可通过式(5)计算:
式中, g(x,y)为(x,y)点处的灰度值,δ(x,y)用于判断像素点是否处于目标像素集内,如果像素点在目标像素集内,则δ(x,y)为1,否则为0。根据以上定义,将探测所得形心目标方位Δx和Δy作为等效目标的2个参数,其中包含了目标在红外成像探测器视场中的坐标。
3 仿真实验
为了充分验证算法的鲁棒性和多目标识别能力,设计多目标检测能力实验。
3.1 多目标检测实验
实验选择了3张具有不同背景、目标数量和目标尺寸的典型红外图像,以准确测试本文中算法的鲁棒性。其中原始红外图像包含海天、地面和云天3种不同背景,红色矩形框为最终检测到的目标。为了验证算法在不同背景下对相同数量目标进行检测的能力,实验分别选取了地面和天空背景,包含3个和4个具有不同大小、灰度值和区域的无人机目标。同时,也选取了一副包含6个目标的红外图像图5(c)用来测试算法对于多目标的检测效果。图像序列中的所有背景包括不同外形的建筑物、地面和云层。红外原始图像的详细信息如表1所示。
表1 图像背景细节
Table 1 Image background details
序号背景目标数量图像尺寸1海天2284×2132云天4250×2003地面6220×140
图5 算法多目标检测能力
Fig.5 The multi-target detection capability of the algorithm
3.2 实验结果分析
图5的候选目标由绿色矩形表示。由图5可见,尽管各图之间的目标类型与杂波类型均不相同,但本文中的算法仍可准确检测到目标。有两点特殊情况需要考虑,首先,目标的灰度值远低于杂波的灰度值,例如图5(b)中标记的目标,其次真实目标的数量大于候选目标的初始预设范围(如图5(c))。以上2个条件需要增加预设的候选目标数量以确保本文中算法可以检测到所有的真实目标。所以,对于最后2个图像的预设候选目标数量为30。实验结果表明:该算法具有强鲁棒性和检测效果,同时适用于多数量、多类型的无人机检测。
3.2 仿真对比实验
为了进一步评估算法的性能,本文中开展针对单个无人机目标检测算法对比实验。实验采用4组各200帧红外真实场景数据集,与当前6种经典小目标检测算法进行对比实验,根据每种算法在红外场景上的检测结果定量分析,6种算法分别为a(Tophat[11])方法、b(LS-SVM[12])、c(HBMLCM[13])、d(RLCM[14])、e(MPCM[15])、f(MinLocalLoG)。通过ROC曲线评价算法效果。其中ROC由TPR和FPR计算得出[16],如式(6)、(7)所示。同时AUC表示ROC曲线与坐标轴相交的面积,可以定量对比检测结果:
式中,Tj表示算法检测出的目标数目, Ts表示实际的目标数目, Tv表示虚假目标数目。
图6为采用不同算法处理4组不同数据集的检测结果,包含ROC曲线和AUC值。其中红色虚线表示本文中的算法。根据图6中ROC曲线可以得知,本文所提出的算法在处理不同情况的数据集时都具有更好的检测结果。尤其第三组数据集,当目标明显且存在连续背景杂波时,AUC值接近于1。相比之下,第一和第二组数据集的检测结果不理想,这是由于红外图像中存在更多的杂波再加上目标灰度值较低,与周围环境对比度低。例如,在第二组数据集上存在许多复杂的并且面积较小的杂波[17],从而导致了本文中的方法在此数据集[18]上的检测结果稍逊于LS-SVM和HBMLCM方法。
图6 各检测算法性能对比结果
Fig.6 Performance comparison results of various detection algorithms
表2给出了各检测方法对应4组数据集的平均每帧计算时间,其中g为本文中的算法。
表2 各方法检测所需平均计算时间
Table 2 Average calculation time required for detection by each method ms
abcdefg15.811.518.11 975.621.315.521.425.912.018.4 1 961.622.116.021.435.911.517.91 987.121.315.421.446.111.317.71 979.921.415.221.1
通过数据对比可以发现,尽管本文方法的实时性相比于这4种方法较慢,但都不超过一个数量级,而且本文算法具有更好的检测结果。在所有方法中,Tophat方法的检测速度最快,但是检测结果较差。HBMLCM的综合性更良好,但与本文方法相比对杂波的适应能力较弱,本文方法具有更好的鲁棒性。
以上所有实验结果表明,本文方法相比当前一些经典方法具有更好的性能和较强的鲁棒性,以及良好的实时性。因此,本文方法更适合用于复杂场景下的红外小目标检测。
5 结论
针对复杂背景下反无人机设备红外目标检测存在的难点,根据无人机热特征,本文提出了一种反“低慢小”无人机的红外检测方法,实现了对无人机的可靠稳定检测:① 建立密度-距离空间,并转化为新的二维空间;② 从新的二维空间中检测出真实目标;③ 通过等效目标定位方法精准定位无人机目标在红外探测器视场中的坐标位置。本文还设计了在复杂背景下多目标检测实验以及多种算法单目标检测对比实验,验证了算法的多目标检测能力和检测精度。单目标检测对比实验结果表明本文方法在ROC曲线和AUC值上都领先于其他方法,当目标明显且存在连续背景杂波时,AUC值接近于1,同时具有较好的实时性,兼顾了检测精度与检测时间,在综合检测性能上优于经典算法。
因此,本文算法能够适应复杂环境中的无人机检测,解决了无人机平台下因小目标难检测、背景复杂等导致的检测失败的问题,基本满足反无人机设备的精确实时检测条件,具有实际应用价值。下一步将拓展研究范围,应用轻量化神经网络提升检测速度的同时保证检测精度,继续进行以深度学习为基础的无人机目标定位研究。
[1] 刘玉文,廖小兵.反无人机技术体系基本框架结构[J].四川兵工学报,2015,36(10):74-82.
LIU Yuwen,LIAO Xiaobing.Basic framework structure of anti-UAV technology system[J].Sichuan Ordnance Engineering Journal,2015,36(10):74-82.
[2] The first 9 attempts to retrieve swarming Gremlins drones failed[EB/OL].(2020-12-11)[2022-02-18].https://www.defensenews.com/air/2020/12/11/the-first-nineattempts-to-retrieve-swarming-gremlins-drones-failed-hereswhats-next/.
[3] DARPA’s Gremlins program completes second flight test[EB/OL].(2020-08-25)[2022-02-18].https://www.Darpa.mil/newsevents/.
[4] DARPA’s Gremlins program accomplishes first flight[EB/OL].(2020-01-20)[2022-02-18].https://www.Airforcemag.com/darpas-gremlins-program-accomplishes-first-flight/.
[5] Four companies win contracts to build the Air Force’s Skyborg drone[EB/OL].(2020-07-23)[2022-02-18].https://www.defensenews.com/unmanned/2020/07/23/fourcompanies-got-contractsto-build-the-air-forces-skyborgdrone/.
[6] KIM C,LI F,CIPTADI A,et al.Multiple hypothesis tracking revisited[C]//2015 IEEE International Conference on Computer Vision.Santiago,Chile.IEEE,2015:4696-4704.
[7] BEWLEY A,GE Z Y,OTT L,et al.Simple online and realtime tracking[C]//2016 IEEE International Conference on Image Processing.Phoenix,AZ,USA.IEEE,2016:3464-3468.
[8] 谢家阳.动态云台摄像机无人机检测与跟踪算法[J].智能系统学报,2021,16(5):858-869.
XIE Jiayang.Dynamic PTZ camera UAV detection and tracking algorithm[J].Journal of Intelligent Systems,2021,16(5):858-869.
[9] 赵烨.红外与可见光图像融合的无人机目标检测方法研究[D].哈尔滨工业大学,2019.
ZHAO Ye.Research on UAV target detection method based on fusion of infrared and visible light images[D].Harbin Institute of Technology,2019.
[10] 罗茜,赵睿.YOLOv5与Deep-SORT联合优化的无人机多目标跟踪算法[J/OL].信号处理,2017(5):45-63.
LUO Qian,ZHAO Rui.UAV multi-target tracking algorithm jointly optimized by YOLOv5 and Deep-SORT[J/OL].Signal Processing,2017(5):45-63.
[11] MING Z,LI J,ZHANG P.The design of Top-Hat morphological filter and application to infrared target detection[J].Infrared Physics &Technology,2006,48(1):67-76.
[12] SUYKENS J A K,VANDEWALLE J.Least squares support vector machine classifiers[J].Neural Processing Letters,1999,9(3):293-300.
[13] SHI Y F,WEI Y T,YAO H,et al.High-boost-based multiscale local contrast measure for infrared small target detection[J].IEEE Geoscience and Remote Sensing Letters,2018,15:33-37.
[14] HAN J H,LIANG K,ZHOU B,et al.Infrared small target detection utilizing the multiscale relative local contrast measure[J].IEEE Geosci.Remote Sens.Lett,2018,15:612-616.
[15] WEI Y T,YOU X G,LI H.Multiscale patch-based contrast measure for small infrared target detection[J].Pattern Recogn,2016,58(7):216-226.
[16] 祁江鑫,吴玲,卢发兴,等.基于改进YOLOv4算法的无人机目标检测[J].兵器装备工程学报,2022,43(6):210-217.
QI Jiangxin,WU Ling,LU Faxing,et al.UAV cluster detection based on improved YOLOv4 algorithm[J].Journal of Ordnance Equipment Engineering,2022,43(6):210-217.
[17] 施端阳,林强,胡冰,等.基于改进BP神经网络的雷达剩余杂波抑制方法[J].兵器装备工程学报,2021,42(10):79-85.
SHI Duanyang,LIN Qiang,HU Bing,et al.Radar residual clutter suppression method based on improved BP neural network[J].Journal of Ordnance Equipment Engineering,2021,42(10):79-85.
[18] 王笛,沈涛.基于三阶累积量的红外弱小目标单帧检测算法[J].电光与控制,2020,27(10):27-30,61.
WANG Di,SHEN Tao.Single-frame detection algorithm for infrared weak and small targets based on third-order cumulant[J].Electro-Optics and Control,2020,27(10):27-30,61.