现代战争中陆军防空武器装备除需打击传统作战飞机、武装直升机和无人机等目标外,还需打击以低空和超低空突防的精确制导武器,作战目标类型多样。防空武器的火力配置一般为导弹或弹炮结合方式,要充分发挥出武器装备的火力毁伤效能,需要针对不同的空中目标,使用不同的火力拦截方式,或根据目标类型进行进攻和逃逸区域计算,实现高效毁伤。因此,空中目标识别是防空武器必不可少的能力之一。
目前针对空中目标的主要探测手段有雷达、可见光和红外等。其中雷达探测的优点为搜索范围大、搜索速度快等,缺点为目标定位相对光电精度低,并且为主动发射雷达波,容易暴露自身位置。可见光的优点为图像分辨率高,缺点为夜晚、大雾等能见度差条件下不能有效探测目标。红外优点为全天候使用,在能见度较低的条件下也能有效探测目标,目标定位精度高,并且探测方式为被动,不会主动发射信号,暴露自身位置,因此常用来检测空中目标。
深度学习是近年来机器学习领域的一个新的研究方向,其目的在于建立模拟人脑进行分析学习的神经网络。由于其在语音、文本、图像、视频等诸多方面较传统方法取得了一定的进展和突破,深度学习已成为目前计算机科学中最引人注目的研究课题。在目标识别方面,深度学习主要分为2种:一种是基于候选区域的方法,代表性的有R-CNN[1]、SPPNet[2]、Fast R-CNN[3];另一种是基于回归思想的方法,代表性的有YOLO[4]、SSD[5]。2种研究方法在检测精度和检测速度上各有优势,基于YOLO系列算法的检测精度略低于基于候选框的算法,但检测速度遥遥领先,非常适合防空武器对空中目标的识别需求。
考虑到防空武器截获概率和目标跟踪识别的指标匹配情况,红外传感器一般采用双视场进行设计,与之对应的空中目标识别技术主要包括两方面内容:① 目标检测阶段利用深度学习目标检测算法,对大视场图像进行全图识别,得到目标位置、目标大小和目标类型;② 目标跟踪阶段利用深度学习图像超分辨算法和目标分类算法,对小视场跟踪目标局部图像进行超分辨重构,将目标局部图像分辨率扩大,利用目标分类网络,得到目标的类型。具体流程如图1所示。
图像处理模块接收到红外探测器输出的红外图像,针对空中目标进行全图目标检测,处理流程为:① 对图像进行预处理,完成红外图像增强;② 传统方法为对增强后图像进行sobel变换,得到目标潜在位置,提取区部区域进行顶帽变换和图像分割算法提取目标,输出检测目标的位置、长宽等信息,主要适用于提取像素小于16×16成像较小目标;③ 基于Yolo的全图目标检测算法,针对红外增强后的图像进行深度卷积网络,输出检测目标位置、长宽、置信度和目标类型等信息,主要适用于提取像素大于16×16成像较大目标;④ 对传统方法和基于Yolo的目标检测算法进行融合,综合得到全图目标检测结果。
图1 红外目标识别流程框图
Fig.1 Infrared Target Recognition process
目标检测和识别技术需要大量的样本数据,用于深度神经网络训练和目标识别准确性评价。样本数据集一般包括训练集、验证集和测试集等3个独立的部分,各部分的主要功能为:
1) 使用训练集学习模型中的权重等参数;
2) 使用验证集对学习的模型进行调优,如调整模型隐藏单元的个数,防止模型在训练集上过拟合;
3) 使用测试集对训练好的模型效果检测。
通过建立部分典型空中目标红外图像样本库,包括战斗机、直升机、固定翼无人机、旋翼无人机等。由于样本库规模对模型训练效果、识别鲁棒性等有较大影响,理论上样本越丰富,训练后的模型识别效果越好。因此采用数据增广算法对数据集进行扩充,让数据集多样化,使得训练的模型具有更强的泛化能力。数据增广方式主要包括:水平/垂直翻转、旋转、缩放、裁剪、剪切、平移、对比度、噪声等[6]。
由于空中目标红外图像部分区域存在高亮区域,导致图像出现横条纹等噪声,对目标的检测识别有一定影响。需要对红外图像进行降噪处理,采用频域和空域降噪方法,在抑制噪声的同时,尽量保持成像细节,改善红外图像的成像效果,图像降噪如图2所示。同时,针对弱小目标,采用背景抑制[7]和空间域滤波[8]算法实现抑制起伏和目标信号增强,图像增强如图3所示。
图2 红外图像降噪示意图
Fig.2 Schematic diagram of infrared image noise reduction
图3 红外图像增强示意图
Fig.3 Schematic diagram of infrared image enhancement
YOLO[9]基于Darknet-53骨干网络实现,Darknet-53利用恒等映射方法短接网络,使得网络层数增加,但在训练数据集上的准确率不会下降,通过这样的操作,可以获得目标更深层次的特征,提升检测精度。YOLO利用特征金字塔结构可以输出3种不同的特征图谱,采用三层特征融合的方式,对输入训练图尺寸归一化后,最后输出的featuremap为13×13,26×26,52×52,featuremap上每个格子在原图上的感受野分别为32×32,16×16,8×8,充分利用底层特征图中的细粒度特征,在保证检测速度的同时,对不同尺度的目标进行检测,同时增加了小目标的检测率和召回率,其网络结构如图4所示[9]。
图4 YOLO网络结构框图
Fig.4 YOLO network structure diagram
传统利用线性插值[10]将图像放大,造成人为噪声,且目标图像存在明显的块状,细节较差,不利于目标识别分类。图像超分辨重建是对目标局部区域图像进行分辨率提升的一种技术,探测传感器不作任何变化,将原有图像分辨率提升[11]。利用海思Hi3559A平台中的深度学习加速单元,对目标检测部分输出的目标局部区域图像,通过超分辨率重建,使得目标分辨率不小于12×16个像元,重建模型如图5所示。传统线性插值放大图像和图像超分辨重建图像如图6所示,通过图像超分辨率重建,可以增加目标细节,提升目标识别分类概率。
基于残差学习的深度网络模型,从学习层级间的隐含映射关系转换为通过优化输入数据与映射以后的输出数据之间的残差,残差值越接近0,网络提取的特征与原始的输入越接近,网络学习抽象特征提取能力越好。残差流程模型如图7所示。
图5 图像超分辨重建示意图
Fig.5 Schematic diagram of image super- resolution reconstruction
图6 传统线性插值放大图像和超分辨重建图像
Fig.6 Comparision between traditional linear interpolation enlarged image and image super-resolution reconstruction
图7 残差流程模型框图
Fig.7 Residual flow model diagram
深度残差网络模型Resnet算法[12]如图8所示,该网络共有34层,是由卷积层堆叠组成的,卷积层为 3×3 的卷积核,因为较小的卷积核可以提取图像丰富的信息,减少训练参数。每一个卷积层都会紧跟着一个ReLU激活函数,由于池化层操作会造成信息的损失,使用一个步长为2的卷积操作代替池化层。接收超分辨重建后的目标图像,完成目标类型的识别。
针对防空项目的积累需求,建立了固定翼战斗机、直升机、旋翼无人机、固定翼无人机、气球等5类目标的样本库。这里常用的目标分类网络包括googlenet、squeezenet、vgg16、resnet及超分配+传统算法,对上述5类目标进行测试,多类目标综合识别结果如表1所示。单帧图像针对googlenet、squeezenet、vgg16、resnet这4种网络在海思3559平台上前向推理运算时间如表2所示。
图8 目标分类网络模型Resnet算法框图
Fig.8 Target classification network diagram
表1 不同网络识别结果
Table 1 Different network identification results
识别网络测试样本数正确分类错误分类准确率/%googlenet2 3491 73761273.95squeezenet2 3491 76858175.27vgg162 3491 82752277.78resnet2 3491 86748279.48超分辨+googlenet2 3492 10924089.78超分辨+squeezenet2 3492 13721290.97超分辨+vgg162 3492 15719291.83超分辨+resnet2 3492 17517492.59
表2 不同网络海思平台的运算时间
Table 2 Computing time of different network Hisilicon platforms
识别网络运算时间/ms超分辨+googlenet5.6超分辨+squeezenet3.2超分辨+vgg1632.5超分辨+resnet8.9
通过表1、表2可以看出,本文采用的超分辨+resnet算法的识别正确率最高,对于固定翼战斗机、直升机、旋翼无人机、固定翼无人机、气球这5类目标的正确识别率均超过90%。常用的红外传感器帧频为100 Hz和50 Hz,超分辨+resnet算法在海思3559平台上的运算时间不超过10 ms,能够满足项目需求。
研究了深度学习在防空武器目标识别领域的应用。在预处理阶段,采用频域和空域降噪方法,改善红外图像的成像效果,增强弱小目标信号;在全图目标检测阶段,采用传统检测算法与YOLO目标检测网络相结合的方法,对全图目标识别定位;在跟踪目标识别分类阶段,对目标局部区域图像进行超分辨率重建,增加目标细节,提升目标识别分类概率;构建基于残差学习的深度网络模型,实现对跟踪目标的识别分类。试验结果表明基于深度学习的红外目标识别技术,可以适用于防空武器对典型空中目标的分类识别,为防空武器的火力打击提供决策依据。
[1] Girshick R,Donahue J,Darrell T,et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proc.of the 2014 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),IEEE,2014.
[2] He K M,Zhang X Y,Ren S Q,et al.Spatial pyramid pooling in deep convolutional networks for visual recognition[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2015,37(09):1904-1916.
[3] Girshick R.Fast R-CNN[C]//Proc.of the 2015 IEEE International Conference on Computer Vision(ICCV),Santiago,2015:1440-1448.
[4] Redmon J,Divvala S,Girshick R,et al.You only look once:unified,real-time object detection[C]//Proc.of the 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),IEEE,2016.
[5] Liu W,Anguelov D,Erhan D,et al.SSD:Single shot multibox detector[C]//Proc.of the European Conference on Computer Vision(ECCV),2016:21-37.
[6] 郝骏,郑紫微,孙滋昂,等.基于Yolo与残差网络算法改进的运动目标检测[J].光电子·激光,2020,31(295):85-92.
Hao J,Zheng Z W,Sun Z A,et al.Inproved moving target detection based on Yolo and residual network algorithm[J].Journal of Optoelectronics·Laser,2020,31(295):85-92.
[7] 张世峰,黄心汉,王敏.红外背景抑制与小目标检测算法[J].中国图象图形学报,2016,21(08):67-75.
Zhang S F,Huang X H,Wang m.Algorithm of infrared background suppression and small target detection[J].Journal of Image and Graphics,2016,21(244):67-75.
[8] 王好贤,董衡,周志权.红外单帧图像弱小目标检测技术综述[J].激光与光电子学进展,2019,56(08):1-14.
Wang H X,Dong H,Zhou Z Q.Review on dim small target detection technologies in infrared single frame images[J].Laser & Optoelectronics Progress,2019,56(08):1-14.
[9] Redmon J,Farhadi A.YOLOv3:An incremental improvement[C]//Proc.of the IEEE Conference on Computer Vision and Pattern Recognition,IEEE, 2018:89-95.
[10] 龚昌来,杨冬涛.一种改进的双线性插值图像放大算法[J].激光与红外,2009,39(08):899-901.
Gong C L,Yang D T.A new image zooming method based on modified bilinear interpolation[J].Laser & Infrared,2009,39(08):899-901.
[11] 王相海,赵晓阳,毕晓昀,等.小波域多角度轮廓模板扁粉模型的单幅图像超分辨率重建[J].电子学报,2018,46(09):2256-2262.
Wang X H,Zhao X Y,Bi X J,et al.Single image super-resolution reconstruction approach based on multi-angle contour templates variational calculus model in wavelet domain[J].Acta Electronica Sinica,2018,46(09):2256-2262.
[12] He K M,Zhang X Y,Ren S Q,et al.Deep residual learning for image recognition[C]//Proc.of the 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).IEEE Computer Society,2016:770-778.
Citation format:YANG Wei, YAO Tong, GENG Xiutang, et al.Research on application of infrared target recognition technology of air defense weapon based on deep learning[J].Journal of Ordnance Equipment Engineering,2022,43(01):125-129.