基于深度学习的舰船目标检测技术综述

舰船目标是现代化海战探测与侦察的重要目标。精确检测舰船目标有利于指战员获取军事情报、调整火力部署，有助于海洋权益的维护与海军战略的实现。基于图像的舰船目标检测技术依据图像特征判定是否存在舰船，同时实现舰船定位。当前我国海域多使用自动识别系统(automatic identification system，AIS)检测舰船，舰船航行的安全性得到提升，但AIS受气候、海杂波等噪声信号干扰大。高质量感光元件与图像处理技术的飞速发展，有效促进了基于深度学习的舰船目标检测技术的发展。

传统的目标检测算法特征需人为设计，传感器成像受大气散射、雨雾遮挡等干扰严重，复杂多变的背景环境对舰船目标检测造成了巨大挑战。将深度学习用于舰船目标检测任务，能够提升复杂背景下舰船检测准确率，为实时、准确、鲁棒性强的舰船目标检测技术提供有力支撑。本文综述了基于深度学习的舰船目标检测研究进展，分析了当前存在的问题与可能的改进方向，并对舰船目标检测未来发展趋势进行展望，以期为该领域研究提供思路借鉴。

2 基于深度学习的舰船目标检测技术

传统方法计算简单，但检测特征针对特定场景设置，舰船目标检测鲁棒性不足。传统基于灰度信息统计的检测方法利用目标与背景的灰度差异分离目标，算法简单易于实现，但云雾遮挡情况下算法适应性较差；基于视觉显著性的方法借助像素对比度，凸显图像中显著性区域，复杂背景下检测效果较好，但对于密集舰船易造成大量误检，不适用高亮背景下的检测任务；基于分类学习的方法提取舰船目标特征，较好适应了目标形状、纹理等变化，检测精度较高，但算法对特征提取要求高，运算开销较大；基于模板匹配的检测方法利用大量舰船样本建立模板库，较好提升了密集舰船目标的检测效果，但过于依赖先验知识，复杂背景与环境噪声使得算法鲁棒性有待提升。

深度神经网络具备强大的特征提取与处理能力。经非线性变换后，图像底层信息被抽象成高层语义特征，可实现复杂目标的检测与表达。针对是否生成候选框，可将算法归为两类：基于候选框的方法与基于回归的方法，以上2种为Anchor-based算法。若算法利用关键点或角点实现目标检测，不依赖锚框，即为Anchor-Free检测方法。针对算法是否同时预测舰船方向，可划分为有向舰船目标检测的方法与无向舰船目标检测的方法。

2.1 基于候选框的方法

算法将目标检测框架分为两个阶段，首先生成可能包含检测目标的一系列候选框，再基于筛选后的高质量候选框实现目标的分类与坐标调整。基于候选区域(Region of Interest，RoI)的代表性算法有R-CNN、Faster R-CNN与Mask R-CNN，算法流程如图1所示。

R-CNN[1]、Fast R-CNN[2]、Faster R-CNN[3]、FPN[4]、R-FCN[5]、Cascade R-CNN[6]等基于候选框的检测算法，在RoI生成与特征提取方面的性能如表1所示。算法在COCO与VOC2007数据集上性能测试结果如表2所示。

Faster R-CNN令区域卷积神经网络(regions with CNN features，R-CNN)与候选区域生成网络(region proposal network，RPN)共享卷积层，降低了不同尺度锚框映射过程中的检测误差，改善了候选框对检测速度的影响。卷积层共享使得深层卷积获取到更高质量候选区，提升检测精度。Mask R-CNN以Faster R-CNN为基础，将检测分支中的定位与分类分支与实例分割相结合，算法先生成区域建议框，再利用检测分支获得边界框与掩膜，复杂度的提升导致训练速度略有下降。基于候选框的舰船目标检测算法精度较高，文献[7]利用压缩与激励机制提升R-CNN检测性能，使用编码比例向量有效抑制子特征图的信息冗余，提升了SAR舰船检测性能；文献[8]在Mask R-CNN的FPN中添加自下而上的短接结构，使用逐通道与空间注意力机制提升重要像素特征对应权重，可实现像素级别的舰船检测与分割；针对样本数据利用不充分的问题，文献[9]利用生成对抗网络进行特征变换，获取多尺度与旋转角的检测图扩充样本，提升不同场景下舰船的检测适应性，并结合在线难例挖掘去除正负比例限制，提升检测精度；文献[10]将场景分割功能引入检测框架，使用边缘概率加权合并方法结合检测特征图与非目标区域，有效排除非目标区的错误候选目标，较好地抑制了近岸相似物体对舰船检测的干扰。

由于算法需处理大量候选框，框内的复杂背景信息不利于检测准确度的提升。此外，候选框的设置易导致算法参数冗余，检测精度较高但实时性有待提升。

2.2 基于回归的方法

基于候选框的目标检测方法充分利用了预测框特征信息，具有较好的检测性能，但繁重的预测框处理严重影响检测速度的提升。基于回归的检测方法在检测图上等距采样，作为锚框的中心，直接利用锚框与真实框实现目标的分类与坐标修正，精简了预测框的处理与特征重采样过程，检测速度更快，但精度略有下降。其中具有代表性算法为YOLO、SSD等。YOLO将输入图像划分为S×S个网格，若目标中心落入相应网格单元，该单元则负责相应目标的检测。YOLO[11]直接利用卷积神经网络回归分类概率与边界框，检测实时性优势凸显，但对于小尺度目标定位精度有待提升。2018年提出的YOLOv3[12]引入了Darknet-53残差网络，较好缓解了深层网络导致的梯度问题，利用Logistic改进Softmax实现了多标签的目标检测，提升了目标检测精度。锚框机制与多尺度特征图的引入，使得SSD算法对小目标的检测性能更佳。SSD[13]对不同卷积层设置了不同数量与大小的锚框，当锚框与目标框重合率大于设定阈值时，即视为检测正样本。锚框机制与多尺度特征图的引入，使得SSD算法对小目标的检测性能更佳。基于回归的目标检测算法流程如图2，算法性能如表3所示。

针对遥感目标尺寸小、紧密排列舰船的高相似度导致检测精度低的问题，文献[14]将CReLU引入SSD的浅层网络，利用FPN逐级融合深浅层特征图，提升特征传递效率，有效检测出码头下的密集舰船。文献[15]选取Darknet-53作为主干网络，利用深层特征融合丰富了语义信息，设计的新的二分类损失函数，改善了训练过程中的难易样本失衡，复杂场景下多尺度舰船检测效果较好。针对大尺度遥感图像中舰船目标检测漏检较多的问题，文献[16]结合YOLOv3-tiny与特征映射模块，增强了预测层获取重要检测特征的能力，对小尺度密集目标具有较高的检测精度与速度。为提升模型的可移植性，文献[17]利用堆叠的小尺度卷积充分提取图像特征，改进了双向密集连接模块，提取高质量特征的同时降低了网络复杂度，检测模型能够以较少的内存与计算成本实现较高的检测精度。

锚框设计是目标检测的重点。针对像素点少的小目标，要设置合适尺度与长宽比的锚框，衡量计算量与锚框数的平衡，避免引入过多参数导致算法成本提升。针对形态、尺度多变以及轮廓模糊等情况，利用特征金字塔、密集连接等可有效实现多分辨率舰船目标的特征提取。针对近岸背景码头、建筑物以及海岸干扰问题，采用注意力机制能够较好改善复杂环境下的噪声干扰，使检测准确度得到提升。

2.3 不依赖锚框的方法

基于候选框的舰船目标检测方法检测效果较好，但仍存在以下问题：一是需生成大量的候选框，用以筛选出与真实框重合程度更高的候选框，导致正负样本不均衡，不利于算法收敛；二是候选框需人为设定大量的超参数，超参数的设置很大程度上依赖检测任务与适用数据集，手动调优较为困难。因此衍生了一系列不依赖候选框(Anchor-Free)的目标检测算法。Anchor-Free算法包括基于角点的检测方法与基于关键点的目标检测方法。

基于角点的Anchor-Free检测网络如CornerNet[18]、CornerNet-Squeeze[19]等。算法将目标边界框确定为一对关键点，通过检测角点特征实现目标的归类与定位。CornerNet首先预测目标框左上角与右下角关键点，再预测嵌入向量，使属于同类物体对应角点间的嵌入向量达最小值，最后使用偏置L1损失微调角点位置。CornerNet算法中的角点池化提升了角点的定位精度。CornerNet- Squeeze提出了新的紧凑型沙漏网络，利用1×1的卷积与深度可分离卷积降低了通道数与运算量，使CornerNet- Squeeze具有较高的检测速度与准确度。基于中心点的Anchor-Free检测方法原理为：算法预测特征图中每个位置属于中心点的概率，利用特征热力图确定目标边框，最具代表性的为CenterNet[20]。由于无需候选框的设计与非极大抑制等操作，Anchor-Free算法检测性能大幅提升。Anchor-Free检测算法性能如表4所示。

文献[21]提出了一种端到端的全卷积Anchor-Free网络，预测船头、船尾以及舰船中心3类关键点及角度，利用关键点生成舰船包围框，引入了特征融合与特征增强模块，对于雨雾遮挡、邻近船舶干扰具有较好检测鲁棒性。文献[22]在CenterNet基础上设计了两个优先分支，分别用于降低假阴性与假阳性样本数，并结合双向特征金字塔与YOLOv3检测网络显著提升了相似并排船舶的检测精度，实时性较好。针对训练过程中的过拟合，图像多尺度变化导致计算成本过高等问题，文献[23]提出了具有密集注意力机制的Anchor-Free网络，使用密集注意力特征聚合获取高分辨率特征图，通过密集连接与迭代融合提高网络的泛化性能，此外，空间与通道注意力机制的引入能够增强目标显著性特征，对背景杂波具有较好的抑制效果。

2.4 有向舰船检测方法

舰船成像多为长矩形，大长宽比的检测框包含复杂背景噪声较多。以倾斜矩形框表征舰船目标，定位更精确，可较好反映舰船目标的方向、尺度、长宽比等信息。文献[24]利用双分支回归网络独立预测方向与其他变量，提出了基于空间变量的多级自适应池化，使算法提取更有效的舰船特征，有效提升了舰船定位与分类准确度；文献[25]基于Mask R-CNN，利用船首与船尾检测结果估计舰船方向并实现目标分割，再结合船首关键点与掩膜最小边界确定舰船的最终方向；文献[26]所提算法分别预测目标中心点、中心点偏移以及斜框尺度与方向，改进了非极大值抑制，使其对斜框具有更好的适应性。文献[27]利用平衡特征金字塔改善多尺度舰船检测效果，结合IoU挖掘负样本，并采用具有平衡L1损失的旋转区域检测分支实现了复杂背景下的密集舰船目标检测。

卷积神经网络能够有效提取舰船目标的深层语义特征，复杂场景下的舰船目标检测任务适用性较好。有向舰船目标检测方法在检测多方向、大长宽比的舰船时，定位与识别效果更精确，同时对舰船数据集标注要求更高；算法同时回归舰船类别、位置与旋转角导致检测效率提升困难。

基于候选框的检测方法计算候选框与真实框的重合率，利用重合率较大的候选框识别与定位目标，大量候选框的引入提升了目标的检测效果，但实时性不足。基于回归的检测方法检测速度显著提升，但小型舰船目标占据多个网格的概率低，导致算法对小目标的定位准确性较差。Anchor-Free算法不依赖锚框，利用卷积神经网络直接完成图像输入、关键点提取、位置回归与尺度预测，参数设置更灵活，兼具检测准确性与实时性优势。有向舰船检测方法在实现舰船分类的同时，回归舰船的位置与方向，输出检测信息更全面，算法功能得到扩展；由于神经网络需要同时识别舰船类别、回归舰船位置与方向，网络复杂度提升，导致检测速度略有下降。总体而言，检测精度更高、实时性更好的有向舰船目标检测算法具有巨大发展潜力。

3 舰船目标检测数据集

舰船目标检测任务不同，适用的深度学习目标检测网络不同。依据舰船目标图像数据来源，可将舰船目标检测数据集划分为基于光学遥感图像的舰船数据，以及基于SAR图像的舰船数据，常用数据集如表5、表6。

4 存在问题

复杂战场环境下准确检测舰船目标有利于提升武器装备作战效能，但基于深度学习的舰船目标检测算法多停留在理论层面，实际应用性能有待提升，主要存在问题为：

1) 遥感图像检测效果受气象条件影响大，云雾遮挡易导致目标漏检；SAR舰船检测效果受靠岸、相似外观散射体干扰强烈。复杂背景的简单融合化处理对检测性能的提升有限，如何设计鲁棒性强的特征提取器，应对多角度、多尺度以及复杂岸岛背景下的舰船检测任务是研究重点。

2) 已有检测模型多依赖迁移学习，将大型数据集的预训练权重植入网络，再针对任务数据集进行微调。微调方法可改善光学数据集检测效果，SAR成像机理与遥感图像差异较大，简单的参数调整不适应SAR舰船检测，亟需设计针对性较强的训练模式，提升SAR单通道舰船检测算法收敛性与检测准确性。

3) 武器装备打击效果受舰船姿态、命中点影响较大。现有算法仍将舰船视为点目标或整体目标标注，无法有效检测与打击雷达阵面、驾驶舱等舰船要害部位。

4) 海上舰船目标，尤其是获取军舰数据具有较大时间、空间上的局限性；复杂岛礁背景、烟雾、角反射器等干扰信息严重阻碍检测精度的提升；红外图像、遥感可见光图像、SAR图像等多角度全方位的舰船图像数据仍然存在缺口，统一的舰船目标检测标准尚未建立。

5 改进思路与发展趋势

1) Focal Loss可用于改善小尺度舰船与复杂岛礁背景导致的正负样本不均衡问题，提升算法收敛效果。合理借鉴其他领域相关技术改善算法性能，如利用自然语言处理中的特征关系对检测结果进行二次判读。此外，特征金字塔、多尺度特征融合、注意力机制等模块能够优化卷积特征提取能力，可用于提升算法检测精度。

2) 迁移学习等参数微调方法无法有效缓解过拟合，针对SAR舰船目标等对位置敏感的检测任务，可使用随机初始化从头训练SAR特定数据；或有效融合多模态数据，实现高质量的特征细分，从而提升检测性能。

3) 准确、高效的舰船目标检测技术能够提升装备的全方位态势感知能力。设计鲁棒性强的特征提取器，使算法具备舰船要害部位的精确检测能力，解算当前命中点与任务打击点的导引误差，提升装备精确打击能力与毁伤效能。

4) 针对数据集目标单一、成像质量低等问题，可采用生成对抗网络与超分辨率重建思想，基于已有数据生成高分辨率的舰船图像，或用于遮挡、非完备舰船的特征重建，丰富训练样本的同时有助于舰船目标检测效果的提升。

5) 加速算法落地，提升实际应用能力。利用无人车、无人机搭载任务平台，构建图像检测与跟踪系统，提升检测模型在实际场景的适用性。合理配置嵌入式计算机，构筑实时性更好、移动性更佳、检测性能更优的舰船目标检测网络，为精确制导武器的研制提供有力技术支撑。

6 结束语

针对复杂多变的海战场局势，高效、准确的舰船目标检测技术有助于完善作战平台的全方位态势感知能力、海战场精确打击能力，为武器装备对海上舰船目标的精细化选择与精确打击提供重要技术支撑，符合现代高技术战争发展趋势，具有重大应用潜力与战略意义。

消除或减轻复杂环境影响是提升舰船目标检测精度的重要途径。针对气象条件多变、海杂波干扰、传感器误差等，需采用针对性更强的检测算法。在设计特征提取器时，要综合考虑运算量与精度的平衡，采用卷积分解或改进特征聚合方式实现模型的轻量化；合理设置网络的深度与宽度，避免过拟合等问题。在数据开放的可行性及信息处理技术的推动下，亟需建立公开的、具有一致性评价标准的舰船目标检测数据，供当前及未来相关领域检测算法的测试与评估。此外，快速发展的云计算技术将显著增强计算机数据处理能力，有效推进质量更高、检测效果更好、适用性更广的目标检测算法应用与项目落地。

[1] GIRSHICK R，DONAHUE J，DARREL T，et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the conference on Computer Vision and Pattern Recognition.Piscataway，NJ，2014.

[2] GIRSHICK R.Fast R-CNN[C]//Proceedings of the International Conference on Computer Vision.Santiago，Chile，2015.

[3] REN S Q，HE K M，ROSS G，et al.Faster R-CNN：Towards real-time object detection with region proposal networks[C]//Proceedings of the conference on Neural Information Processing Systems.Cambridge，Massachusetts，2015.

[4] LIN T，DOLLAR P，GIRSHICK R，et al.Feature pyramid networks for object detection[C]//Proceedings of the conference on Computer Vision and Pattern Recognition，Honolulu，2017.

[5] DAI J，LI Y，HE K，et al.R-FCN：Object detection via region-based fully convolutional networks[C]//Proceedings of the conference on Neural Information Processing Systems.Cambridge，Massachusetts，2016.

[6] CAI Z，VASCONCELOS N.Cascade R-CNN：Delving into high quality object detection[C]//Proceedings of the conference on Computer Vision and Pattern Recognition.Salt Lake City，UT，2018.

[7] LIN Z，JI K F，LENG X G，et al.Squeeze and excitation rank Faster R-CNN for ship detection in SAR images[J].IEEE Geoscience and Remote Sensing Letters，2019，16(5)：751-755.

[8] NIE X，DUAN M Y，DING H X，et al.Attention mask R-CNN for ship detection and segmentation from remote sensing images[J].IEEE Access，2020，8:9325-9334.

[9] 李健伟，曲长文，彭书娟，等.基于生成对抗网络和线上难例挖掘的SAR图像舰船目标检测[J].电子与信息学报，2019，41(1)：143-149.

LI J W，QU C W，PENG S J，et al.Ship detection in SAR images based on generative adversarial network and online hard examples mining[J].Journal of Electronics and Information Technology，2019，41(1)：143-149.

[10] YOU Y，CAO J Y，ZHANG Y K，et al.Nearshore ship detection on high-resolution remote sensing image via scene-Mask R-CNN[J].IEEE Access，2019(7):128431-128444.

[11] REDMON J，DIVVALA S，GIRSHICK R，et al.You only look once：Unified real-time object detection[C]//Proceedings of the conference on Computer Vision and Pattern Recognition.Las Vegas，NV，2016.

[12] REDMON J，FARHADI A.YOLOv3:An incremental improvement[EB/OL].[ 2018-02-24].https://arxiv.org/abs/1804.02767.

[13] LIU W，ANGUELOV D，ERHAN D，et al.SSD：Single shot multibox detector[C]//Proceedings of the conference on European Conference on Computer Vision.Amsterdam，Netherlands，2016.

[14] 李晖晖，周康鹏，韩太初.基于CReLU和FPN改进的SSD舰船目标检测[J].仪器仪表学报，2020，41(4):183-190.

LI H H，ZHOU K P，HAN T C.Ship object detection based on SSD improved with CReLU and FPN[J].Chinese Journal of Scientific Instrument，2020，41(4)：183-190.

[15] 杨龙，苏娟，黄华，等.一种基于深层次多尺度特征融合CNN的SAR图像舰船目标检测算法[J].光学学报，2020，40(2)：132-140.

YANG L，SU J，HUANG H，et al.SAR ship detection based on convolutional neural network with deep multiscale feature fusion[J].Acta Optica Sinica，2020，40(2)：132-140.

[16] 王玺坤，姜宏旭，林珂玉.基于改进型YOLO算法的遥感图像舰船检测[J].北京航空航天大学学报，2020，46(6)：1184-1191.

WANG X K，JIANG H X，LIN K Y.Remote sensing image ship detection based on modified YOLO algorithm[J].Journal of Beijing University of Aeronautics and Astronautics，2020，46(6):1184-1191.

[17] ZHOU L，WEI S Y，CUI Z M，et al.Lira-YOLO:A lightweight model for ship detection in radar images[J].Journal of Systems Engineering and Electronics，2020，31(05):950-956.

[18] LAW H，DENG J.CornerNet:Detecting objects as paired keypoints[C]//Proceedings of the conference on European Conference on Computer Vison.Munich，Germany，2018.

[19] LAW H，TENG Y，RUSSAKOVSKY O，et al.CornerNet-Lite：Efficient keypoint based object detection[EB/OL].[ 2019-06-12].https://arxiv.org/abs/1904.08900.

[20] ZHOU X Y，WANG D Q，PHILIPP K，et al.Objects as points[EB/OL].[ 2019-08-16].https://arxiv.org/abs/1904.07850.

[21] CHEN J J，XIE F Y，LU Y Y，et al.Finding arbitrary-oriented ships from remote sensing images using corner detection[J].IEEE Geoscience and Remote Sensing Letters，2020，17(10)：1712-1728.

[22] ZHANG Y J，SHENG W G，JIANG J F，et al.Priority branches for ship detection in optical remote sensing images[J].Remote Sensing，2020，12(7)：1196-1215.

[23] GAO F，HE Y S，WANG J，et al.Anchor-Free convolutional network with dense attention feature aggregation for ship detection in SAR Images[J].Remote Sensing，2020，12(16)：2619-2644.

[24] LI L H，ZHOU Z Q，WANG B，et al.A novel CNN-based method for accurate ship detection in HR optical remote sensing images via rotated bounding box[J].IEEE Transactions on Geoscience and Remote Sensing，2021，59(1)：686-699.

[25] NIE M，ZHANG J，ZHANG X.Ship segmentation and orientation estimation using keypoints detection and voting mechanism in remote sensing images[C]//International Symposium on Neural Networks，Springer，Cham，2019.

[26] 张筱晗，姚力波，吕亚飞，等.基于中心点的遥感图像多方向舰船目标检测[J].光子学报，2020，49(4):205-213.

ZHANG X H，YAO L B，LV Y F，et al.Center based model for arbitrary-oriented ship detection in remote sensing images[J].Acta Photonica Sinica，2020，49(4):205-213.

[27] GUO H Y，YANG X，WANG N N，et al.A rotational Libra R-CNN method for ship detection[J].IEEE Transactions on Geoscience and Remote Sensing，2020，58(8)：5772-5781.

[28] CHENG G，HAN J.A survey on object detection in optical remote sensing images[J].ISPRS journal of photogrammetry and remote sensing，2016，117：11-28.

[29] XIA G S，BAI X，DING J，et al.DOTA：A large-scale dataset for object detection in aerial images[C]//Proceedings of the conference on Computer Vison and Pattern Recognition.Salt Lake City，UT，2018.

[30] LI K，WAN G，CHENG G，et al.Object detection in optical remote sensing images：a survey and a new benchmark[J].ISPRS journal of photogrammetry and remote sensing，2020，159:296-307.

[31] LIU Z，WANG H，WANG L，et al.Ship rotated bounding box space for ship extraction from high-resolution optical satellite images with complex background[J].IEEE Geoscience and Remote Sensing Letters，2016，13(8)：1074-1078.

[32] LI J，QU C，SHAO J.Ship detection in SAR images based on an improved faster R-CNN[C]//SAR in Big Data Era：Models，Methods & Applications.Beijing，China，2017.

[33] 孙显，王智睿，孙元睿，等.AIR-SARShip-1.0：高分辨率SAR舰船检测数据集[J].雷达学报，2018，8(06)：852-862.

SUN X，WANG Z R，SUN Y R，et al.AIR-SARShip-1.0：High-resolution SAR Ship Detection Dataset[J].Journal of Radars，2018，8(06):852-862.