基于深度学习的三维目标识别技术现状

柳碧辉,王培元

(海军航空大学, 山东 烟台 264001)

摘要:以图像目标识别、三维目标识别和深度学习的基本概念为切入点,论述了深度学习在目标识别和三维识别中的研究现状,分析了现阶段基于深度学习的三维识别方法所存在的不足和研究方向,进一步探讨了三维目标识别技术的应用前景。通过对相关技术和文献的调研和分析,对多种基于深度学习的目标识别优化结构及优化算法的优缺点进行了总结,说明了三维目标识别技术取得的进步和对社会生活、工业生产等领域产生的深远影响;指出典型目标全方位识别、特定目标要害部位打击、战场态势感知等方面的应用是三维识别技术未来研究的重点,且需进一步关注基于深度学习的算法样本库的更新,增强识别的实时性和真实性。

关键词:目标识别;三维识别;深度学习;三维模型

1 引言

目前,三维识别在计算机视觉领域,已经发展为一项重要的目标识别手段。其目标是赋予计算机类似于人类的视觉系统能力,自主识别复杂环境中特定目标的空间几何信息。与传统识别技术相比,三维目标识别技术具有全方位、精准性以及智能化等诸多优点[3],可被广泛地应用在智能交通[1-2]、人脸识别[3-6]、全方位态势感知[7]等多个领域。

将深度学习技术应用到目标识别中可获得良好的识别性能,深度学习技术[8]由于其优越的分类、识别能力,已经在机器人[9]、图像识别[10-11]、自然语言处理等领域获得了突破性进展。基于深度学习的三维目标识别逐渐引起了人们的兴趣,然而基于深度学习的三维识别存在一定的特殊性,在应用过程中仍存在很多问题,深入挖掘二者之间的关系,并进行有效的融合是非常值得研究的内容。

2 基本概念

2.1 图像目标识别

目标识别是在数字图像处理及计算机视觉领域中的一个比较热门的方向,现已具有广泛的用途:智能交通视频监控领域[12],可以精确识别出公路上行驶的各种车辆及其牌照,监控违纪违法车辆情况;航空航天领域[12],采用目标识别技术,能够利用遥感手段侦测地面或海面目标,准确获取采集数据;军事领域[13],利用深度学习方法来解决实战对抗条件下的态势要素自主感知,可以帮助指挥员快速识别目标、判断威胁程度、实现稳健判决、提高目标识别的准确性、抗噪性和鲁棒性。

现阶段目标识别的主流方法是基于特征匹配,即由图像中提取出的特征,在模型库中选出与之最佳的匹配项,一般包含预处理、特征提取、特征选择、建模、匹配、定位等6个阶段,如图1所示。

图1 目标识别流程示意图

Fig.1 Methods of target recognition

2.2 三维目标识别

伴随着三维成像技术的飞速发展,人们对机器视觉系统的需求也逐步提升,对图像的判读、目标的全方位精确识别提出了更高的要求。二维图像并不能表征目标的深度信息,自然也无法进行全方位的识别。三维识别可获取物体表面的三维参量,提取对视点变化较为鲁棒的三维特征,更全面地感知现实环境,可应用于军事侦察、人机交互、卫星遥感等领域,为无人系统对复杂场景的理解和交互提供了可能。

根据利用的特征及提取方式不同,将现有的三维识别方法可以分类如下:基于特征匹配的目标识别、基于图匹配的目标识别以及基于深度学习的目标识别方法[14]。其中,基于提取特征识别的方法已经在一些领域有所应用,使用基于深度学习的方法研究近年也逐渐增多,将是该领域一个重要的研究方向。

2.3 深度学习

深度学习具有高度抽象能力的网络结构,通过多层卷积神经网络识别抽象模式,能够解决传统方法中存在的问题。2006年多伦多大学的G.E.Hinton等[8]最早提出深度学习这一基本概念,在机器学习领域中一个非常接近AI的领域,几乎成为人工智能的代名词。目前,各个具有特殊神经处理单元和复杂结构的神经网络层出不穷,比如卷积神经网络(CNN)、循环神经网络(RNN)、深度神经网络(DNN)等。它是一类通过多层非线性变换对高复杂性数据进行建模的算法合集[15],其本质是采用多个隐层的机器学习模型和海量的训练数据,尽可能充分地表征和学习到有用的特征信息。多层即指神经网络的层数,强调了模型结构的深度,通常有5层、6层甚至更多[16],层数越多,深度越深,如图2所示。

图2 含多个隐层的深度学习模型示意图

Fig.2 Deep learning model with multiple hidden layers

深度学习在不同的应用领域通常采用不同的网络结构。目前研究和应用较多的四种深度学习网络模型是:自动编码机、卷积神经网络、受限玻尔兹曼机以及深度信念网络[17],如图3所示。

图3 深度学习模型分类方式示意图

Fig.3 Deep learning model classification method

深度学习技术的出现促进了传统人工智能系统运行规则的发展,改善了人为设计特征造成的提取信息不完整的缺点,进而使得预测或识别结果表现出较原有算法更好的识别效果和分类能力[18],被广泛应用到学术界和工业界。欧美相继成立了研究院,国内也有大量的科研院所也投入到深度学习的研究当中,百度、阿里巴巴、腾讯等互联网巨头争相布局深度学习。基于深度学习的目标识别技术经过长期不断的发展,在未来的理论与实践中都会有较大的探索和发展上升空间。

3 深度学习在目标识别中的应用现状

传统主流的目标识别算法基本上可以归为4类[12]:基于全局特征的目标识别、基于区域特征的目标识别、基于模板匹配的目标识别、基于帧差的目标识别。这些主流算法都基于特定理论,在复杂多变的环境下鲁棒性较差,对于海量数据的视频或图片信息的处理能力较差、人工参与多、正确识别率低、计算能力有限、工程泛化性差。深度学习方法带来的优越性能以及其对不同数据的应用能力,对观测结果的有效性起着重要作用,促使机器学习实现众多的应用,并拓展了人工智能的领域范围。

通过文献调研,发现深度学习算法近年来得到了大量的关注,且集中在工业技术、交通运输与农业科学等相关领域,如图4所示,可见应用范围逐步提高,发展前景较为广泛。

图4 目标识别各算法中外文献数量直方图

Fig.4 The number of Chinese and foreign documentsfor
each algorithm of target recognition

国外对于该领域的研究领域较为广泛,不同的领域和不同的样本数据使用不同的网络结构。比如文献[19]提出基于区域的卷积神经网络(RCNN),可以对检测进行对象本地化和分割,对指定区域进行微调,从而提高检测识别的性能。BengioYoshua[20]在2013年提出具有深度架构的深度学习特征算法,可运用于重构算法和流形学习方法领域,但缺点是对于处理庞大的数据集会出现局部最小和特征优化问题。He K等[21]提出残差深度学习缓解训练精度退化的问题,使得残差网络更易被优化,提高了目标识别的深度与精度。He K等[22]提出了掩饰区域卷积神经网络(MASK R-CNN)可以进行图像像素级的分割,利用权值迁移函数的迁移学习方法,提高了识别目标的精度和种类。Redmon J[23]提出的YOlov3精度与速度都比Faster R-CNN高,适用于军事领域,可提高对敌目标识别的速度与精确度,但目前在中等尺寸或大尺寸物体上的表现还相对较差,仍需进一步的完善。

在国内,近几年来很多领域日渐兴起利用深度学习的方法来进行目标识别。宋达等[24]证明用卷积核分布为12-24-24的卷积神经网络模型更适用于水下目标识别任务,但对于水下实时目标识别仍存在困难。翟进有等[25]利用深度学习中的深度残差网络(ResNet)设计出的捷联式残差网络模型(Mu-ResNet),与级联区域建议网络(CRPN)组合出的网络模型,对于无人机的目标识别比传统方法更准确、更快速,满足了无人机的实时性与准确性的要求。朱丰等[26]采用深度学习中的卷积神经网络,建立了从态势特征图像到指挥员战场态势高级理解结果的一个非线性映射。此外,文献[27]阐述了利用深度学习中的深度置信网络(DBN)在舰船目标识别领域的应用,具有很好的工程实用参考价值。

4 深度学习算法在三维识别中的研究现状

经过多年发展,专家和学者们对于三维识别的问题提出了很多不同的研究算法。当前的三维识别研究方法可以概括为以下五种,分别是:基于模型或几何方法、基于外观或视图的方法、基于局部特征匹配的方法、基于光学三维物体识别的方法和基于RGB-D图像的三维物体识别的方法[28-32]

基于外观和基于RGB-D图像方法的关键在于提取识别物体的特征模块,但存在自适应特征提取有效性的难题,需要人工参与其中进行特征提取,耗时且费力。深度学习具有模拟人脑视觉系统从具体到抽象、多层传递的特点,从而使得分类、识别和预测变得更加容易和准确[33]。将深度学习算法有效地应用于三维目标识别领域,不仅是为三维目标识别研究提供一种新的方向和思路,也是对深度学习应用领域的延伸。

通过查阅参考文献发现,基于深度学习算法的三维目标技术近年来得到了大量关注(图5),并在三维识别任务中取得了一些研究成果。如深度学习里的中间层能够挖掘出数据的整体信息,能够很好解决自适应特征提取困难的问题,提高三维识别的有效性,降低特征提取的错误率等。

图5 三维识别各研究方法中外文献数量示意图

Fig.5 The number of Chinese and foreign documents
of each research method of three-dimensional recognition

基于深度学习的三维识别算法已经应用于国内外众多领域。在人脸识别领域,文献[34]将深度信念网络用于三维人脸识别,采用人脸刚性区域进行深度学习,自适应地提取了三维人脸有效性特征,且对人脸表情具有一定的鲁棒性,但是存在算法较为简单、精确度不够的缺点。Mu等[35]专注于低质量三维人脸的识别研究,提出了联合多尺度特征融合(multiscale feature fusion,MSFF)模块和空间注意力矢量化(spatial attention vectorization,SAV)模块的轻量级卷积神经网络Led3D,在移动端设备也能提供很好的应用,在低质量三维人脸识别领域更具优势。在机器人领域,文献[36]提供了一种基本的3D CNN框架VoxNet,可以用于对3D点云数据创建快速、准确的对象类检测器;该架构使用3种不同的3D数据源(LiDAR点云、RGBD点云和CAD模型)在三维识别任务中均达到了最优精度,但忽略了未知空间和自由空间的区别。文献[37]用深度学习算法对点云数据对象进行三维环境识别,根据深度学习网络输入规则,采用对称函数处理点云无序输入,较好的满足了机器人三维环境感知中目标识别的要求,但缺乏对局部特征的提取。在分类算法领域,文献[38]提供了一种直接消耗点云的新型神经网络(PointNet),可以运用在形状分类、零件分割、场景分割等许多基准数据集的场景下。文献[39]提出了具有分组策略的组视图卷积神经网络(GVCNN)框架,可有效提高3D形状分类和检索任务的性能。文献[40]介绍了基于3D卷积神经网络架构的三维模型检索和分类算法,通过多层卷积层与全连接层的组合,同时结合激活函数,使算法的平均模型识别精度均达到80%以上,且优于同类模型识别算法,极大程度上提高了特征的抽象化与网络解决非线性问题的能力。针对舰船的目标识别领域,王冰[41]提出利用深度残差网络结合超像素方法对目标进行分割来识别舰船目标,但在实验中训练样本不纯,包含太多背景信息,影响了检测精度。

5 目前技术存在的不足及未来发展方向

5.1 存在的不足

现阶段基于深度学习的三维识别方法仍有以下问题需要进一步研究。

1) 深度学习方法自身的不足。一般地,应用深度学习方法的三维识别技术在处理相同数据集时,模型规模越大,训练精度越高,训练速度会越慢[42]。例如一些模型采用ReLU非线性变换、GPU运算,在保证精度的前提下,往往需要训练5~7 d[43-44]。虽然离线训练并不影响训练之后模型的应用,但是对于模型优化,诸如模型规模调整、超参数设置、训练时调试等问题,训练时间会严重影响其效率[45]。故而,怎样确保在一定识别精度的前提下,提高三维识别速度,依然是深度学习方向研究的课题之一。而且使用单一的深度学习方法并不具有最理想的效果,通常需要利用其他或多种方法进行三维识别,从而得出更高的精确率。因此,深度学习方法与其他方法的融合具有一定的研究前景。

2) 三维模型库储备不丰富。同样的图像在不同的模型导引下,会产生不同的识别结果,模型库的建立不仅要使用物体的自身模型,如颜色、纹理、形状等,也需要物体间关系的模型[46]。三维模型数据库的内容在规模、种类、精细度、复杂度上还不具有一般性,测试集数据要单独建立,同时还要涵盖人工图像和自然图像[47]。模型库的有效性与全面性直接影响了物体识别的准确性,导致无法完整有效识别出目标。

3) 二维匹配模板映射的不确定性。在三维识别传统算法研究中,通过将三维目标从视点空间投影到二维平面作为模板,与待识别图像中进行搜索匹配,然后进行改变三维参数以达到最佳匹配结果。但在深度学习算法中,从模型映射成二维匹配模板的数据量来说,将三维目标投影到二维平面,对目标的像素集、部件集、目标集的描述方法差异,是否适合神经网络的训练,是否可以实现自动化识别仍是未知数,有待于进一步研究。

5.2 未来发展方向

在未来的发展方向上,主要从以下几个方面来考虑:

1) 对于三维深度学习模型来说,样本库的选择是识别过程中的重难点。大多数实验都是基于三维标准数据集进行训练的,存在训练样本与测试数据之间的风格差异,这会影响模型的普适性和实用性。因此,在以后研究中要针对特定的任务建立特定的样本库。

2) 深度学习技术的成功在很大程度上取决于训练数据的可用性,但与用于分类和识别等任务的训练数据集相比,包含图像及其3D注释的公开数据集的规模很小。因此,要提出新的大规模数据集、利用各种视觉线索的新的弱监督和无监督方法,以及新的领域适应技术,其中使用来自某个领域的数据训练的网络(例如合成渲染图像)适应新的领域。研究能够缩小真实图像和综合渲染图像之间差距的渲染技术,可能有助于解决训练数据问题。

3) 现有的三维卷积神经网络处理的目标数据主要集中在背景纯净的特定目标的三维数据,但实际应用场合中传感器获得的数据往往是较大范围场景下的三维数据,其具有数据密度高、数据量大、成分复杂的特点,且存在遮挡、噪声等干扰因素。因此,如何从大场景三维数据中实现实时的三维目标识别是一个值得研究的方向[48]

6 三维目标识别技术的应用与展望

随着计算机视觉技术的飞速发展,基于深度学习的三维识别技术在AR/VR、环境感知、全方位目标精确识别、无人系统等多个领域具有广阔的应用前景。

1) 在典型目标全方位识别方面。近年来,随着对地观测技术的飞速发展,大批空间高分辨率的遥感成像卫星涌现,遥感影像为海域目标识别提供了极为丰富的数据源,在军用和民用领域的应用范围日趋广泛[49]。卫星遥感图像由于拍摄距离远、云团遮蔽、光照不均匀、舰船与海面亮度及颜色对比度不高、海杂波、小岛干扰等,很容易导致目标识别产生虚警和漏检。针对此类问题,应用深度学习方法进行典型目标全方位识别时,可以使用交叉验证或者随机选取的方法,在高分辨卫星图像分类领域的训练样本数据上进行模型的大量训练和测试,优化深度模型,进而提高遥感图像的数据处理效率、提升遥感信息自动化处理的准确率和可靠性。

2) 在特定目标要害部位打击方面。基于深度学习算法的三维目标识别技术,能够在各种作战使用环境下探测感兴趣的非合作目标,并完成分类和识别,这对于在复杂多变的战场环境和激烈博弈的对抗条件下实现导弹武器对各类目标的精确打击具有重要意义。但军事应用具有特殊性,难以得到大量的训练数据供基于深度学习的三维目标识别技术学习[50]。同时,随着作战环境和电子光电干扰环境越来越恶劣,复杂干扰严重制约目标识别和抗干扰能力,弹载计算机的处理能力也受到很大的限制,并且还会有很大的不可预测性。而由于深度学习在计算机视觉问题上表现出的卓越性能,将会使其成为解决以上问题的一种有效途径,并且会使体系效能得到有效提高。所以未来的精确制导系统,将是融合多种弹载目标探测传感器信息,以信息化、网络化协同作战系统提供的信息和多种算法来实现作战性能的系统。

3) 在战场态势感知方面。战场数据的爆炸式增长,新型集群式、无人化等作战方式的出现,对现有的态势感知系统提出了严峻的挑战。军事领域中,战场态势评估(主要包括战场态势理解和预测两个层次) 是指挥员决策的先决条件,对于指挥员做出正确决策至关重要,同时态势感知的速度和能力决定成为未来战争胜负的关键因素。深度神经网络对高维数据的内在联系、本质特征的识别能力[51],为无人化作战方式如何处理战场感知数据、支持任务自主决策能力提供了一种思路。利用深度网络模型,可以基于空战训练数据进行训练学习,从数据中提取能够对战场态势进行更本质、更具有洞察力描述的特征量,从而实现对空天作战态势的准确评估,为作战决策过程提供一定的技术支持和理论支撑。

7 结论

基于深度学习的三维目标识别算法对社会生活、工业生产等各领域都产生了深远的影响,但仍处于研究发展阶段,通用的学习算法只能适用于特定环境,现阶段仍有很多亟待解决的技术难题。本文对基于深度学习的目标识别和三维识别技术的国内外现状进行了分析,并对目标识别技术的未来应用进行了展望。随着科技的发展,基于深度学习的三维目标识别技术会有更好的实时性、更全的样本库、更高的真实性以及更全面的应用。

参考文献:

[1] Ballan L,Bertini M,Bimbo A D,et.al.Recognizing Human Actions by Fusing Spatio-temporal Appearance and Motion Descriptors.[C]//Image Processing(ICIP),2009 16th IEEE International Conference on.IEEE,2009:3569-3572.

[2] 刘光耀,叶秀清,顾伟康.基于三维重建的交通流量检测算法[J].中国图象图形学报,2003(06):35-40.

Liu G Y,Ye X Q,Gu W K.Traffic Flow Detection Algorithm Based on 3D Reconstruction[J].Journal of Image and Graphics,2003(06):35-40.

[3] Wang M,Deng W.Deep Face Recognition:ASurvey[Z/OL].(2018-04-18)[2020-07-01].https://arxiv.org/abs/1804.06655.

[4] Wang Y.Pan G.Wu C.A Survey of 3D Face Recognition[J].Journal of Computer-aided Design and Computer Graphics,2008(07):3-13.

[5] Pathl H.Kothari A.Bhurchandi K.3D face Recognition:Features,Databases,Algorithms and Challenges[J].Artificial Intelligence Review,2015,44(03):393-441.

[6] Soltanpour S,Boufama B,Wu Q.A Survey of Local Feature Methods for 3D Face Recognition[J].Pattern Recognition,2017,72(03):391-406.

[7] 李高垒,马耀飞.基于深度网络的空战态势特征提取[J].系统仿真学报,2017,29(增刊1):98-112.

Li G L,Ma Y F.Air combat situation feature extraction based on deep network[J].Journal of System Simulation,2017,29(Supplement 1):98-112.

[8] Hinton G E,Osindero S,Teh Y W.A Fast Learning Algorithm for Deep Belief Nets.[J].Neural Computation,2006,18(07):1527-554.

[9] Okada K,Kojima M,Tokutsu S,et.al.Multi-cue 3d Object Recognition in Knowledge-based Vision-guided Humanoid Robot System.IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS 2007),2007:3217-3222.

[10] Do C M,Javidi B.Three-Dimensional Object Recognition With Multiview Photon-Counting Sensing and Imaging[J].IEEE Photonics Journal,2009,1(01):9-20.

[11] KimS,Kweon I S.Scalable Representation for 3D Object Recognition Using Feature Sharing and View Clustering[J].Pattern Recognition,2008,41(02):754-773.

[12] 付俊,杨治国.现代目标识别算法综述[J].电脑知识与技术,2016,12(13):173-174.

Fu J,Yang Z G.Overview of modern target recognition algorithms[J].Computer Knowledge and Technology,2016,12(13):173-174.

[13] 罗荣,王亮,肖玉杰,等.深度学习技术在军事领域应用[J].指挥控制与仿真,2020,42(01):1-5.

Luo R,Wang L,Xiao Y J,et al.The application of deep learning technology in the military field[J].Command Control and Simulation,2020,42(01):1-5.

[14] 郝雯,王映辉,宁小娟,等.面向点云的三维物体识别方法综述[J].计算机科学,2017,44(09):11-16.

Hao W,Wang Y H,Ning X J,et al.A review of point cloud-oriented three-dimensional object recognition methods[J].Computer Science,2017,44(09):11-16.

[15] Hinton G,Deng I,Yu D,et al.Deep Neural Networks for Acoustic Modeling in Speech Recognition:the Shared Views of LourResearch Groups[J].IEEE Signal Proc.Magazine,2012,29(06):82-97.

[16] 韦坚,刘爱娟,唐剑文.基于深度学习神经网络技术的数字电视监测平台告警模型的研究[J].有线电视技术,2017(07):78-82.

Wei J,Liu A J,Tang J W.Research on the Alarm Model of Digital TV Monitoring Platform Based on Deep Learning Neural Network Technology[J].Cable TV Technology,2017(07):78-82.

[17] 薛佳.基于深度学习的多视图三维目标分类方法研究[D].北京:北京交通大学,2019.

Xue J.Research on multi-view 3D target classification method based on deep learning[D].Beijing:Beijing Jiaotong University,2019.

[18] 罗元,王薄宇,陈旭.基于深度学习的目标检测技术的研究综述[J].半导体光电,2020,41(01):1-10.

Luo Y,Wang B Y,Chen X.Research review of target detection technology based on deep learning[J].Semiconductor Optoelectronics,2020,41(01):1-10.

[19] GirshickR,Donahue J,Darrell T,et al.Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society,2014:580-587.

[20] Bengio Y,Courville A,Vincent P.Representation Learning:A Review and New Perspectives[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2013,35(8):1798-1828.

[21] He K,Zhang X,RenS,etal.DeepResidual Learning for Image Recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2016:770-778.

[22] He K,GkioxariG,Dollar P,et al.Mask R-CNN[C]//IEEE International Conference on Computer Vision.IEEE,2017:2980-2988.

[23] Redmon J,FarhadiA.YOLOv3:AnIncremental Im-provement[M].ArXivPreprint ArXiv,2018.

[24] 宋达.基于深度学习方法的水下目标识别技术研究[D].成都:电子科技大学,2018.

Song D.Research on underwater target recognition technology based on deep learning method[D].Chengdu:University of Electronic Science and Technology of China,2018.

[25] 翟进有,代冀阳,王嘉琦,等.深度残差网络的无人机多目标识别[J].图学学报,2019,40(01):158-164.

Zhai J Y,Dai J Y,Wang J Q,et.al.UAV multi-target recognition based on deep residual network[J].Journal of Graphics,2019,40(01):158-164.

[26] 朱丰,胡晓峰,吴琳,等.基于深度学习的战场态势高级理解模拟方法[J].火力与指挥控制,2018,43(08):27-32.

Zhu F,Hu X F,Wu L,et.al.Advanced understanding simulation method of battlefield situation based on deep learning[J].Fire Power and Command Control,2018,43(08):27-32.

[27] Glorot X,Bordes A,Bengio Y.Deep Sparse Rectifier Neural Networks[J].Journal of Machine Learning Research,2010,15(07):54-59.

[28] Yeom S,Javidi B,Ferraro P,et al.Three-dimensional Color Object Visualization and Recognition using Multi-wavelength ComputationalHolography[J].Optics xpress,2007,15(15):9394-402.

[29] Javidi B,Tajahuerce E,ManuelM,et al.New Developments in Active and Passive 3D Image Sensing,Visualization,and Processing[J].Proceedings of SPIE-The International Society for Optical Engineering,2005,5986:598601-598601-11.

[30] Stepan O,Matas J.Object Recognition using Local Affine Frames on Distinguished Regions[C]//Proceedings of the British Machine VisionConference, 2002:113-122.

[31] Besl P J,Jain R C.Three-dimensional Object Recognition[J].Acm Computing Surveys,1985,7(01):75-145.

[32] 胡博,陈锋,刘敏.VR环境下应用于三维虚拟建模的复杂艺术场景优化技术[J] .重庆理工大学学报(自然科学),2019,33(10):115-120.

HU Bo,CHEN Feng,LIU Min.Complex Art Scene Optimization Technology Applied to 3D Virtual Modeling in VR Environment[J] .Journal of Chongqing University of Technology( Natural Science),2019,33(10):115-120.

[33] 王恒欢.基于深度学习的图像识别算法研究[D].北京:北京邮电大学,2015.

Wang H H.Research on image recognition algorithm based on deep learning[D].Beijing:Beijing University of Posts and Telecommunications, 2015.

[34] 徐歆凯,王雪峤,梁爱华,等.基于深度信念网络的三维人脸识别算法[J].计算机科学,2019,46(10):212-215.

Xu X K.Wang X Q,Liang A H,et al.Three-dimensional face recognition algorithm based on deep belief network[J].Computer Science,2019,46(10):212-215.

[35] Mu G,Huang D,HuG,et al.Led3D:A Lightweight and Efficient Deep Approach to Recognizing Low-quality 3D.

[36] MaturanaD,Scherer S.VoxNet:A 3DConvolutional Neural Network for real-time object recognition[C]//2015 IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS).IEEE,2015.

[37] 李晓辉.基于深度学习的机器人三维环境对象感知[D].邯郸:河北工程大学,2020.

Li X H.Robot 3D environment object perception based on deep learning[D]. Handan:Hebei University of Engineering, 2020.

[38] Qi C R,Su H,MoK,et al.PointNet:Deep Learning on Point Sets for 3D Classification and Segmentation[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).IEEE,2017:77-85.

[39] Feng Y,Zhang Z,ZhaoX,et al.GVCNN:Group-View Convolutional Neural Networks for 3D Shape Recognition[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.IEEE,2018:264-272.

[40] 杨军,王亦民.基于深度卷积神经网络的三维模型识别[J].重庆邮电大学学报,2019,31(2):254-261.

Yang J,Wang Y M.Three-dimensional model recognition based on deep convolutional neural network[J].Journal of Chongqing University of Posts and Telecommunications,2019,31(2):254-261.

[41] Wang B.Research on ship target detection based on deep learning[D].Xiamen:Xiamen University,2017.

[42] 李倩,原建平.Movidius~(TM)神经计算棒的测评[J].网络新媒体技术,2020,9(02):51-59.

Li Q,Yuan J P.Evaluation of Movidius~(TM) Neural Compute Stick[J].Network New Media Technology,2020,9(02):51-59.

[43] Krizhevsky A,Sutskever I,Hinton G E.Image Net Classification with Deep Convolutional Neural Networks[C]//Advances in Neural Information Processing Systems.RedHook,NY:Curran Associates,2012:1097-1105.

[44] Russakovsky O,Deng J,SuH,et al.Image Net large Scale Visual Recognition Challenge[J].CoRR,2014:abs/1409.0575.

[45] Zhao R H.Research on pavement crack recognition method based on two-stage convolutional neural network[D].Tianjin:Hebei University of Technology,2015.

[46] 徐晓.计算机视觉中物体识别综述[J].电脑与信息技术,2013,21(05):4-6,41.

Xu X.Overview of Object Recognition in Computer Vision[J].Computer and Information Technology,2013,21(05):4-6,41.

[47] 许俊峰.基于模型的任意视点下三维目标识别研究[D].南京:南京航空航天大学,2015.

Xu J F.Research on model-based 3D target recognition under arbitrary viewpoints[D].Nanjing:Nanjing University of Aeronautics and Astronautics,2015.

[48] Zhi S F.Research on three-dimensional target recognition technology based on convolutional neural network[D].Changsha:National University of Defense Technology,2017.

[49] Yang Y.Remote sensing image ship target detection and classification and recognition based on deep learning[D].Wuhan:Huazhong University of Science and Technology,2019.

[50] 范晋祥,刘嘉.精确制导自动目标识别智能化的挑战与思考[J].航空兵器,2019,26(01):30-38.

Fan J X,Liu J.Challenges and Thoughts on Intelligentization of Precision Guided Automatic Target Recognition[J].Air Weaponry,2019,26(01):30-38.

[51] FuL,Xie F H,Meng G L.An UAV Air-combat Decision Expert System Based on Receding Horizon Control[J]. Journal of Beijing University of Aeronautics and Astronautics,2015,41(01):1994-1999.

[52] Zhou Z H,Feng J.Deep Forest:Towards An Alternative to Deep Neural Networks[C]//Twenty-Sixth International Joint Conference on Artificial Intelligence.2017.

[53] 高晓阳,王刚.基于深度学习的空天防御态势感知方法[J].火力与指挥控制,2018,43(08):8-12.

Gao X Y,Wang G.Air and Space Defense Situation Awareness Method Based on Deep Learning[J].Fire Power and Command Control,2018,43(08):8-12.

[54] Ren S,He K,Girshick R,et al.Fasterr-cnn:TowardsReal-time Object Detection with Region Proposal Networks[C]//Advances in Neural Information Processing Systems.2015:91-99.

[55] Schachter B J.Automatic Target Recognition[M].3 rded.SPIE Press,2018.

Status Quo of 3D Target Recognition Technology Based on Deep Learning

LIU Bihui, WANG Peiyuan

(Naval Aviation University, Yantai 264001, China)

Abstract: The basic concepts of image target recognition, 3D target recognition and deep learning were taken as the starting point, and the research status of deep learning in target recognition and 3D recognition was discussed. We analyzed the current deficiencies and research directions of 3D recognition methods based on deep learning, and further discussed the application prospects of 3D target recognition technology. Through the investigation and analysis of related technologies and literature, the advantages and disadvantages of a variety of deep learning-based target recognition optimization structures and optimization algorithms were summarized, and the progress of the three-dimensional target recognition technology and its impact on social life, industrial production and other fields were summarized. The far-reaching impact pointed out that the application of omni-directional recognition of typical targets attack on key parts of specific targets. The battlefield situational awareness is still the focus of future research on 3D recognition technology, and further attention needs to be paid to the update of the algorithm sample database based on deep learning to enhance the real-time and authenticity of recognition.

Key words: target recognition; three-dimensional recognition; deep learning; 3D model

收稿日期:2020-10-23;

修回日期:2020-11-27

作者简介:柳碧辉(1994—),女,硕士研究生,E-mail:976725420 @qq.com。

通信作者:王培元(1985—),男,博士,讲师,E-mail:1026652650@qq.com。

doi: 10.11809/bqzbgcxb2021.08.022

本文引用格式:柳碧辉,王培元.基于深度学习的三维目标识别技术现状[J].兵器装备工程学报,2021,42(08):140-146.

Citation format:LIU Bihui,WANG Peiyuan.Status Quo of 3D Target Recognition Technology Based on Deep Learning[J].Journal of Ordnance Equipment Engineering,2021,42(08):140-146.

中图分类号:TP391.4

文献标识码:A

文章编号:2096-2304(2021)08-0140-07

科学编辑 李月琴 博士(北京联合大学副教授、硕导)

责任编辑 周江川