智能光电检测技术专栏
尾流是飞机在高速飞行时,由于机翼的上下表面存在压力差,在翼尖形成的自下而上的强漩涡状气流[1]。它是飞机升力的副产品,以翼尖为中心,高速旋转,向后和向下伸展数公里。在近地阶段,尾流是影响飞行安全的重要因素[2],当后机遭遇到前机的尾流时,前机尾流在后机机翼上会形成滚转力矩,从而使后机失去控制,一旦发生事故,后果非常严重[3]。
目前针对飞机尾涡较为成熟的探测工具是多普勒激光雷达。2004年,Köpp等[4]使用2 μm激光雷达首次成功探测到远距离的飞机尾流。Fibertek[5]模拟了一架波音747的尾涡,并利用研制的波长为1.5 μm的相干多普勒测风激光(coherent doppler lidar,CDL)雷达进行了现场探测和验证。日本三菱公司在2014年利用机载相干多普勒测风激光雷达[6]发现了晴空湍流。然而,受限于现有雷达探测尾涡的工作方式和安放位置,导致采集的尾流数据分辨率较低。此外,受环境影响,尾流在其演化过程中具有一定的形变,其识别与预测一直是航空工业中的难题。
近年来,随着深度学习( deep learning,DL)的快速发展,卷积神经网络(convolutional neural network,CNN)在各种计算机视觉任务中已经显示出超过人类的能力,尤其在图像识别应用中表现出了好的鲁棒性和优秀的非线性表达能力,卷积神经网络成为雷达目标识别[7]的一种新方法。
深层的卷积神经网络能够得到的表达能力越强,性能越好[8]。但目前流行的卷积神经网络[9-13]主要为视觉传感器而研究,若直接应用现存的卷积神经网络架构来对尾流进行识别,则需要将激光雷达采集到的低分辨率数据进行转化为彩色图像才能输入这些网络架构当中,这将导致卷积神经网络架构含有过多的参数和计算量。
本研究中提出了一种快速的卷积神经网络模型。雷达采集的样本分辨率低,为平衡识别速度和准确性,简化了GoogLeNet卷积神经网络架构层数和宽度。为了提高识别具有不同形状尾流的能力,在GoogLeNet-Wake卷积神经网络架构的Block模块中使用2个具有不同视野的卷积核来提取尾流的特征,并在其较长的支路上通过残差连接来避免信息丢失。以期通过使用更少的内存资源消耗、更快的速度来达到有效识别尾流的目的。
激光多普勒效应测量的原理是被探测目标反射的波长会随着激光光源和目标之间的相对运动而变化[14]。当多普勒激光扫描目标空域时,接收机会接收到随尾流运动的气溶胶粒子反射的激光信号,其中,后向散射信号的多普勒频移与激光波长、径向风速有如下关系:
(1)
式中: fD为雷达多普勒频移; λ0为激光雷达波长;VR为粒子径向风速。
结合激光雷达探测原理,图1演示了当飞机高速穿过雷达扫描空域时,在复杂的空气动力和飞机相互作用下,飞机会在其左右翼尖处产生湍流漩涡,从而带动空气中的气溶胶粒子运动。
图1 激光雷达扫描尾流原理示意图
Fig.1 Lidar scanning wake
为了获得复杂风场的3D扫描和飞机尾流的准确数据,实验使用Wind3D 6000激光雷达子在双流机场的近离场附近采集风场数据。Wind3D 6000能够检测更长的距离,最大探测半径超过6 km,且具有体积小、质量轻、功耗低的特点。常用的扫描模式有距离高度指示器(range-height-indication,RHI) 和平面位置指示器(plan-position indicator,PPI)2种,对于尾流的截面扫描,采用RHI模式进行探测,在实地探测过程中,多普勒激光雷达安放位置如图2所示。
图2 双流机场尾流实地探测场景图
Fig.2 Wake detection at Shuangliu Airport
不同机型飞机所产生的尾涡强度和演化规律与环境息息相关[15-16]。为了得到一个好的观测条件,根据机场地形、天气条件、跑道运行方式等因素,设置激光雷达运行参数如表3所示。激光雷达按照一定的扫描率不间断周期性扫描目标探测区域,能够大量获取不同天气下和不同机型的下的飞机尾流演化数据。
表3 雷达运行参数(RHI模式)
Table 3 Radar operating parameters (RHI mode)
Parameters (unit)ValueAzimuth angle/(°)112Scanning rate/(°/s)1Elevation range/(°)0~10Elevation angle resolution/ (°)0.2 ± 0.03Detection radial range/m45~885Longitudinal resolution/m15Distance between point A and B/m503Distance between point B and C/m1 468
以A380为例,在现场探测得到尾流可视化如图3所示。通过演化图分析可以发现随着两涡相互诱导及环境风的作用下,左右涡旋呈现出形状逐渐变大,而涡环量强度逐渐变小的特点。尽管涡旋在整体上还保留了反向对称性,但随着时间的流逝,这种对称结构开始逐渐变的不稳定,直到与环境风场融为一体。
深度卷积神经网络在图像分类、目标检测、情感识别、场景分割等计算机视觉任务中取得了突破性的成果[17-18],其为飞机尾流检测提供了一种有效的方法。尽管已经被证明流行的深度学习框架可以在尾流识别上取得好的效果。然而受存储空间和计算能力的限制,经典的神经网络模型在雷达嵌入式设备上的存储和计算仍然是一个巨大的挑战。激光雷达获得的风场数据是一种单通道数据,且分辨率较小。此外,激光雷达获取的风场样本受环境影响,其数值变化范围和与光学传感器得到的图像信息相差甚大。雷达回波数据往往需要将转换才能适应现有的深层卷积神经网络架构。GoogLeNet网络(见图4)是当年ImageNet图像竞赛的冠军,具有良好的识别效果,而且网络结构简单,改进方便。因此,综合雷达设备和尾流演化特点,通过重构GoogLeNet网络,构造了一种专门用于飞机尾流快速识别的GoogLeNet-Wake卷积神经网络框架。
图3 A380机型尾流可视化示意图
Fig.3 A380 aircraft wake visualization
图4 GoogLeNet卷积神经网络结构示意图
Fig.4 GoogLeNet convolutional neural network structure
本文中所提的GoogLeNet-Wake卷积神经网络的主要结构由卷积层、Block块和全连接层组成,图5为显示其网络结构。
GoogLeNet-Wake卷积神经网络架构的第一、四、五层为3×3的卷积层(Conv)。卷积层的作用是提取激光雷达数据样本的特征,每个卷积层后应用了神经元激活函数(ReLu),以及归一化层(batch normalization,BN)来增强模型的泛化能力。在每个卷积层之后增加最大池化层(MaxPool),降低提取特征的维度和减少特征数据量。网络架构的第二、三层为Block模块,通过提出的Block模块丰富特征提取能力和模块对计算资源的需求。网络架构最后一层包含了自适应平均池化层(Adapt-Avgpool)和全连接层(fully-connected,FC)。在全连接层之间应用Dropout层,训练过程中通过随机丢弃一些神经网络单元参数来提高了网络的鲁棒性,避免模型过拟合。
图5 GoogLeNet-Wake网络模型结构框图
Fig.5 GoogLeNet-Wake model framework
Block模块结构如图6所示,其构造目的是输入特征与特定的卷积核进行卷积,并通过一系列的串行或并行组合,使Block模块输出的特征更加丰富。在Block的卷积层中,主要由2个1×1卷积核和3×3卷积核组成,不同的大小的卷积核使得网络在进行卷积时在特征图上具有不同尺寸的感受野[18],以便网络可以学习到样本数据“稀疏”(3×3)或“不稀疏”(1×1)的特征,从而提高了网络对不同尺度尾流的适应性。Block模块将特征提取过程通过具有不同长度的两条卷积支路来实现,两条支线上1×1的卷积核在Block模块的第一层使用,有助于减少参数数量。在下一个模块输入之前利用连接操作将各支线的提取的特征进行综合,从而进一步提高模型非线性特性的表达能力,且这种非对称结构的应用同时能够进一步减少参数量。
图6 Block模块结构框图
Fig.6 Block module structure
在Block模块中较长的支路使用了残差连接结构组成支路残差网络[19],残差网络主要应用的范围为输入数据量较大和卷积网络较深的场景,当尾流样本数据集在数和量上有质的增加时,通过在较长的支路上使用残差连接能有效避免网络梯度爆炸和梯度消失。其中残差块的映射包括直接映射和残差映射。其数学结构为:
xl+1=xl+f(xl,Wl)
(2)
式中:残差块的输入为xl;输出为xl+1; f(xl,Wl)函数代表残差结构的残差部分。
实验在Windows 10操作系统下进行,编程语言为 Python,使用的深度学习框架为PyTorch。计算平台硬件配置为Dell T640工作平台,其处理器为Intel(R) Xeon(R) GOLD 5218,内存为32 GB。
项目团队前期于2020年10月4号在成都双流国际机场 (CTU) 利用Wind3D 6000多普勒激光雷达在开展了尾流观测实验。通过在跑道的不同观测点安置激光雷达共收集了3530条风场样本以构成数据集。其中,数据集中含有尾流的样本标签为正(T),未含有尾流的数据样本标签为负(F),为了避免过度警告,在飞机尾流耗散末期中对后机不构成威胁的尾涡将被归为负样本。尾流背景风场风速是不断变化的,为了使输入到网络的数据无量纲化,本实验对采集的数据进行标准化处理。此外,标准化数据可以加快卷积神经网络梯度下降的求解速度,提高模型的收敛速度。预处理后的数据被随机划分为训练集(Train set),验证集(Validation set),测试集(Test set)。训练集用于CNN权重的学习,验证集被用于训练过程中的“超参”调整,测试集被用于获得最终结果以对比每个模型的性能,对于每个数据集具体分布情况如表4所示。
表4 数据集分布情况
Table 4 Dataset division
ClassTrain setValidation setTest setTotal 2 119706705AnnotationT1 722580581F397126124Size48×56
过小的Batch-Size容易导致网络训练陷入局部最优,模型训练时的批量数(Batch-Size)被设定为50。每进行一轮迭代需要43次Batch来完成。优化模型算法采用Adam[20]自适应梯度下降算法,相比SGD[21]算法,该方法具有实现简单,计算效率高,占用内存少的特点,被广泛应用于计算机视觉和自然语言处理领域。在优化器参数选择上,学习率的设置非常重要,过高的学习率会导致网络振荡,模型难以收敛。而学习率过低,容易产生过拟合。为了得到良好的分类效果,Adam优化器的初始学习率设为0.000 1,而其他参数使用默认值。
训练卷积神经网络模型时应用交叉熵作为损失函数,在二分类情况下,交叉熵的含义表示为实际输出p值与期望输出概率y值之间的距离。也就是说在训练网络时,交叉熵值越小,模型与训练数据的拟合越好,其数学表达式为:
(3)
式中:yi表示样本i的标签;pi表示样本i预测为正类(T)的概率。
将预处理后的训练集数据传递给GoogLeNet-Wake网络进行模型训练,绘制训练过程中损失值的迭代变化如图7所示。
图7 损失值曲线
Fig.7 Loss value curve
由图可知,网络训练的前20轮loss值变化较为明显,呈大幅下降趋势,表明在训练迭代初期,深度学习网络模型的学习能力较为突出,当Epoch为20~80时,训练损失值呈现反复振荡,说明此时得到的模型还不够稳定,在第80轮之后,损失值趋于稳定,数值上接近于0,网络模型达到最优。此时,模型在测试集数据上的准确率为0.984 4。为了更进一步的表明实验结果,引入混淆矩阵(见图8)。
图8 GoogLeNet-Wake 分类器的混淆矩阵示意图
Fig.8 Confusion matrix of the GoogLeNet-Wake classifier
为了评价本文中所提模型在尾流识别中的分类能力,且同时保证实验结果公平,实验在相同的数据集上对AlexNet和GoogLeNet进行训练,测试,验证。结果使用准确率(Accuracy)、精确率(Precision)、召回率(Recall)、和综合评价指标(F1-score) 评价各模型性能。具体而言,准确率准确度是正确预测观测值的比率、召回率为训练模型捕获了多少真正的阳性结果,反映了模型对尾涡识别的鲁棒性,F1分值则是精确率和召回率的综合评价指标,暗示了预测模型的泛化性能,选定指标计算公式如式(4)~式(7)所示。
(4)
(5)
(6)
(7)
式中:TP(True positive)表示实际类别为正,模型预测类别也为正;FP(False positive)表示实际类别为负,模型预测类别为正;TN(False negative)表示实际类别为负,模型预测类别也为负;FN(False negative)表示实际类别为正,模型预测类别为负。
表5反映了分类器对尾流样本的判断能力,GoogLeNet-Wake网络在测试集中的预测准确率分别高于GoogLeNet和AlexNet模型0.28%、1.42%。此外,所提模型在F1分数上优于经典模型,表明GoogLeNet-Wake针对尾流识别具有更好的鲁棒性。在图9可视化了AlexNet和GoogLeNet-Wake在测试集上的部分测试结果,可以发现2个模型对完整尾流涡旋都能取得好的识别结果。随着飞机尾涡与空气的相互作用下逐渐耗散,尾流涡旋呈现在激光雷达扫描截面上的结构被破坏,此时AlexNet模型产生了漏警,而本文所提GoogLeNet-Wake模型因其混合卷积核结构和残差连接能够捕捉到丰富的涡形特征,从而表现出更好的识别能力。
表5 不同模型试验结果
Table 5 Test results of different models
ModelAccuracyPrecisionRecallF1-ScoreOurs0.984 40.951 60.959 30.955 5GoogLeNet0.981 60.936 50.959 30.947 8AlexNet0.970 20.911 30.918 70.914 9
为了评价GoogLeNet-Wake的在尾流识别中的计算性能,以实验的服务器作为计算平台,测试GoogLeNet-Wake、AlexNet和GoogLeNet的参数量和识别速度,有关测试结果如图10所示。
图9 GoogLeNet-Wake与AlexNet部分测试结果可视化示意图
Fig.9 Partial test results of GoogLeNet-Wake and AlexNet
图10 参数和速度测试结果图
Fig.10 Number of parameters and speed comparison results
由图10分析可知,GoogLeNet-Wake、AlexNet和GoogLeNet的参数量分别为0.45 M、57.01 M、5.6 M,识别速度分别为160 Fps、50 Fps、10 Fps。改进后的GoogLeNet-Wake网络在内存消耗和识别速度行相比GoogLeNet有着明显的提升。综合表5、图9和图10可以看出改进模型识别速度提升的同时并没有降低对尾流识别精度,具有更低的空间复杂度和时间复杂度,能够做到复杂环境条件下的飞机尾涡高效识别预警。
在本文中,提出了改进后的卷积神经网路架构GoogLeNet-Wake来针对激光雷达探测的尾流识别进行优化。网络模型在重构GoogLeNet骨架的基础上,设计运用不同大小的卷积核和不平衡支路残差结构来有效提取尾涡的特征,并同时减少模型对计算资源的需求。实验通过在双流机场安置激光雷达采集风场数据来构建尾流数据集,并对模型的性能评价。结果表明,所提GoogLeNet-Wake 在测试集上的准确率高于 GoogLeNet、AlexNet网络结构,识别预测准确度达到98.44%,能够有效辅助空中交通管制员进行尾流安全预警。此外,通过在实验设备平台上的性能测试表明GoogLeNet-Wake可以在低参数量情况下获得优于经典网络模型的识别速度,能够满足嵌入式设备的要求。尽管所提GoogLeNet-Wake模型展现了其优异的性能,但是所构建数据集主要还是来源于良好天气条件下的机场风场扫描数据。因此未来考虑进一步在模型中引入不同气象条件和风况对尾涡的影响因素,以大大提高模型的识别精度和应对恶劣天气的能力。
[1] Spalart P R.Airplane trailing vortices[J].Annual Review of Fluid Mechanics,1998,30(01):107-138.
[2] 潘卫军,郑思睿,梁海军,等.尾流事故机理安全性分析[J].航空计算技术,2019(05):7-11.
Pan W J,Zheng S R,Liang H J,et al.Safety analysis of wake accident mechanism[J].Aeronautical Computing Technology,2019(05):7-11.
[3] 李春生,冷志成.尾流—飞机的杀手[J].航空知识,2001(12):44-44.
Li Ch Sh,Leng Zh Ch.Wake—the killer of airplanes[J].Aviation Knowledge,2001(12):44-44.
[4] Köpp F,Rahm S,Smalikho I.Characterization of aircraft wake vortices by 2 μm pulsed Doppler lidar[J].Journal of Atmospheric and Oceanic Technology,2004,21(02):194-206.
[5] Akbulut M,Hwang J,Kimpel F,et al.Pulsed coherent fiber lidar transceiver for aircraft in-flight turbulence and wake-vortex hazard detection[C]//Laser Radar Technology and Applications XVI.International Society for Optics and Photonics,2011,8037:80370R.
[6] Inokuchi H,Furuta M,Inagaki T.High altitude turbulence detection using an airborne Doppler lidar[C]//29th Congress of the International Council of the Aeronautical Sciences (ICAS).[S.l.]:[s.n.],2014.
[7] Profeta A,Rodriguez A,Clouse H S.Convolutional neural networks for synthetic aperture radar classification[J].Proceedings of SPIE,2006,9843:98430M.
[8] Albawi S,Mohammed T A,Al-Zawi S.Understanding of a convolutional neural network[C]//2017 International Conference on Engineering and Technology (ICET).IEEE,2017:1-6.
[9] Krizhevsky A,Sutskever I,Hinton G E.Imagenet classification with deep convolutional neural networks[J].Advances in Neural Information Processing Systems,2012,25:1097-1105.
[10]Simonyan K,Zisserman A.Very deep convolutional networks for large-scale image recognition[J].arXiv Preprint arXiv:1409.1556,2014.
[11]Huang G,Liu Z,Van Der Maaten L,et al.Densely connected convolutional networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:[s.n.],2017:4700-4708.
[12]Liu Y,Wang Y,Wang S,et al.Cbnet:A novel composite backbone network architecture for object detection[C]//Proceedings of the AAAI Conference on Artificial Intelligence.[S.l.]:[s.n.],2020,34(07):11653-11660.
[13]Szegedy C,Liu W,Jia Y,et al.Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:[s.n.],2015:1-9.
[14]Frehlich R.Estimation of velocity error for Doppler lidar measurements[J].Journal of Atmospheric and Oceanic Technology,2001,18(10):1628-1639.
[15]Hallock J,Burnham D,Hallock J,et al.Decay characteristics of wake vortices from jet transport aircraft[C]//35th Aerospace Sciences Meeting and Exhibit.[S.l.]:[s.n.],1997:60.
[16]魏志强.尾涡流场及安全间隔的建模与仿真计算研究[D].天津:中国民航大学,2008.
Wei Z Q.The Research on modeling and simulation on flow field and safety spacing for wake vortex[D].Tianjin:Civil Aviation University of China,2008.
[17]Shakirov V V,Solovyeva K P,Dunin-Barkowski W L.Review of state-of-the-art in deep learning artificial intelligence[J].Optical Memory and Neural Networks,2018,27(02):65-80.
[18]Xu D,Wu Y.MRFF-YOLO:A Multi-Receptive Fields Fusion Network for Remote Sensing Target Detection[J].Remote Sensing,2020,12(19):3118.
[19]He K,Zhang X,Ren S,et al.Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:[s.n.],2016:770-778.
[20]Kingma D P,Ba J.Adam:A method for stochastic optimization[J].arXiv Preprint arXiv:1412.6980,2014.
[21]Zhang J,Karimireddy S P,Veit A,et al.Why adam beats sgd for attention models[J].2019.