运载系统运用工程专栏

基于Encoder-Decoder注意力网络的异常驾驶行为在线识别方法

唐 坤1,2,戴语琴1,徐永能1,郭唐仪1,邵 飞2

(1.南京理工大学 自动化学院, 南京 210094; 2.陆军工程大学 野战工程学院, 南京 210023)

摘要:异常驾驶行为是车辆安全运行的重大威胁,其对人员与物资的安全高效投送造成严重危害。以低成本非接触式的手机多传感器数据为基础,通过对驾驶行为特性进行数据分析,提出一种融合Encoder-Decoder深度网络与Attention机制的异常驾驶行为的在线识别方法。该方法由基于LSTM(long short-term memory)的Encoder-Decoder、Attention机制与基于SVM(support vector machine)的分类器3个模块构成。该系统识别方法包括:输入编码、注意力学习、特征解码、序列重构、残差计算与驾驶行为分类等6个步骤。该技术方法利用自然驾驶条件下所采集的手机传感器数据进行实验。实验结果表明:① 手机多传感器数据融合方法对驾驶行为识别具备有效性;② 异常驾驶行为必然会造成数据异常波动;③ Attention机制有助于提升模型学习效果,对所提出模型的识别准确率F1-score为0.717,与经典同类模型比较,准确率得到显著提升;④ 对于汽车异常驾驶行为来说,SVM比Logistic与随机森林算法具有更优越的识别效果。

关键词:异常驾驶;深度学习;编码器-解码器;长短时记忆网络;注意力机制

0 引言

交通事故不仅对社会经济发展造成严重损害,而且是应急救援等特殊情况下人员物资安全投送的重大威胁。数据表明,我国2019年共发生交通事故247 646起,造成直接财产损失就高达134 618万元[1]。超过90%的交通事故与异常驾驶行为有关,行驶速度每增加5%,造成伤害和致命交通事故数量将分别增加10%~20%[2]。因此,对异常驾驶行为进行分析与识别是预防交通事故、提升交通安全的重要途径,为人员物资的安全与高效投送提供可靠保障。

国内外学者对驾驶行为进行了广泛研究[3-4],从方法层面来看,目前研究大致可以分为基于分析的方法与数据驱动的方法两类[5]。前者以驾驶员心理与生理信号为基础,例如脑电信号EEG[6]、皮电信号EDA[7]、眼动信号EOG[8]等,通过构建精确的分析模型对异常驾驶行为进行识别。由于心理与生理信号具有较高的时间分辨率,能够满足精细化的驾驶行为分析需求,基于分析的方法得到了广泛应用[9-10]。然而,心理与生理信号通过驾驶佩戴的传感设备获取,存在较强的侵入性与干扰性[11]。与基于分析的方法不同,数据驱动的方法利用机器学习等方法对数据进行分析,将蕴含在数据中的信息转化为知识,实现驾驶行为的非显式建模。由于采用非侵入方式进行数据采集并自动构建数据与驾驶行为之间的关联模型,数据驱动的方法具有显著优势,已经成为驾驶行为研究的热点方向[12]。从数据角度而言,数据驱动的方法主要包括两类:基于图像视频[13]与基于传感器数据[14]。得益于机器视觉近些年的迅猛发展,基于图像数据的方法具备了较多的成熟方案。然而,图像数据容易受光照等因素的影响,应用场景受限,而且视频数据量较大,需要消耗大量的计算资源。基于传感器数据的方法需要为车辆安装大量专用传感器,安装与维护成本极高,较难推广应用[15]

随着智能手机的大量普及,手机内集成的传感器种类日益丰富,通过融合智能手机多传感器数据进行驾驶行为分析得到越来越广泛的关注[16]。手机传感器能够以非侵入的方式实时记录车辆运动状态信息,与专用传感器相比,具有成本低、易获取、非侵入、易普及等优点。利用手机传感器数据进行驾驶行为分析的关键在于如何从传感器数据中提取高质量的特征表达[17]。近年来,深度学习(deep learning)在计算机视觉、自然语言处理等领域取得了巨大成功[18-19]。得益于深度网络结构,深度学习模型能够逐层从数据中挖掘潜在知识,在特征提取与数据挖掘方面展现出独特的优势[20]。鉴于深度学习模型强大表征能力,利用深度学习方法从数据中挖掘交通模式已经成为交通研究的重要趋势[21]

鉴于此,从数据驱动的角度出发,以低成本无侵入的手机传感器为基础,通过多传感器数据融合,分析自然驾驶条件下的驾驶行为模式与数据特性,提出一种基于Encoder-Decoder深度学习模型与Attention机制的异常驾驶行为在线识别方法,并利用真实数据进行实验对模型的有效性进行验证。主要工作包括:

1) 分析驾驶行为特性与数据模式,挖掘异常驾驶行为的数据表现特征,验证基于手机多传感数据融合进行异常驾驶行为识别的可行性。

2) 提出基于Encoder-Decoder深度网络与SVM的异常驾驶行为识别模型,通过融合Attention机制,增强了模型的注意力,并提高了异常驾驶行为识别精度。

3) 利用真实的自然驾驶数据进行实验,分析不同特征提取器与分类器组合模型的异常驾驶行为识别性能,再通过实验对比,验证了所提模型的有效性。

1 数据简介与预处理

1.1 数据简介

本文中所采用的驾驶行为数据来自于公开数据集Driver Behavior Dataset[22]。该数据集通过智能手机中的惯性测量单元传感器采集,加速度计、线性加速度计、陀螺仪与磁力计分别记录车辆在xyz三个方向上的加速度、线性加速度、角速度与磁场力。整个数据集包含4段实验行程,平均每段行程持续约13 min,具体如表1所示。

表1 异常驾驶事件数据统计量

Table 1 Statistics of driving behavior data

异常驾驶类型行程1行程2行程3行程4异常事件数量异常样本数量急加速—6—6125 251急刹车—6—6124 511急左转弯5—6—114 742急右转弯5—6—114 742急速左变道———441 444急速右变道32——51 836总计131412165522 526

1.2 特征提取

由于驾驶行为的复杂性,单个传感器很难对其进行较好地表征,本文中采用多传感器融合的方式对驾驶行为进行描述。如图1所示。通过对不同传感器的数据进行融合,各时刻的驾驶行为可以用一个维度为12的特征向量xtR12进行描述。由于综合考虑了多个传感器数据,相较于单传感器而言,xt具有更为全面的驾驶行为描述能力。

图1 驾驶行为描述特征构建

Fig.1 Construction of driving behavior feature

1.3 数据预处理

鉴于原始数据存在数据缺失、量纲各异和类间不平衡等问题,因此有必要采用以下步骤对初始数据进行预处理。

步骤1 缺失数据处理。查找缺失数据记录,确定数据缺失性质,针对偶然性缺失,采用插值法进行补全,针对结构性缺失,将缺失记录从数据中剔除。

步骤2 数据归一化。不同传感器度量单位不同,为了消除量纲的影响,采用最大最小值归一化方法(Min-Max Scaling)对各个特征维度上的数据进行归一化。

步骤3 非平衡数据处理。数据中异常驾驶为少数类,正样本与负样本分布不平衡,通过对正常驾驶下采样和对异常驾驶上采样,使得正负样本比例尽量平衡。

步骤4 特征分布正态化。利用正态概率图(Normal Probability Plot)对各种特征进行正态性检验,针对非正态分布特征,采用对数化等方法进行正态分布变换。

2 异常驾驶行为识别模型

2.1 总体框架

本文中提出模型的总体框架如图2所示。主要包括输入编码、注意力学习、特征解码、序列重构、残差计算与驾驶行为分类等步骤,具体流程如下所示。

图2 模型总体框架

Fig.2 Model framework

步骤1 输入编码。将预处理后的驾驶行为时间序列张量数据Xorigin={x1,x2,…,xT}输入至模型,利用基于LSTM的Encoder对输入数据进行特征学习,得到各个时刻输入的编码向量张量

步骤2 注意力学习。将编码器特征张量Henc作为输入,结合各时刻的解码器特征利用Attention模型计算考虑上下文信息的编码器特征权重,以此获得当前时刻的上下文特性向量ct,t=1,2,…,T;

步骤3 特征解码。针对各个时刻t,将上一时刻t-1的解码器特征解码器输出以及当前时刻的上下文特性ct输入当前时刻的编码器,利用基于LSTM的Decoder对输入进行学习,得到当前时刻的解码器状态

步骤4 序列重构。针对各个时刻t,t=1,2,…,T,将当前时刻的解码器特征作为输入,利用重构模型计算当前时刻的重构特征获得各时刻的重构序列

步骤5 残差计算。利用原始序列Xorigin={x1,x2,…,xT}与重构序列计算各时刻的重构误差E={e1,e2,…,eT};

步骤6 SVM分类。将重构误差E={e1,e2,…,eT}与原始序列Xorigin={x1,x2,…,xT}拼接得到混合分类特征向量X={(x1,e1),(x2,e2),…,(xT,eT)},将其输入至SVM进行分类得到ot,t=1,2,…,T,实现异常驾驶行为识别。

2.2 基于LSTM的Encoder-Decoder模块

首先,将预处理后的驾驶行为时间序列数据Xorigin输入至Encoder-Decoder模型中的Encoder模块。Encoder-Decoder模型是一种强大的时间序列处理框架[23],如图3(a)所示。

图3 Encoder-Decoder模型结构

Fig.3 Model structure of Encoder-Decoder framework

在编码阶段,依次构建Encoder在各时刻的状态

(1)

式中:为上一时刻隐含层状态; f(·)为编码器,本文中采用LSTM[24]。在序列的最后一个时刻T,利用计算序列的中间语义编码向量c,如下所示

(2)

式中:g(·)为映射函数,通常采用全连接层实现。

在解码阶段,利用语义向量c与之前时刻输出{y1,y2,…,yt-1}计算Encoder在各时刻的输出,如下所示

(3)

式中: yt为Decoder在当前时刻的输出;yt-1为上一时刻的输出;c表示语义编码向量。

2.3 注意力模块

上述Encoder与Decoder之间唯一的联系方式仅为一个固定长度的语义编码向量c,难以对整个序列的信息进行建模,且输入网络的前信息可能会被后续输入的信息覆盖。针对上述问题,引入注意力机制[25],将所有时刻的编码器特征Henc作为输入,对于各时刻t=1,2,…,T,利用注意力模型计算考虑上下文信息的特性向量ct,从而获得解码器在该时刻的个性化特征

融合注意力机制的Encoder-Decoder模型如图3(b)所示。Attention的计算过程包括3个阶段:相关性计算、权重归一化、加权求和。首先,计算Decoder在t时刻的隐含层状态与Encoder在i时刻的隐含层状态之间的相关性得分scoreti

(4)

式中:Wa为权重矩阵;va为变换系数;上标T代表矩阵转置。然后,对相关性得分进行归一化,计算Encoder隐含层状态对Decoder隐含层状态的影响权重,如下所示

(5)

式中:at(i)为的影响权重;exp(·)为指数函数,T为序列长度。最后,利用注意力权重对进行加权求和,得到Decoder在当前时刻t的语义向量ct,如下所示:

(6)

通过Attention后,将ct进行拼接,计算Decoder新的隐含层状态st,如下所示

(7)

式中:Wc为转换矩阵。在此基础上,计算decoder在t时刻的最终输出yt,如下所示

yt=Whost+bho

(8)

式中:Who为隐含层输出系数矩阵;bf为偏置项。

2.4 支持向量机模块

基于式(8)获得解码器特征后,将其作为输入对原始输入xt进行重构得到重构序列Xrec,并计算获得重构误差E={e1, e2,…, eT}。为了充分利用数据中包含的信息,将EXorigin拼接得到X={(x1, e1),(x2, e2),…,(xT,eT)},并利用其对异常驾驶行为进行识别。鉴于SVM的强大分类能力,采用SVM对驾驶行为进行识别。SVM的核心思想为求解正确划分数据集的分割超平面,如下所述

(9)

式中:w为超平面法向量,b为偏置,xiyi∈{+1,-1}分别为第i个样本的特征向量与分类标签,m为样本的数量。利用拉格朗日乘子法对上式进行转换,得到下述优化问题:

(10)

利用序列最小优化对上述问题进行求解,得到最优进而求解最优w*b*,如下所示

(11)

基于上述最优分割超平面,对于任一样本x,其分类决策函数如下所示

f(x)=sgn((w*)T·x+b*)

(12)

式中:sgn(·)为符号函数,输出为“1”或“-1”,分别代表异常驾驶与正常驾驶,从而实现异常驾驶行为识别。

3 模型结果与分析

3.1 实验设置

对于每个时刻t,利用该时刻及前T-1个时刻的时间序列构建驾驶行为特征描述张量Xt=[xt-T+1,xt-T+2,…,xt]。通过对实验数据进行预处理,获得驾驶行为数据样本共 155 496条,其中正常驾驶132 970条,异常驾驶22 526条,按照3∶1∶1的比例将数据划分为训练集、验证集与测试集。模型采用PyTorch 1.9.0实现,实验环境为Intel(R) Core(TM) i7-9700 CPU、16G DDR4内存、NVIDIA GeForce RTX 2080 GPU。模型超参数通过网格搜索调优确定,设置LSTM 层数为3,各层维度分别为{128,128,64},batch_size为128,使用Adam优化器对模型进行训练,最大迭代次数为2 000。为了防止模型过拟合,采用丢弃法构建dropout层,并采用早停法(early stopping)对模型进行训练。为了验证模型的稳定性,采用5折交叉验证对模型性能进行评估。

为了验证模型性能,将提出模型与多种典型的特征提取器与分类器组合模型进行对比,对比特征提取器包括循环神经网络RNN、长短时记忆网络LSTM与Bidirectional LSTM,对比分类器包括Logistic分类器、Random Forest随机森林,并采用多种广泛使用的分类评价指标对模型性能进行评价,包括准确率Accuracy、精确率Precision、召回率Recall、Fβ-score。

3.2 驾驶行为特征分析

正常驾驶数据分布如图4所示。从图中可以看出,正常驾驶情况下,线加速度与角加速度均围绕0值上下振动,不存在长时间持续增大或减小情况,最大值与最小值均处在合理范围之内,具有较强的规律性与稳定性。

图4 正常驾驶行为特征分析

Fig.4 Data distribution of normal driving

急加速/急刹车、急性左/右转弯、急速左/右变道数据分布状态分别如图5所示。

图5 异常驾驶行为特征分析

Fig.5 Data distribution of abnormal driving

急加速状态表现为线加速度短时间内突然急剧增长,在达到峰值后振动式缓慢下降,而急刹车状态反应为线加速度短时间内突然急速负向增长,在达到峰值后缓慢增加。急性左转弯情况下陀螺仪角加速度先增后减,数据曲线呈现上凸现象,而急性右转弯情况下陀螺仪角加速度先减后增,数据曲线呈现下凹现象。急速左变道情况下角加速度反应为先增后减,然后先减后增,数据呈现变幅正弦函数分布,而急速右变道情况下角加速度反应为先减后增,然后先增后减,数据呈现变幅负正弦函数分布。结果表明,异常驾驶行为导致传感器数据波动剧烈,具有显著的突变性,且与正常驾驶行为数据之间存在较大差异,具有显著的离群性。

3.3 模型性能分析

各模型异常驾驶行为识别结果如表2所示。从表中可以看出,各指标计算结果整体上从上至下呈现递增趋势。当特征提取器为LSTM时,基于SVM的异常驾驶识别准确率、精确率、召回率与F1-score分别为0.881、0.560、0.836与0.671,高于其他2种分类器。这表明,相较于Logistic与RF,SVM能够获得更好地异常驾驶行为识别结果。当利用SVM作为分类器时,本文中提出模型的异常驾驶行为识别准确率、精确率、召回率与F1-score分别为0.901、0.614、0.861与0.717,均高于其他对比模型。这表明,本文中提出模型能够以最高的精确率对绝大多数异常驾驶行为进行识别。提出模型的ROC曲线面积AUC1与PRC曲线面积AUC2分别为0.959与0.833,在各模型中表现最优。这表明本文中提出模型能够更好地对异常驾驶行为进行识别。

表2 异常驾驶事件数据统计量

Table 2 Statistics of driving behavior data

特征提取器分类器AccPreRecF0.5F1F2AUC1AUC2RNNLogistic0.8630.5180.8081.5780.6310.3940.9040.692RF0.8680.5310.8101.6030.6410.4010.9290.744SVM0.8710.5370.8191.6210.6490.4050.9410.780LSTMLogistic0.8730.5410.8261.6350.6540.4090.9260.773RF0.8770.5520.8281.6550.6620.4140.9410.786SVM0.8810.5600.8361.6770.6710.4190.9450.795Bi-LSTMLogistic0.8750.5460.8261.6430.6570.4110.9360.782RF0.8800.5580.8291.6680.6670.4170.9430.793SVM0.8830.5660.8371.6890.6760.4220.9460.798Encoder-DecoderLogistic0.8870.5750.8531.7180.6870.4290.9440.801RF0.8920.5870.8541.7400.6960.4350.9500.809SVM0.8940.5920.8601.7530.7010.4380.9520.814OursLogistic0.8940.5940.8501.7490.6990.4370.9470.813RF0.8990.6080.8531.7760.7100.4440.9540.825SVM0.9010.6140.8611.7920.7170.4480.9590.833

注:Acc、Pre、Rec分别为Accuracy、Precision、Recall;F0.5F1F2分别为F0.5-score、F1-score、F2-score;AUC1与AUC2分别为ROC曲线与PRC曲线下面积。

对比模型RNN、LSTM、Bi-LSTM、Encoder-Decoder及提出模型识别结果的混淆矩阵如图6(a)~(e)所示。在采用SVM分类器的情况下,提出模型获得了最优的异常驾驶行为识别结果。如图6(e)所示,模型的总体识别准确率为90.1%,正常驾驶行为与异常驾驶行为的查全率分别为90.8%与86.1%,查准率分别为97.5%与61.4%,正常驾驶行为误判的比例仅为2.5%。结果表明,提出模型能够对更多的正常驾驶行为与异常驾驶行为进行正确识别,同时具有最低的误判率。

图6 混淆矩阵

Fig.6 Confusion matrices of competing models

为了研究模型在非平衡数据集上的分类能力,采用受试者工作特征曲线ROC与精确率-召回率曲线PRC对识别结果进行评价。对比模型RNN、LSTM、Bi-LSTM、Encoder-Decoder及提出模型的ROC曲线与PRC曲线分别如图7(a)~(e)所示。同一特征提取器下,利用Logistic、RF与SVM分类器进行异常驾驶行为识别的ROC曲线“左上凸”程度与PRC曲线“右上凸”程度依次递增,对应曲线下的面积也依次递增。这表明SVM具有比 Logistic与RF分类器更好的异常驾驶行为识别效果。同一分类器下,RNN、LSTM、Bi-LSTM、Encoder-Decoder及提出模型的ROC曲线“左上凸”与PRC曲线“右上凸”程度呈现依次递增规律,对应曲线下的面积AUC同样依次递增。结果表明,提出模型能够实现绝大多数异常驾驶行为的准确识别,具有更高的正常驾驶行为与异常驾驶行为的区分率,与所对照的同类方法相比,拥有更好的ROC曲线“左上凸”性与PRC曲线“右上凸”性,以及对应更高的ROC曲线面积与PRC曲线面积。

图7 ROC曲线与PRC曲线

Fig.7 ROC and PRC curves of competing models

4 结论

1) 基于手机多传感器融合数据的特征分析法是汽车驾驶行为识别的有效可行手段,具有非接触式、易获取等优点。该特性分析法对异常驾驶行为所造成的数据异常波动而产生离群值状态的识别具备实时性和较高的准确性。

2) 本文中所采用的注意力机制Attention能够为不同时刻的Decoder构建考虑上下文信息的个性化语义向量,提升模型注意力,进而提高了异常驾驶行为的识别准确率。

3) 支持向量机(SVM)对Encoder-Decoder所提取的特征进行汽车异常驾驶行为的识别,要比Logistic与随机森林RF分类模型具有更好的效果。

4) 本课题的后续工作将对驾驶行为与驾驶员情绪状态的关联性,通过车内视频数据融合前述技术方法开展更加多源性的非接触式传感信息处理和识别算法研究。

参考文献:

[1] 中华人民共和国国家统计局.交通事故年度数据[EB/OL].2020,URL:https://data.stats.gov.cn/easyquery.htm?cn=C01&zb=A0S0D01&sj=2020.

China National Bureau of Statistics,Annual Statistical Data of Traffic Accident[EB/OL].2020,URL:https://data.stats.gov.cn/easyquery.htm?cn=C01&zb=A0S0D01&sj=2020.

[2] MA Y,TANG K,CHEN S,et al.On-line aggressive driving identification based on in-vehicle kinematic parameters under naturalistic driving conditions[J].Transportation Research Part C:Emerging Technologies,2020,114:554-571.

[3] 常富祥,丁佳,魏福华,等.虚拟环境下端对端深度学习的自动驾驶方法[J].兵器装备工程学报.2021,42(3):186-192.

CHANG Fuxiang,DING Jin,WEI Fuhua,et al.Research on auto-driving method of end-to-end depth learning in virtual environment[J].Journal of Ordnance Equipment Engineering,2021,42(3):186-192.

[4] AL HADDAD C,ANTONIOU C.A Data-information-knowledge cycle for modeling driving behavior[J].Transportation Research Part F:Traffic Psychology and Behaviour,2022,85:83-102.

[5] CHAN T K,CHIN C S,CHEN H,et al.A comprehensive review of driver behavior analysis utilizing smartphones[J].IEEE Transactions on Intelligent Transportation Systems,2020,21(10):4444-4475.

[6] PALANIAPPAN R,MOULI S,BOWMAN H,et al.Investigating the cognitive response of brake lights in initiating braking action using EEG[J].IEEE Transactions on Intelligent Transportation Systems,2021,23(8):13878-13883.

[7] PASCHALIDIS E,CHOUDHURY C F,HESS S.Modelling the effects of stress on gap-acceptance decisions combining data from driving simulator and physiological sensors[J].Transportation Research Part F:Traffic Psychology and Behaviour,2018,59:418-435.

[8] 郭子慧,郭伟伟,谭墍元.驾驶员接管自动驾驶车辆的眼动特性和行为分析[J].中国安全科学学报,2022,32(1):65-7.

GUO Zihui,GUO Weiwei,TAN Jiyuan.Analysis on eye movement characteristics and behavior of drivers taking over automated vehicles[J].China Safety Science Journal,2022,32(1):65-71.

[9] ZHANG X,WANG X,YANG X,et al.Driver drowsiness detection using mixed-effect ordered logit model considering time cumulative effect[J].Analytic Methods in Accident Research,2020,26:100114.

[10] 郭唐仪,潘姝,邵飞,等.城市隧道驾驶员注视行为特征[J].东南大学学报(English Edition),2021,37(3):325-331.

GUO Tangyi,PAN Shu,SHAO Fen,et.al.Drivers’ fixation transfer characteristics in urban tunnels[J].Journal of Southeast University (English Edition),2021,37(3):325-331.

[11] SINGH H,KATHURIA A.Analyzing driver behavior under naturalistic driving conditions:A review[J].Accident Analysis &Prevention,2021,150:105908.

[12] 王可,陆键,蒋愚明.基于车辆行驶轨迹的道路不良驾驶行为谱构建与特征值计算方法[J].交通运输工程学报,2020,20(6):236-249.

WANG Ke,LU Jian,JIANG Yuming.Abnormal road driving behavior spectrum establishment and characteristic value calculation method based on vehicle driving trajectory[J].Journal of Traffic and Transportation Engineering,2020,20(6):236-249.

[13] 程文冬,付锐,马勇,等.驾驶人在手机通话行为中的认知分心图像识别研究[J].中国公路学报,2021,34(5):168-181.

CHENG Wendong,FU Rui,MA Yong,et.al.Research on driver’s cognitive distraction in mobile phone call behavior based on image recognition[J].China Journal of Highway and Transport,2021,34(5):168-181.

[14] 牛世峰,李贵强,张士伟.卫星定位数据驱动的营运车辆驾驶人驾驶风险评估模型[J].中国公路学报,2020,33(6):202-211.

NIU Shifeng,LI Guiqiang,ZHANG Shiwei.Driving risk assessment model of commercial drivers based on satellite-positioning data[J].China Journal of Highway and Transport,2020,33(6):202-211.

[15] MA Y,LI W,TANG K,et al.Driving style recognition and comparisons among driving tasks based on driver behavior in the online car-hailing industry.[J].Accident Analysis &Prevention,2021,154:106096.

[16] 杨飞,郭煜东,JIN J P,等.基于手机传感器数据的交通出行调查实证评估[J].交通运输工程学报,2020,20(1):226-238.

YANG Fei,GUO Yudong,JIN J P,et al.Empirical evaluation of travel survey based on mobile phone sensor data[J].Engi Journal of Traffic and Transportation neering,2020,20(1):226-238.

[17] CARLOS M R,GONZALEZ L C,WAHLSTROM J,et al.How smartphone accelerometers reveal aggressive driving behavior?-the key is the representation[J].IEEE Transactions on Intelligent Transportation Systems,2020,21(8):3377-3387.

[18] SAXE A,NELLI S,SUMMERFIELD C.If deep learning is the answer,what is the question[J].Nature Reviews Neuroscience,2021,22(1):55-67.

[19] 雷钰,刘帅奇,张璐瑶,等.基于深度学习的合成孔径雷达图像去噪综述[J].兵器装备工程学报.2022,43(11):71-80.

LEI Yu,LIU Shuaiqi,ZHANG Luyao,et al.Review of synthetic aperture radar image denoising based on deep learning[J].Journal of Ordnance Equipment Engineering,2022,43(11):71-80.

[20] TANG K,CHEN S,KHATTAK A J,et al.Deep architecture for citywide travel time estimation incorporating contextual information[J].Journal of Intelligent Transportation Systems,2021,25(3):313-329.

[21] 孙剑,张一豪,王俊骅.基于自然驾驶数据的分心驾驶行为识别方法[J].中国公路学报,2020,33(9):225-235.

SUN Jian,ZHANG Yi hao,WANG Junhua.Detecting distraction behavior of drivers using naturalistic driving data[J].China Journal of Highway and Transport,2020,33(9):225-235.

[22] FERREIRA J J,CARVALHO E,FERREIRA B V,et al.Driver behavior profiling:An investigation with different smartphone sensors and machine learning[J].PLoS One,2017,12(4):e0174959.

[23] ABDELRAOUF A,ABDEL-ATY M,YUAN J.Utilizing attention-based multi-encoder-decoder neural networks for freeway traffic speed prediction[J].IEEE Transactions on Intelligent Transportation Systems,2021,23(8):11960-11969.

[24] 付强,王华伟.基于多层LSTM的复杂系统剩余寿命智能预测[J].兵器装备工程学报,2022,43(1):161-169.

FU Qiang,WANG Huawei.Intelligent prediction for remaining useful life of complex system based on multi-layer LSTM[J].Journal of Ordnance Equipment Engineering,2022,43(1):161-169.

[25] 王留洋,芮挺,郑南,等.基于跨模态特征增强的RGB-T行人检测算法研究[J].兵器装备工程学报.2022,43(5):254-260.

WANG Liuyang,RUI Ting,ZHENG Nnan,et al.Research on RGB-T pedestrian detection algorithm based on cross-modal feature enhancement[J].Journal of Ordnance Equipment Engineering,2022,43(5):254-260.

Online recognition methods of abnormal driving based on Encoder-Decoder attention network

TANG Kun1,2, DAI Yuqin1, XU Yongneng1, GUO Tangyi1, SHAO Fei2

(1.School of Automation, Nanjing University of Science and Technology, Nanjing 210094, China;2.College of Field Engineering, Army Engineering University of PLA, Nanjing 210023, China)

AbstractAbnormal driving is a major threat to the safe operation of vehicles, which seriously endangers the safe and efficient delivery of personnel and materials. Based on low-cost non-contact mobile phone multi-sensor data, this paper proposes an online recognition method of abnormal driving by combining Encoder-Decoder deep network and Attention mechanism. This method consists of three modules: Encoder-Decoder based on Long Short-Term Memory (LSTM), Attention mechanism and a classifier based on Support Vector Machine (SVM). The system recognition method includes six steps: input coding, attention learning, feature decoding, sequence reconstruction, residual calculation and driving behavior classification. This technical method uses the mobile phone sensor data collected under natural driving conditions to carry out the experiment. The experimental results show that: 1) The mobile phone multi-sensor data fusion method is effective for driving behavior recognition; 2) Abnormal driving will inevitably cause abnormal fluctuations in data; 3) The Attention mechanism helps to improve the learning effect of the model. The recognition accuracy rate of the proposed model F1-score is 0.717. Compared with that in the similar classical models, the accuracy rate has been significantly improved; 4) For abnormal driving behaviors, SVM has better recognition effect than Logistic and random forest algorithm.

Key wordsabnormal driving; deep learning; Encoder-Decoder; LSTM; Attention mechanism

本文引用格式:唐坤,戴语琴,徐永能,等.基于Encoder-Decoder注意力网络的异常驾驶行为在线识别方法[J].兵器装备工程学报,2023,44(8):63-71.

Citation format:TANG Kun, DAI Yuqin, XU Yongneng, et al.Online recognition methods of abnormal driving based on Encoder-Decoder attention network[J].Journal of Ordnance Equipment Engineering,2023,44(8):63-71.

中图分类号:U491

文献标识码:A

文章编号:2096-2304(2023)08-0063-09

收稿日期:2023-02-03;

修回日期:2023-02-28

基金项目:国家自然科学基金项目(52002184);中国博士后科学基金项目(2021M693935);江苏省高层次创新创业人才引进计划项目(JSSCBS20210223);中央高校基本科研业务费专项资金资助项目(30923011003)

作者简介:唐坤(1988—),男,讲师,硕士生导师,E-mail:tangkun@njust.edu.cn。

doi:10.11809/bqzbgcxb2023.08.010

科学编辑 张秀彬(上海交通大学教授、博导)

责任编辑 胡君德