毫米波雷达手势识别综述

董尧尧1,曲 卫2,邱 磊2

(1.航天工程大学 研究生院, 北京 101416; 2.航天工程大学 电子与光学工程系,北京 101416)

摘要:围绕雷达手势识别技术中的动态手势信息感知、手势回波信号预处理,手势特征提取及分类算法等关键技术,对国内外公开发表的相关文献进行了归纳总结,对现有方法的性能进行了分析和评价;梳理了该研究近年来基于毫米波雷达技术的手势识别研究发展方向上亟待解决的问题,并对未来的研究方向进行了展望。结果表明,雷达手势识别技术已经在人机交互应用中取得了长足进步。随着相关研究的深入,毫米波雷达技术的手势识别系统将向着智能化方向发展。

关键词:手势识别;毫米波雷达;预处理;特征提取;分类识别;机器学习

1 引言

作为人际交流的一种重要方式,手势这种肢体语言可实现丰富的信息交换。根据手势行为可将手势分为静态手势和动态手势2种。顾名思义,静态手势是指在某个时间点上手的稳定形状,而动态手势则包含一系列的手部动作。动态手势的研究是目前学界研究的热点。作为较为新型的人机交互方式,手势识别技术的强大性和有效性都是毋庸置疑的[1]。使用者借助该交互技术,摆脱了冗余器件的操作,使双手得到极大解放,自然有效地利用动态手势实现对目标设备的控制[2],进而完成人与计算机等电子设备之间的信息传递。

早期手势识别技术是利用可穿戴电子设备传感器,通过检测感知人手与各个关节的空间位置信息,从而实现手势识别的目的。可穿戴电子设备传感器的典型代表如数据手套,利用加速度计和陀螺仪[3]等传感器,能够得到操作者丰富的手部运动信息。此外基于光学标记法[4]的穿戴设备也具有良好的识别性能和稳定性。但以上2种手势识别技术操作繁琐且设备价格昂贵,在日常生活中未能得到广泛应用。之后基于视觉图像的手势识别技术逐渐发展起来,与可穿戴式手势识别系统相比,视觉手势识别技术摒弃了额外的穿戴系统,使用户以徒手的方式便可进行人机交互[5-6]。视觉手势识别技术是利用计算机图像采集设备(如摄像头等)、计算机视觉技术,对目标用户的手势动作进行感知、追踪与识别,进而达到理解用户意图的目的[7]。虽然高分辨率相机使视觉手势识别技术的识别率高达90% 以上[8-10],但该技术极大程度上受限于光线条件,同时也存在隐私泄露的安全问题。

随着雷达技术的快速发展和广泛应用,雷达手势识别已成为人机交互技术领域的一个重要分支。与传统光学传感器相比,雷达传感器在雨、雪、雾霾等恶劣天气情况或者黑暗条件下均能够正常工作,具有全天候、全天时的优势;其次雷达传感器可固定到电子设备内部,从而可提高装置的抗干扰性和灵活性;另外,雷达信号在隐私安全方面也有着较大优势,可以有效的保护用户隐私信息。

目前基于雷达技术的手势识别所采用的雷达传感器多为毫米波雷达,该频段的雷达系统易于小型化,同时毫米波雷达拥有较宽的多普勒带宽,对于微动目标的感知能力更强,可以较为准确识别手部的微小动作。对于毫米波手势识别的研究,加利福尼亚州立大学的Youngwook Kim等人利用24 GHz的雷达传感器对3种目标手势进行感知识别,通过深度学习网络模型达到99%的平均识别率[11];英国伦敦大学的Matthew Ritchie利用24 GHz的Ancortek雷达系统对6人4种不同的手势进行高达3 000次的重复检测[12],同样为24 GHz频段,NVIDIA研究中心的Pavlo Molchanov等人利用短程调频连续波(frequency modulated continuous wave,FMCW)雷达系统,对驾驶员动态手势进行识别研究[13]。Ismail Nasr等研究者采用发射频率为60 GHz、4天线(2发4收)的FMCW雷达传感器,配合SiGe技术实现对目标手势的检测[14]。Xuhao Zhang 采用工作频率为77GHz的调频连续波雷达传感器,为驾驶员手势识别辅助系统提供动态手势检测[15]。韩国KAIST电气工程学院的ChoiJae-Woo等人利用Google公司开发的60GHz频率的FMCW雷达,对10种手势信息进行感知,利用长短期记忆网络(long short-term memory,LSTM)模型,识别率高达99.10%[16]。电子科技大学的李楚杨和王亚龙均采用一发四收的毫米波雷达构建了样本量为3 200手势样本库[17-18],为后期的数据处理提供了大量样本。此外,Google公司的Soli项目中,公开展示了采用60 GHz频段的FMCW毫米波雷达芯片实现近距离微动手势识别[19]

目前众多的雷达手势识别文献,尚无专门针对雷达手势识别技术的综述,本文主要对近年来基于雷达的动态手势识别研究与涉及的相关技术进行梳理与归纳,并探讨已有方法存在的不足及下一步的研究方向。

2 雷达手势识别流程

通常,毫米波雷达手势识别可分为3大步骤:首先,利用毫米雷达传感器检测并采集用户的动态手势信息;然后,对雷达接收的回波信号进行预处理操作,最大限度的对动态手势特征进行提取,同时滤除干扰杂波;最后,根据手势特征预处理的结果,选择恰当的算法对手势进行分类和识别。基于雷达技术的手势识别系统基本流程如图1所示。本文以雷达手势识别主要步骤为脉络来阐述手势识别中所涉及的关键技术。

图1 雷达手势识别系统基本流程框图

Fig.1 Block diagram of radar gesture recognition process

3 手势信号预处理

对于所接收的雷达手势回波,采取预处理的主要目的是为了提取有效的手势信息,同时将采集的时域一维信号转换为二维信号。雷达回波信号中除动态手势信息外,还夹杂着背景噪声等干扰信息,针对该情况,利用相关信号处理算法进行数据预处理,去除干扰信息的同时还最大限度的对动态手势特征进行提取。常见的手势信号预处理方式为经典的傅里叶变换及其衍生算法,余晨晖采用短时傅里叶变换( short-time fourier transform,STFT) 算法,通过对雷达信号的分析提取时频图的包络特征,包括时频包络曲线的最大值、平均值和方差,完成了对手势回波信号的时频特征分类[21-22]。Zhang等人利用STFT对雷达回波信号进行时频分析,随后将多普勒频偏的正负比率和手势动作时长人工构造为特征[23]。Kim等人通过STFT分析得到手势信号的微多普勒谱,继而将微多普勒谱图像作为输入,利用卷积神经网络对所测量的十种手势进行识别研究[24]

尽管短时傅里叶变换局部化的思想在手势信息预处理方面取得一定成就,但滑动窗函数的固定不变及较差的自适应性缺点仍然存在,鉴于此情况,Wang W等人结合小波变换的方式,提出一种基于信道状态信息(channel state information,CSI )的人体运动识别模型,通过分析多径效应对人体运动的影响以获得手势特征参数[25]。卡耐基梅隆大学的 Khaled团队使用接收信号的强度指示信息(received signal strength indication,RSSI),通过小波变换将手势信号的上升沿、下降沿、脉冲等特征去识别动态手势[26],使得手势识别系统具有较好的自适应性。

此外,针对雷达信号的处理方法在手势数据预处理过程中也得到了极大应用。Pavlo等人利用短程FMCW雷达系统所接收的数据,结合距离-多普勒图估计方法,以及深度传感器的校准系统完成对车载手势识别[13]。Dekker等人将手势一维信号处理为多普勒-时间谱,并分别将该谱的实部和虚部作为卷积神经网络的输入,进而完成手势的分类识别[27]。王俊等人通过对手势目标的 LFMCW 雷达回波依次进行去斜、快时间域快速傅里叶变换(fast fourier transform,FFT)和相干积累处理,获取其在距离多普勒(range-doppler,RD)域的二维分布,作为后续深度学习网络的输入特征向量,实现对手势动作的自动特征提取与识别[28]。王勇等人通过对手势回波的时频分析,估计出目标手势的距离、多普勒和角度参数信息,将同一动态手势的3种数据同步并构建出手势动作的多维参数数据集[29];同年,该团队又提出了一种基于 FMCW 雷达信号的多参数图像的双流融合神经网络(two-stream fusion neural network,TS-FNN)手势识别方法,该方法利用FFT估计出手势的距离、速度、角度信息,保留了手势横向和纵向运动参数的时序特征[30]。Wang等人使用FMCW雷达采集手势信号,通过雷达信号处理求取距离和速度,将对应的信号幅值映射为参数图[21],但该方法具有一定的局限性:即对于目标手势的径向变化识别效果较好,但对横向变化角度特征变化不够敏感,因而手势识别应用范围受到限制。

4 手势特征提取与分类识别算法

对于预处理生成的手势数据,若包含过多的冗余信息会大幅度增加分类模型的训练难度,同时也会降低识别速度和准确率。特征提取的目的便是滤除冗余信息,得到能够区分不同手势的特征信息。分类识别算法是雷达手势识别研究中最重要的一步,现有的机器学习技术不仅在数据处理、目标分类、模型预测等方面有突出表现,同时在手势识别领域也拥有良好的发展前景。

目前较为主流的识别算法主要有基于模板匹配的雷达手势识别、基于统计学习的雷达手势识别以及基于深度学习的雷达手势识别。图2展示了近年来应用于毫米波雷达手势识别算法框图。

图2 基于毫米波雷达手势识别算法框图

Fig.2 Block diagram of gesture recognition algorithm
based on millimeter wave radar

4.1 基于模板匹配的雷达手势识别算法

动态时间归整(dynamic time warping,DTW)是目前雷达手势识别中最普遍的模板匹配算法。DTW算法是一种常用在语音匹配当中的算法,目前在图像处理里面也有一定的应用。该算法采用动态编程的思想,利用归整函数计算测试数据和参考模板的时间相似性,从而获得两个时间相关序列的相似度[31]。利用DTW对雷达数据进行处理时,首先需要构建出参考模板集合,通过比较测试数据和参考模板间的相似度,计算获得差别性最小的手势数据作为输出结果。Zhou Zhi等人采用DTW方法对多模态信号进行分类。以太赫兹雷达采集到的10种手势信号为例,验证了分析和识别系统的有效性,实验结果表明,识别精度达到91%以上[32]。Plouffe等人利用DTW算法对目标手势进行识别,识别率达到96.25%[33]。但是,DTW算法也存在计算复杂度高、鲁棒性差的局限性,尤其在手势动作复杂、训练样本量较大时,识别率会大幅度下降。因此,对于原始DTW算法的改进研究应运而生。Ruan X等人在算法执行时增加全局路径约束以及过程匹配持续更新机制,同时通过失真阈值算法动态调节待测手势与参考模板匹配的过程,与传统的DTW算法相比,改进的DTW算法处理速度提升了15%[34]

4.2 基于统计学习的雷达手势识别算法

统计机器学习算法是从数据中抽象出概率统计模型,利用模型对新的数据进行分析和预测的理论。基于统计学习的雷达手势识别算法中应用较为广泛的有支持向量机(support vector machine, SVM)、 K近邻法(K-nearest neighbor,KNN)、隐马尔可夫模型(hidden markov model,HMM)等方法。

SVM是一种有监督的学习模型,该模型主要是是通过核函数将输入样本特征向量映射到高维特征空间,在高维空间进行线性分类,找到最优分离超平面,使训练样本最大可分。Zhang等人从手势信号的时频谱中提取2种微多普勒特征,利用SVM算法对4种动态手势进行分类,通过实验验证得出分类精度高于88.56%[23]。刘钊等人利用分段 FFT 算法,将雷达手势回波转化为表征手势特征的二维图像,联合SVM对二维手势特征量进行训练与分类,其准确率达90.25%[35]

KNN是在手势训练数据集的基础上,计算与手势测试实例距离最近的k个训练数据,k中数量最多的那一类则为预测结果对新输入的实例[36]。徐贤等人应用传统k近邻算法,同时结合电容式传感器对动态手势进行识别,相比传统阈值识别方式,识别成功率得到有效提高[37]。若出现待识别手势种类过多的情况,则会导致传统的KNN算法训练数据过大,进而影响识别的速度和准确率。陈嘉伟等人利用改进的KNN算法,首先对待识别手势进行特征提取,根据所提取的特征值对相应手势进行编码,使得每个手势都有唯一编码,该方法可以有效减少训练组的数据量,从而将手势识别的准确率提升了5%[38]

隐马尔可夫模型是一种关于时序的统计分析模型,它可以用来描述含有隐藏未知参数的马尔可夫过程。在利用HMM进行雷达手势识别时,首先需要单独为每个手势构建HMM模型,通过计算每个HMM模型获得待测手势的概率,其中概率最大的HMM模型所对应的手势便作为模型输出结果。TI公司利用自主研制的77 GHz频段毫米波雷达芯片,结合HMM模型对6种不同手势进行识别,其准确率达到83.3%[39],但识别过程中采用速度能量分布特征,无法满足手势类别较多、特征近似的手势识别。利用从CSI中提取的特征,Wei Wang等人提出使用隐马尔可夫模型来建立包含多个运动状态的CSI活动模型,从而完成对动态手势的识别[40]。Wang X首先利用AdaBoost迭代算法检测用户手势,结合分区采样进行手势跟踪,最后采用HMM完成手势识别[41]。尽管该方法可以有效提高识别精度,但在算法执行过程中计算量过大,极大限制了识别速度。

4.3 基于深度学习的雷达手势识别算法

深度学习作为机器学习的一个重要领域,在语音和图像识别方面取得的效果远超先前相关技术,尤其在图像特征提取方面可以有效克服人工提取的局限性[42]。深度学习在雷达手势识别中所涉及到的算法主要有卷积神经网络(convolutional neural networks,CNN),循环神经网络(recurrent neural network,RNN)。

卷积神经网络(CNN)作为深度学习的代表算法之一,通常由卷积层、池化层和全连接层构成。由于CNN在行为认知和姿态估计等方面体现出较大优势,因此在雷达手势识别技术领域也正迅速兴起。王勇等人通过预处理获得的手势距离参数、多普勒参数和角度参数特征量,利用CNN对6种不同手势进行识别分类,其准确率为95.3%[29],不过该方案中距离参数和角度参数对于手势的微动变化表征不明显,同时在与多普勒参数特征融合之后,手势的识别分类准确率降低,故该方法局限于运动幅度较大时的手势识别。Dekker B等研究人员将多普勒-时间谱的实部和虚部作为两个通道的输入数据,同样采用深度神经网络对图像进行特征提取,并用Softmax分类器完成手势分类,测试集上都达到了99%的分类准确率[27]。Sruthy等人利用连续波多普勒雷达的两个接收天线,产生差拍信号的同相和正交分量,将这两个差拍信号映射到CNN模型中,使得手势分类准确率超过95%[43]。Pavlo利用光学、深度和雷达传感器数据融合,通过异源图像配准及三维卷积神经网络进行典型驾驶手势动作识别[44]

循环神经网络(recurrent neural network,RNN)是一类具有短期记忆能力的神经网络,将卷积神经网络用于雷达手势识别是目前国内外研究者的最新课题。Infineon公司人员利用所构造的距离多普勒特征图像,通过对长循环全卷积模型神经网络进行训练,实验结果对于5种小幅度运动的手势识别效果较好,准确率达到94.34%[20];Soli团队通过手势的距离多普勒特征,提出一种端到端的循环神经网络方法,进行动态手势识别的实验结果表明:当识别目标为4类微动手势时,识别率为92.1%;当识别目标为11种小运动幅度手势时,识别率仅为87%[21]。但以上2种基于RNN的识别系统均采用原始的距离多普勒特征,对于多种类的微动手势识别问题效果不明显。Choi J 利用数据处理产生的距离多普勒序列,作为长短期记忆网络(long short-term memory,LSTM)的输入,使得手势识别系统成功地识别出10个手势,分类准确率达99.10%。同时对于新参与者的手势,识别准确率为98.48%[16]。但该方法在小数据集的性能最佳,对于训练样本数量较大时,计算效率会大幅度降低。

从现有的深度学习雷达手势识别算法来看,常用的算法都有其自身的优缺点,为了便于比较和选择,表1对不同的手势识别算法的优劣进行了归纳。

表1 常见雷达手势识别算法的优劣

Table 1 Comparison of common radar gesture
recognition algorithms

常用算法优点不足DTW训练样本需求少,识别精度高计算复杂度高,稳定性较差SVM可有效解决小样本、高维度、非线性问题,具有较强的泛化能力训练样本数量较大时,效率较低KNN算法简单、易于理解需占用大量空间储存,时间复杂度较高HMM能有效地捕获时序中的相关性,识别性能较好训练初始过程比较复杂,训练时间长,计算量较大CNN摒弃人为提取特征,权值共享训练数据需求量大且计算成本高RNN可以用于描述时间上连续状态的输出,有记忆功能,权重共享并行计算能力差,计算量较大

5 存在的问题

基于雷达的手势识别系统克服了传统数据手套及视觉手势识别的局限性,具有诸多的优势;同时该技术也由理论探索阶段向实践商品阶段过渡,与智能汽车、智慧家庭、医疗辅助等领域也有着密切的联系,雷达技术手势识别向智能化发展是必然趋势。利用雷达技术进行动态手势识别已经取得一定的成果,但是技术层面仍存在一些不足:

1) 复杂场景下的雷达手势识别

与实际的复杂应用环境相比,现有研究的实验场景比较单一,毫米波雷达进行手势探测时无太多的干扰物体,即背景环境较为理想。而实际应用中,由于环境的不确定性,检测的手势信号样本数据往往夹杂各种噪声。因此,未来的研究工作中可以考虑设置较为复杂的实验场景,或者人为的添加干扰信息,确保手势识别系统在较为复杂的应用情景下,能够保持较高的识别速度和准确率。

2) 多雷达传感器的多视角数据融合

现有的成果中,大多数研究者均通过使用单独的雷达传感器进行动态手势信息感知,并取得了一定效果。但某些特定条件下,所获得的手势特征信息不够丰富与准确,因而,通过多个雷达传感器进行多视角多尺度的数据融合,获得更为丰富完整的手势信息,为后续分类识别系统构造高质量的特征向量,从而能够保证手势识别系统拥有更高精度与稳定性,是该领域中一个值得研究的潜在方向。

3) 多用户下的雷达手势识别

同独立用户手势的识别比较,多用户下的雷达手势识别不但要考虑到不同手势特征的提取以及手势模型的构建,还需在同一场景中对不同使用者迅速准确做出响应。故研究同一场景下的多用户手势识别,是该领域未来需要突破的方向。

4) 对训练数据要求较高

雷达手势识别算法对训练样本的质量和数量都有很高的要求,有效的样本数据是提高动态手势识别准确率的前提和基础。在雷达采集手势信号的过程中,存在着数据污染和数据丢失的情况。针对接收数据质量较差问题,提高模型的鲁棒性及保持较高的识别率是要开展的研究方向之一。

6 结论

毫米波雷达手势识别技术的进步为新型人机交互方式开辟了方向,该技术所带来的便利性、自然性与灵活性,彻底让使用者摒弃了外部穿戴电子设备的束缚,极大程度地解放了用户双手。伴随着技术进步,雷达手势识别系统的智能化是未来重要的发展方向。机器学习是人工智能的核心技术,将机器学习与雷达手势识别结合是很好的解决方案。本文可为下一步研究提供参考,对促进雷达技术的手势识别方法的实践和研究具有意义。

参考文献:

[1] CHENG N H,DAI N Z,LIU N Z.Image-to-Class Dynamic Time Warping for 3D hand gesture recognition[C]//IEEE International Conference on Multimedia & Expo.IEEE Computer Society,2013.

[2] NASR-ESFAHANI E,KARIMI N,SOROUSHMEHR S.M.R,et al.Hand Gesture Recognition for Contactless Device Control in Operating Rooms[J].2016.

[3] GUPTA H P,CHUDGAR H S,MUKHERJEE S,et al.A Continuous Hand Gestures Recognition Technique for Human-Machine Interaction Using Accelerometer and Gyroscope Sensors[J].IEEE Sensors Journal,2016,16(16):6425-6432.

[4] MISTRY C,MAES P,LINK C.WUW-Wear ur world-A wearable gestural interface[C]//International Conference Extended Abstracts on Human Factors in Computing Systems.2009.

[5] OHN-BAR E,TRIVEDI M M.Hand Gesture Recognition in Real Time for Automotive Interfaces:A Multimodal Vision-Based Approach and Evaluations[J].IEEE Transactions on Intelligent Transportation Systems,2014,15(6):2368-2377.

[6] REN Z,YUAN J,MENG J,et al.Robust Part-Based Hand Gesture Recognition Using Kinect Sensor[J].IEEE Transactions on Multimedia,2013,15(5):1110-1120.

[7] GRÉGORY ROGEZ,III J S S,RAMANAN D.Understanding Everyday Hands in Action from RGB-D Images[C]//IEEE International Conference on Computer Vision.IEEE,2015.

[8] 何坚,廖俊杰,张丞,等.基于长短时记忆和深度神经网络的视觉手势识别技术[J].图学学报,2020,41(3):372-381.

He J,Liao J,Zhang C,et al.Visual gesture recognition technology based on long and short-term memory and deep neural network[J].Journal of Graphics,2020,41(3):372-381.

[9] 沙洁,麻建,牟海军,等.基于视觉的动态手势识别综述[J].计算机科学与应用,2020,10(05):990-1001.

Sha J,Ma J,Mou H J,et al.Overview of dynamic gesture recognition based on vision[J].Computer Science and Applications,2020,10(05):990-1001.

[10] 王莉,马钟,唐雪寒,等.一种面向舱外活动的视觉感知启发的手势识别方法[J].载人航天,2017,23(6):805-810.

Wang L,Ma Z,Tang X,et al.A gesture recognition method inspired by visual perception for extravehicular activities[J].Manned Spaceflight,2017,23(6):805-810.

[11] KIM Y,TOOMAJIAN B.Application of Doppler radar for the recognition of hand gestures using optimized deep convolutional neural networks[C]//2017 11th European Conference on Antennas and Propagation(EUCAP).IEEE,2017.

[12] RITCHIE M,JONES A M.Micro-Doppler Gesture Recognition using Doppler,Time and Range Based Features[C]//2019 IEEE Radar Conference(RadarConf19).IEEE,2019.

[13] MOLCHANOV P,GUPTA S,KIM K,et al.Short-range FMCW monopulse radar for hand-gesture sensing[C]//Radar Conference.IEEE,2015:1491-1496.

[14] NASR,I.,JUNGMAIER,R.,BAHETIA,et al.A Highly Integrated 60 GHz 6-Channel Transceiver With Antenna in Package for Smart Sensing and Short-Range Communications[J].IEEE Journal of Solid-State Circuits,2016,51(9):2066-2076.

[15] ZHANG X,WU Q,ZHAO D.Dynamic Hand Gesture Recognition Using FMCW Radar Sensor for Driving Assistance[C]//2018 10th International Conference on Wireless Communications and Signal Processing(WCSP).IEEE,2018.

[16] CHOI J W,RYU S J,KIM J H.Short-Range Radar based Real-Time Hand Gesture Recognition Using LSTM Encoder[J].IEEE Access,2019:1-1.

[17] 李楚杨.基于毫米波雷达的手势识别算法研究[D].成都:电子科技大学,2020.

Li C Y.Research on gesture recognition algorithm based on millimeter wave radar[D].Chengdu:University of Electronic Science and Technology of China,2020.

[18] 王亚龙.基于毫米波雷达的手势识别研究[D].成都:电子科技大学,2020.

Wang Y L.Research on gesture recognition based on millimeter wave radar[D].Chengdu:University of Electronic Science and Technology of China,2020.

[19] LIEN J,GILLIAN N,KARAGOZLER M E,et al.Soli:Ubiquitous Gesture Sensing with Millimeter Wave Radar[J].ACM Transactions on Graphics,2016,35(4):1-19.

[20] HAZRA S,SANTRA A.Robust Gesture Recognition Using Millimetric-Wave Radar System[J].IEEE Sensors Letters,2018,2(4):1-4.

[21] WANG SW,SONG J.Interacting with Soli:Exploring Fine-Grained Dynamic Gesture Recognition in the Radio-Frequency Spectrum[A].Proceedings of the 29thAnnual Symposium on User Interface Software and Technology[C].Tokyo:ACM,2016:851-860.

[22] 余晨晖.基于UWB雷达的手势识别技术算法研究[D].南京:南京理工大学,2017.

Yu C H.Research on Gesture Recognition Technology Algorithm Based on UWB Radar[D].Nanjing:Nanjing University of Science and Technology,2017.

[23] ZHANG S,RITCHIE M A,FIORANELLI F,et al.Dynamic Hand Gesture Classification Based on Radar Micro-Doppler Signatures[C]//2016 CIE International Conference on Radar.IEEE,2016.

[24] KIM Y,TOOMAJIAN B.Hand Gesture Recognition Using Micro-Doppler Signatures With Convolutional Neural Network[J].IEEE Access,2016,4:7125-7130.

[25] WANG W,LIU A X,SHAHZAD M,et al.Understanding and Modeling of WiFi Signal Based Human Activity Recognition[C]//International Conference on Mobile Computing & Networking.ACM,2015.

[26] ABDELNASSER H,HARRAS K A,YOUSSEF M.A Ubiquitous WiFi-based Fine-Grained Gesture Recognition System[J].IEEE Transactions on Mobile Computing,2019:1-1.

[27] DEKKER B,JACOBS S,KOSSEN A S,et al.Gesture recognition with a low power FMCW radar and a deep convolutional neural network[C]//2017 European Radar Conference(EURAD).2017.

[28] 王俊,郑彤,雷鹏,等.基于卷积神经网络的手势动作雷达识别方法[J].北京航空航天大学学报,2018,44(06):1117-1123.

Wang J,Zheng T,Lei P,et al.Gesture action radar recognition method based on convolutional neural network[J].Journal of Beijing University of Aeronautics and Astronautics,2018,44(006):1117-1123.

[29] 王勇,吴金君,田增山,等.基于FMCW雷达的多维参数手势识别算法[J].电子与信息学报,2019,41(4):822-829.

Wang Y,Wu J J,Tian Z S,et al.Multi-parameter gesture recognition algorithm based on FMCW radar[J].Journal of Electronics and Information,2019,41(4):822-829.

[30] 王勇,王沙沙,田增山,等.基于FMCW雷达的双流融合神经网络手势识别方法[J].电子学报,2019,47(7):1408-1415.

Wang Y,Wang S,Tian Z S,et al.Two-stream fusion neural network gesture recognition method based on FMCW radar[J].Chinese Journal of Electronics,2019,47(7):1408-1415.

[31] HANGCC,ZHANGR,CHEN ZP.Dynamic Gesture Recognition Method Based on Improved DTW Algorithm[C]//International Conference on Industrial Informatics-computing Technology.IEEE Computer Society,2017.

[32] ZHOU Z,CAOZJ,PIYM.Dynamic Gesture Recognition with a Terahertz Radar Based on Range Profile Sequences and Doppler Signatures[J].Sensors,2018,18(2):10.

[33] PLOUFFE G,CRETU A M.Static and Dynamic Hand Gesture Recognition in Depth Data Using Dynamic Time Warping[J].IEEE Transactions on Instrumentation and Measurement,2016,65(2):305-316.

[34] RUAN X,TIAN C.Dynamic gesture recognition based on improved DTW algorithm[C]//IEEE International Conference on Mechatronics & Automation.IEEE,2015.

[35] Liu Z,Cui H R,Wu J L,et al.Gesture signal recognition algorithm based on continuous wave Doppler radar[J].Information Technology and Network Security,2019,38(03):30-34.

[36] COVER T M,HART P E.Nearest Neighbor Pattern Classification[J].IEEE Transactions on Information Theory,1967,13(1):21-27.

[37] Xu X,Zhao J X,Zhang H K.Design and production of gesture recognition device based on capacitive sensor[J].Information and Computer(Theoretical Edition),2018,417(23):134-136.

[38] Chen J W,Han J,Hao R L,et al.Research on dynamic gesture recognition based on improved KNN algorithm[J].Journal of North University of China:Natural Science Edition,2020(3):232-237.

[39] MALYSA G,WANG D,NETSCH L,et al.Hidden Markov model-based gesture recognition with FMCW radar[C]//Signal & Information Processing.IEEE,2017.

[40] WANG W,LIU A X,SHAHZAD M,et al.Device-Free Human Activity Recognition Using Commercial WiFi Devices[J].IEEE Journal on Selected Areas in Communications,2017:1-1.

[41] WANG X,XIA M,CAI H,et al.Hidden-Markov-Models-Based Dynamic Hand Gesture Recognition[J].Mathematical Problems in Engineering,2012(5):137-149.

[42] 张荣,李伟平,莫同.深度学习研究综述[J].信息与控制,2018,47(04):385-397,410.

Zhang R,Li W P,Mo T.A review of deep learning research[J].Information and Control,2018,47(04):385-397,410.

[43] SKARIA S,AL-HOURANI A,LECH M,et al.Hand-Gesture Recognition Using Two-Antenna Doppler Radar with Deep Convolutional Neural Networks[J].IEEE Sensors Journal,2019,PP(8):3041-3048.

[44] PAVLO MOLCHANOV,SHALINI GUPTA,KIHWAN KIM.Multi-sensor system for driver’s hand-gesture recognition[C]//IEEE International Conference & Workshops on Automatic Face & Gesture Recognition.IEEE,2015.

Overview of Research on Millimeter Wave Radar Gesture Recognition

DONG Yaoyao1, QU Wei2, QIU Lei2

(1.Graduate School, Space Engineering University, Beijing 101416, China;2.Department of Electronic and Optical Engineering, Space Engineering University, Beijing 101416, China)

Abstract: Aiming at the key technologies such as dynamic gesture information perception, gesture echo signal preprocessing, gesture feature extraction and classification algorithms in radar gesture recognition technology, the relevant literature published at home and abroad was summarized, and the performance of existing methods was summarized. We sorted out the urgent problems to be solved in the research direction and looked forward to the future research direction. The results show that radar gesture recognition technology has made great progress in human-computer interaction applications. With the deepening of related research, the gesture recognition system of millimeter-wave radar technology will develop towards intelligence.

Key words: gesture recognition; millimeter wave radar; pre-processing; feature extraction; classification and recognition; machine learning

收稿日期:2020-10-12;

修回日期:2021-07-01

基金项目:国家自然科学基金项目(61903380)

作者简介:董尧尧(1994-),男,硕士研究生,E-mail:jndy940123@163.com。

通信作者:曲卫(1979—),男,博士,副教授,E-mail:quweistar@163.com。

doi: 10.11809/bqzbgcxb2021.08.019

本文引用格式:董尧尧,曲卫,邱磊.毫米波雷达手势识别综述[J].兵器装备工程学报,2021,42(08):119-125.

Citation format:DONG Yaoyao, QU Wei, QIU Lei.Overview of Research on Millimeter Wave Radar Gesture Recognition[J].Journal of Ordnance Equipment Engineering,2021,42(08):119-125.

中图分类号:TP391

文献标识码:A

文章编号:2096-2304(2021)08-0119-07

科学编辑 葛俊祥 博士(南京信息工程大学教授)

责任编辑 周江川