融合视觉图像处理的目标识别技术在移动机器人中的应用

潘 萍

(长沙师范学院, 长沙 410148)

摘要:为了提升移动机器人的运动人体识别效果,研究利用Faster-RCNN-KF对动态人体图像进行实时跟踪,并结合Facenet-MTCNN实现跟踪对象人脸识别。运动人体跟踪检测实验和人脸识别测试结果显示,Faster-RCNN-KF算法跟踪误差仅为0.000 5 m,且跟踪响应速度和误差更正速度较快;Facenet-MTCNN目标识别算法在训练中的分类精度最高能够达到99.15%,分类中的时间延迟为0.01 s,能够有效识别跟踪对象的身份信息。研究结果表明,视觉图像处理技术能够实现人体的有效跟踪检测,并能对不同身份的跟踪对象进行人脸识别,对移动机器人跟踪与识别技术发展具有重要价值。

关键词:人体跟踪;人脸识别;图像处理;Faster-RCNN;卡尔曼滤波;Facenet网络

0 引言

计算机视觉处理技术是基于人体视觉的延展性智能技术,随着计算机智慧科技的进步,其应用愈发广泛,已经逐渐涉及医疗、导航、军事、监控以及家庭服务等多个领域[1]。人体跟踪识别是计算机视觉技术研究中的重点方向,通过图像处理与分析从复杂背景环境中识别出人体位置,以此实现复杂环境中的人员跟踪与监控[2]。将动态问题跟踪与识别技术应用在陪伴、移动探测等类型的机器人中,能够有效提升机器人的服务智能化水平,提升服务效率和性能。随着人们对人体跟踪要求的提升,静态背景下的目标识别算法的简单功能已无法满足日常需求,要求提升移动机器人动态人体跟踪的检测性能,加强机器人对动态人体目标的跟踪与识别。王德鑫等[3]提出了面向6足机器人目标跟踪的核相关滤波自适应跟踪算法,并结合对称匹配和外点过滤实现运动背景补偿。杜玉红等[4]为了解决移动目标动态跟踪过程中的遮挡等问题,提出了一种基于置信度的核相关滤波处理跟踪模型,构建快速判别尺度空间,以提升出跟踪模型对图像尺度变化的适应能力。Wang等[5]在移动机器人对接目标跟踪问题中引入扩展卡尔曼滤波技术,将动态目标跟踪与自身运动控制相结合,以实现无偏移的精准动态目标对接。Xiao等[6]针对废塑料瓶图像智能分类与识别问题,提出了基于连续注意框架的多标签识别技术,以实现对废塑料瓶的特征提取和分类识别。付辉等[7]提出了一种基于增强现实的动态目标跟踪算法,以噪声去除标记为切入点提取图像特征值,并通过集成分类的方式实现防遮挡动态跟踪。陈玲等[8]提出了一种基于图像差分的后继帧图像目标跟踪技术,并结合均值漂移法和迭代运算实现图像分割和目标跟踪。Huang等[9]为了解决视频图像检测中的动态特征提取与鲁棒性问题,提出了一种基于序列到序列预测的交叉参考网络,将视频显著性检测转换为序列预测,利用纯视觉变换器实现多分辨率特征提取,实现跨模态目标检测。从当前的大量移动机器人应用表现中可以得知,由于环境的复杂性,机器人在运动人体跟踪和识别中容易被冗杂信息干扰,存在较大的不确定和变化性,无法提取有效的前景目标信息[10-11]。针对上述问题,研究提出了一种基于Faster-RCNN-KF的动态人体跟踪检测算法,并提出基于Facenet-MTCNN的人脸身份识别算法,以此来实现复杂环境下的动态人体跟组与识别,以期为移动机器人的发展提供思路。研究主要贡献在于在Faster-RCNN的基础上引入了KF算法,实现对受遮挡动态人体对象的实时跟踪,有效提升了机器人在对象遮挡情况下的动态对象跟踪精度,增强了机器人的跟踪环境适应性。其次,研究提出了基于Facenet-MTCNN的人脸识别技术,能对跟踪对象进行身份识别和锁定跟踪,有效避免了跟踪失误等问题的出现,对提升机器人在复杂环境下的对象跟踪性能具有重要价值。

1 动态人体跟踪与人体识别技术设计

1.1 基于Faster-RCNN的动态人体跟踪图像检测

区域卷积神经网络(regions with cnn features,RCNN)是人体跟踪与图像识别领域的常用深度学习方法,RCNN以视觉图像处理为中心,通过区域选择的方式对采集到的图像进行位置划分,并提出不同区域的卷积特征,从而对特征向量进行分类,获取动态人体跟踪图像的前景区域[12-13]。但是传统的RCNN网络在进行视觉图像处理时,将人体图像划分为恒定大小的区域,从而增加了卷积特征提取的工作量,使得人体跟踪的分析精确性和时效性有所降低。而快速区域卷积神经网络(fast-RCNN)在传统RCNN的基础上引入ROI池化思想,调整了传统RCNN网络的输入图像,直接将完整的人体跟踪图像作为卷积神经网络的输入向量[14]。Fast-RCNN使用选择性搜索算法对跟踪图像进行人体区域划分,并对跟踪图像进行灰度化处理,通过对候选区域特征进行映射获得完整的跟踪图像特征图,然后将特征图作为卷积神经网络的输入图像[15]。Faster-RCNN在Fast-RCNN的基础上进一步优化了跟踪图像人体候选区域的选择,引入区域建议网络(region proposal networks,RPN)进行候选区域划分,以提升区域划分效率。Faster-RCNN将跟踪图像的卷积特征图作为RPN网络的输入向量,利用RPN网络获取跟踪图像的运动人体候选区域,并将其重新映射到卷积特征图上。RPN网络通过3×3卷积处理融合特征图中的空间信息,进一步提升特征鲁棒性,并划分特征图串窗口中心点多对应的区域(anchor),并通过计算候选区域的是人与非人概率和区域缩放处理的方式,获得跟踪图像的最终动态人体候选区域特征图。特征图经过Faster-RCNN的池化处理后,进入全连接层实现图像特征分类与边界回归。Faster-RCNN的运行流程如图1所示。

图1 Faster-RCNN运行流程
Fig.1 Faster-RCNN operation process

Faster-RCNN采用最大值采样的方式,将特征图区域中取值最大的点作为整个区域的代表,以降低模型的工作量。并且相较于传统RCNN的支持向量机分类来说,Faster-RCNN直接利用Softmax和Softmax-L1损失函数实现特征向量的分类和边界回归,减少了网络模型的存储量[16]。特征分类损失函数为

Lcls(p,u)=-log pu

(1)

式(1)中:u表示类属;p是维度为k+1的向量,p=(p0,p1,…,pk),其中p0表示特征区域被划分为背景的概率;pu表示特征向量属于种类u的概率。特征向量边界回归损失函数为

(2)

式(2)中:tu表示u种类特征区域的缩放参数,分别表示特征区域与实际区域相比水平和垂直方向上的预测缩放参数;分别表示区域宽度和高度的缩放参数。vu表示u种类的实际区域缩放参数,tu相对应。

Faster-RCNN的总损失函数为

(3)

式(3)中:γ为损失平衡的控制参数。当u为图像前景时,总损失函数为Lcls(p,u)+γlloc(tu,vu),对特征图进行特征分类和边界回归。当u为图像背景时,总损失函数为Lcls(p,u),仅进行特征分类分析。

1.2 基于KF的动态跟踪优化

为了进一步加强对受到遮挡的动态人体的实时跟踪,研究在Faster-RCNN的基础上引入卡尔曼滤波算法(Kalman filtering,KF),删掉了基础Faster-RCNN网络中的全连接层,直接将Faster-RCNN的人体候选位置区域输出结果作为KF算法的预测输入,利用KF算法对动态人体位置进行估计。当检测得到的人体跟踪图像中跟踪对象受到遮挡时,KF算法会依据跟踪对象在不同图像帧中的运动规律对跟踪对象的运动行为轨迹进行预测,以提升复杂运动环境下的人体实时动态跟踪效果。基于改进Faster-RCNN-KF算法的动态人体跟踪模型如图2所示。

图2 基于改进Faster-RCNN-KF算法的动态人体跟踪模型
Fig.2 Dynamic human tracking model based on improved Faster-RCNN-KF algorithm

并且为了提升动态人体跟踪的处理效率,研究简化了Faster-RCNN的边界回归和分类流程,直接将经过RPN网络处理的动态人体候选区域作为KF算法的输入。传统的KF算法利用常值协方差矩阵对观测向量及状态向量之间的相关性进行描述,但是动态人体跟踪情况下常值协方差矩阵难以对动态人体位置进行实时有效跟踪[17]。因此研究对每一帧跟踪图像的常值协方差矩阵进行实时计算,并求取平均值作为时变矩阵。协方差计算函数为

(4)

式(4)中:XY表示相关性求解的观测向量及状态向量;n表示向量中的元素数量;h表示向量元素序号;表示向量均值。XYZ 3个向量的协方差矩阵为

(5)

为了适应动态人体跟踪的尺度变化,设时刻k下的状态向量为Xk=[xk,yk,vak,vbk,ck,dk,gck,gdk],ck表示时刻k下检测框的宽度,dk表示状态X下检测框高度,gckgdk分别表示宽度和高度变化率。则时刻k下的协方差矩阵为

(6)

式(6)中:Q为测量矩阵;QT为转置测量矩阵;R表示观测向量的噪声矩阵;表示由时刻k-1推导所得的时刻k的斜方差预测值。时刻k下的增益矩阵方程为

Kk=PkQTR-1

(7)

时刻k下的状态向量方程为

(8)

式(8)中:表示状态向量最优估计值;表示由时刻k-1 推导而出的时刻k下的状态向量预测值;zk表示时刻k下的观测向量。时刻k-1下的状态向量方程为

(9)

式(9)中,Φ表示状态转移矩阵。则时刻k+1下的斜方差预测值函数为

(10)

式(10)中: E表示状态向量噪声矩阵。则KF算法的离散运动状态方程为

X(k+1)=ΦX(k)+E

(11)

式(11)中: 表示时刻k下的状态向量。KF算法的观测方程为

Z(k)=QX(k)+R

(12)

式(12)中:Z(k)表示时刻k下的观测向量。

1.3 基于MTCNN算法和FaceNet网络的跟踪身份识别

身份识别是动态人体跟踪的基础,人脸识别是身份识别的重要方法[18-20]。人脸识别是通过计算机技术对人脸图像进行分析和比对,从而实现对个体身份的识别。在动态人体跟踪中,人脸识别可以用来确定特定目标的身份,并进行实时追踪[21-22]。在现实应用场景中,捕捉到的动态人体跟踪图像中可能还有非跟踪对象的人体区域,因此基于视觉图像处理的动态人体跟踪需要排除其他人体对象的干扰,对跟踪对象进行身份识别和锁定跟踪[23-24]。为了实现多人环境下的实时动态人体跟踪,研究利用多层任务卷积神经网络(multi-task cascaded convolutional networks,MTCNN)进行人脸图像采集,通过多任务级联模式检测出人脸图像中的面部特征关键点,获取人脸的眼睛、鼻子和嘴角关键点,并结合Facenet网络实现人脸识别和身份确认。基于Facenet网络和MTCNN算法的跟踪身份识别模型如图3所示。

图3 基于Facenet网络和MTCNN算法的跟踪身份识别模型
Fig.3 Tracking identification model based on FaceNet network and MTCNN algorithm

级联多任务学习模式包括P-Net、O-Net和R-Net3个网络模型,MTCNN算法的3个网络模型的结构如图4所示。P-Net为全卷积神经网络,利用3×3×3卷积处理和2×2最大值池化处理,获得5×5卷积特征图,并结合3×3×16和1×1×32卷积处理,最终生成轮廓点特征图。R-Net网络通过3×3×3卷积处理和3×3极大值池化处理获取11×11卷积特征图,并结合3×3×64卷积处理和2×2×48卷积处理实现特征图转换,将人脸图像特征图转化为维度为128的全连接层。并将特征分类问题、检测框位置回归问题和关键点识别问题分别转化为维度为2、4和10的全连接层。O-Net网络与R-Net较为相似,二者共同实现对人脸图像候选位置的筛选和矫正,以最终确定人脸跟踪图像上5个人脸关键点的具体位置。

图4 MTCNN算法网络结构
Fig.4 MTCNN algorithm network structure

Facenet网络由谷歌提出,首先对人脸图像特征进行学习,并通过映射处理的方式,将人脸特征转化为欧式空间中的一个点。然后对特征图像与跟踪图像人脸特征的欧式空间距离进行比较,当欧式空间距离小于阈值时,则判断跟踪图像中人体与特征图像人体为同一个人。Facenet网络首先利用经典卷积神经网络获取人脸图像的卷积特征图,并结合嵌入层进行欧式空间转化,最后利用三重损失函数实现分类。三重损失函数的三元组由基准图像、正样本和负样本组成,基准图像即为跟踪对象的人脸特征图,正样本图像与基准图像为同一人的不同人脸图像,而负样本图像则与基准图像不是同一人。设基准图像、正样本和负样本分别为SWO,则3个图像所学习到的特征分别表示为表示图像,f(x)表示欧式空间转换函数,j表示图像批次。通过网络训练缩小SW的欧式距离,使其小于SO的欧式距离,网络训练函数为

A=

(13)

三重损失函数的目的函数约束式为

(14)

Lmin>0条件满足时,则存在损失。为了降低模型工作量,在每个类属内,以基准图像为标准,将与基准图像最接近的负样本和最不相似的正样本作为三元组样本,使损失函数达到最大值。则对Lmin进行逆向传播,函数表达式为

(15)

2 动态人体跟踪与人脸识别效果分析

2.1 动态人体跟踪实验分析

研究通过动态人体跟踪实验和人脸识别实验验证研究所设计模型的可行性,实验在Windows 10中进行操作,CPU环境为Inter core i7,GPU环境为GeForce GTX 1080,内存为32 GB,显存为8 GB,采用Ubuntu16.04操作系统和Python编译器,采用NVIDIA_CUDA-8.0驱动,并采用Matlab编写算法。为了验证KF算法对模型的优化性,将Faster-RCNN-KF与Faster-RCNN算法、RCNN算法、基于(localized generalization error model,L-GEM)局部泛化误差模型和(radial basis function,RBF)径向基函数神经网络的跟踪算法进行对比,分别利用2种算法进行动态人体跟踪实验,数据样本来源为Daimler行人数据库,样本数据均由车载摄像机获取,分为检测和分类2个数据集。检测数据集的训练样本集有正样本15 560张,负样本6 744张。分类数据库有3个训练集和2个测试集,每个数据集有4 800张行人图片。利用Daimler行人数据集进行重复验证,取重复实验数据平均值为最终实验结果。为了验证算法的基础性能,研究利用RCNN、Faster-RCNN、Faster-RCNN-KF和L-GEM-RBF进行对比实验,采用PR曲线分析算法的准确率和召回率,结果见图5。图5(a)是在规模为5 000张图像的数据集中的测试结果,可以看出,相较于RCNN、Faster-RCNN、L-GEM-RBF算法而言,研究提出的Faster-RCNN-KF的PR曲线更为靠近右上角,并且可以得知,Faster-RCNN-KF在该数据集中的准确率达到了97.87%,召回率达到了90.43%。图5(b)是在规模为10 000张图像的数据集中的测试结果,可以发现,随着数据规模的增加,各个算法的准确率和召回率均表现出一定程度的下降,但是仍然可以看出,研究提出的Faster-RCNN-KF算法的准确率和召回率显著高于Faster-RCNN,且准确率和召回率分别达到了95.38%和90.01%。

图5 不同算法PR曲线差异分析
Fig.5 PR curve difference analysis of different algorithms

为了评价Faster-RCNN-KF的动态人体跟踪性能,以跟踪对象的空间运动距离为检测定位标准,将Faster-RCNN-KF与Faster-RCNN算法和基于Kalman的跟踪算法进行对比,评价跟踪算法的检测误差如图6所示。图6中,研究比较了不同动态人体跟踪检测算法的定位检测能力,可以看出,多个算法之间的检测存在显著差异。从Kalman算法的跟踪曲线中可以看出,基于Kalman的跟踪算法的跟踪表现最差,跟踪曲线与实际值的误差达到了0.012 m。从Faster-RCNN算法的曲线变化中可以得知,随着测试时间的不断增加,Faster-RCNN算法的空间运动距离与实际值之间的误差越来越小,但是其误差值仍然达到了0.003 m。在Faster-RCNN-KF的测试过程中显示,随着测试时间的不断增加,Faster-RCNN-KF的检测曲线与实际值之间的误差逐渐减小,并且在测试时间达到50 s后,误差值降低至0.001 m以内,最终在80 s之后,误差值降低至0.000 5 m。以上结果表明,研究提出的Faster-RCNN动态人体跟踪算法能够在人体识别中表现出较高的精确度,并显著高于传统的RCNN算法。

图6 跟踪算法的检测误差
Fig.6 Detection error of tracking algorithm

最后为了验证Faster-RCNN-KF算法在人体跟踪中的有效性,评价了其与Faster-RCNN算法的跟踪响应时间及误差更正时间差异,结果见图7所示。图7(a)是2种算法的跟踪响应时间测试结果的差异,可以看出,Faster-RCNN算法的跟踪响应时间最大值达到了0.7 s,并且在长时间的测试中,Faster-RCNN算法跟踪响应时间仍然始终保持在0.4 s以上。而研究提出的Faster-RCNN-KF算法的跟踪响应时间最大值仅为0.5 s,并且随着测试时间的增加,算法的跟踪响应时间最终稳定在0.2 s以内。图7(b)是2种算法的误差更正时间差异,可以发现,Faster-RCNN算法的误差更正时间最大值为0.3 s,稳定后的更正时间控制在0.2 s以内。研究提出的Faster-RCNN-KF算法的误差更正时间最大值为0.3 s,但是在稳定后的更正时间降低至0.1 s以内。以上结果表明,研究提出的Faster-RCNN-KF算法能够快速实现动态人体跟踪,并且能够较快处理跟踪中出现的误差,具有较高的有效性。

图7 算法跟踪响应时间及误差更正时间分析
Fig.7 Analysis of algorithm tracking response time and error correction time

2.2 人脸识别实验测试结果

在Faster-RCNN-KF算法的动态人体跟踪基础上,研究提出了Facenet-MTCNN算法,用以实现人脸身份识别。在Facenet-MTCNN算法验证中,研究首先选择AR人脸数据库作为人脸识别数据集,该数据集中共包含2 600张图像,并包含了人脸的多种表情,利用AR人脸数据库来进行算法训练。在训练中分析Facenet-MTCNN算法对人脸身份的分类精度及时延,将Facenet-MTCNN算法与Facenet算法和MTCNN算法进行对比实验,不同算法的人脸身份的分类精度及时延对比结果见图8所示。图8(a)是算法的分类精度训练结果,并比较了Facenet-MTCNN算法与Facenet、MTCNN分类精度的差异。结果中显示,随着迭代次数的不断增加,各个算法的分类精度呈现不断增加趋势,并且研究提出的Facenet-MTCNN算法分类精度最终达到了99.15%,显著高于Facenet、MTCNN 2种算法的分类精度。图8(b)各个算法的分类时延训练结果和差异,可以发现,随着迭代次数的增加,研究提出的Facenet-MTCNN算法分类时延下降最为迅速,并在迭代次数为50次时降低至0.05 s,最终在迭代次数达到100次后稳定在0.01 s,并显著低于其余2种算法。

图8 人脸身份的分类精度及时延分析
Fig.8 Classification accuracy and time delay analysis of face identity

为了进一步证明Facenet-MTCNN算法的优化性,研究将Facenet-MTCNN算法与Facenet算法、MTCNN算法和基于压缩感知的人脸识别算法进行对比研究,存在遮挡时不同算法的人脸识别准确率结果见表1。在表1中,研究分别比较了不同遮挡面积下的各个算法人脸识别准确率,可以看出,随着遮挡面积的增加,各个算法的人脸身份识别准确率均呈现出不断降低趋势。此外可以发现,当遮挡面积小于50%时,Facenet-MTCNN算法与Facenet、MTCNN、压缩感知识别算法的人脸身份识别准确率之间的差异较小,并且各个算法的识别准确率均高于90%。当遮挡面积大于50%时,Facenet、MTCNN算法的识别准确率下降迅速,而Facenet-MTCNN算法的人脸身份识别准确率仍然保持在较高的数值,且当遮挡面积达到70%时,其准确率仍然高达85.37%。以上结果表明,研究提出的Facenet-MTCNN算法具备较高的人脸身份识别准确率,并能够有效处理遮挡图像。

表1 遮挡人脸识别准确率
Table 1 Accuracy of occluded face recognition %

遮挡面积Facenet-MTCNNFacenetMTCNN压缩感知099.3599.0799.1298.031099.0898.9499.0197.242098.4298.1098.1296.493097.4397.1897.2695.364096.8496.2396.3393.295093.0792.0692.0390.016089.4581.4180.3976.057085.3772.3369.5763.298072.1458.9958.1253.72

最后将研究提出的识别算法应用至移动机器人中,构建四轮移动机器人作为算法测试的实验平台,评价移动机器人的人体跟踪能力和人脸身份识别能力,结果见图9。图9 (a)—图9 (b)是单目标的跟踪和识别效果,可以看出,针对单一目标的跟踪,移动机器人的移动轨迹与跟踪目标呈现一致性,即表明移动机器人能够有效实现动态人体跟踪。在单目标的识别中显示,移动机器人对单目标的识别准确率能够长期稳定在95%以上。图9 (c)—图9 (d)是多目标跟踪和识别效果,从多目标跟踪中可以看出,针对多目标的人员轨迹,机器人仍然能够完成人员跟踪,并且从多目标识别中可以得知,移动机器人能够识别测试人员身份,并且能够排除其余非认证的身份。以上结果表明,研究提出的人脸识别算法能够有效应用在移动机器人中。

图9 移动机器人人体跟踪和人脸身份识别测试
Fig.9 Human tracking and face recognition test of mobile robot

3 结论

研究提出了一种基于Faster-RCNN-KF的动态人体跟踪算法,并结合Facenet网络和MTCNN算法实现人体身份识别。实验测试结果显示,研究提出的Faster-RCNN-KF算法的检测训练准确率最高达到了97.87%,同时Faster-RCNN-KF算法跟踪误差最小值仅为0.000 5 m,且其跟踪响应时间和误差更正时间的稳定值在0.2 s和0.1 s以内。在Facenet-MTCNN算法的测试中显示,算法的分类精度达到了99.15%,最低时延值仅为0.01 s。在遮挡人脸识别测试中显示,Facenet-MTCNN算法的识别准确率显著高于其余算法。移动机器人人脸识别实验测试结果显示,移动机器人能够对不同人员进行跟踪检测,并识别出有效的人脸身份。以上结果表明,将视觉处理基础与目标识别算法相结合,能够实现复杂环境中的运动人体跟踪和身份识别。然而研究中仅探讨了基于视觉技术的人脸识别方法,在后续研究可以进一步从瞳孔图像等角度出发进一步提升机器人对跟踪对象的身份识别精度。

参考文献:

[1]VERMA R,RAJESH R,EASWARAN M S.Modular multitarget tracking using long short-term memory networks[J].Journal of Aerospace Information Systems,2021,18(10):751-754.

[2]潘荣敏,袁杰,王宏伟,等.融合深度信息的移动机器人跟踪方法研究[J].计算机工程与应用,2020,56(14):161-168.

PAN Rongmin,YUAN Jie,WANG Hongwei,et al.Research on mobile robot tracking method based on depth information fusion[J].Computer Engineering and Application,2020,56(14):161-168.

[3]王德鑫,常发亮.六足机器人动态目标检测与跟踪系统研究[J].计算机工程与应用,2021,57(12):180-185.

WANG Dexin,CHANG Faliang.Research on dynamic target detection and tracking system of hexapod robot[J].Computer Engineering and Application,2021,57(12):180-185.

[4]杜玉红,刘贤超,刘大维,等.基于高置信度更新KCF的移动机器人行人跟随[J].天津工业大学学报,2020,39(5):67-74.

DU Yuhong,LIU Xianchao,LIU Dawei,et al.Mobile robot pedestrian following based on KCF update with high confidence[J].Journal of Tianjin University of Technology,2020,39(5):67-74.

[5]WANG Y,SHAN M,YUE Y,et al.Autonomous target docking of nonholonomic mobile robots using relative pose measurements[J].IEEE Transactions on Industrial Electronics,2020,68(8):7233-7243.

[6]XIAO J,XU J,TIAN C,et al.A serial attention frame for multi-label waste bottle classification[J].Applied Sciences,2022,12(3):1742-1753.

[7]付辉,邵开丽,代文征.增强现实中视觉图像抗遮挡运动目标跟踪算法研究[J].现代电子技术,2021,44(1):69-73.

FU Hui,SHAO Kaili,DAI Wenzheng.Research on anti-occlusion moving target tracking algorithm of visual image in augmented reality[J].Modern Electronic Technology,2021,44(1):69-73.

[8]陈玲,李洁.基于视觉传达的后继帧视频图像目标跟踪仿真[J].计算机仿真,2020,37(4):347-351.

CHEN Ling,LI Jie.Target tracking simulation of subsequent frame video image based on visual communication[J].Computer simulation,2020,37 (4):347-351.

[9]HUANG K,TIAN C,SU J,et al.Transformer-based cross reference network for video salient object detection[J].Pattern Recognition Letters,2022,160(C):122-127.

[10]HU J,NIU H,CARRASCO J,et al.Voronoi-based multi-robot autonomous exploration in unknown environments via deep reinforcement learning[J].IEEE Transactions on Vehicular Technology,2020,69(12):14413-14423.

[11]RAFIQUE A A,JALAL A,KIM K.Automated sustainable multi-object segmentation and recognition via modified sampling consensus and kernel sliding perceptron[J].Symmetry,2020,12(11):1928-1952.

[12]LI Y,LOU J,TAN X,et al.Adaptive Kernel learning Kalman filtering with application to model-free maneuvering target tracking[J].IEEE Access,2022,10:78088-78101.

[13]陈宏鑫,张北,王春香,等.基于自适应随动机构的机器人目标跟随[J].浙江大学学报:工学版,2022,56(6):1071-1078.

CHEN Hongxin,ZHANG Bei,WANG Chunxiang,et al.Robot target tracking based on adaptive follow-up mechanism[J].Journal of Zhejiang University:Engineering Edition,2022,56(6):1071-1078.

[14]HOSSAIN S,LEE D.Deep learning-based real-time multiple-object detection and tracking from aerial imagery via a flying robot with GPU-based embedded devices[J].Sensors,2019,19(15):3371-3394.

[15]BISWAS K,KAR I,FERON E.A priority-driven optimal guidance approach to moving target tracking for safe navigation in a narrow space[J].International Journal of Systems Science,2022,53(1):138-153.

[16]王嘉欣,雷志春.一种基于特征融合的卷积神经网络人脸识别算法[J].激光与光电子学进展,2020,57(10):331-337.

WANG Jiaxin,LEI Zhichun.A convolutional neural network face recognition algorithm based on feature fusion[J].Progress in Laser and Optoelectronics,2020,57(10):331-337.

[17]GE Y,LIU H,DU J,et al.Masked face recognition with convolutional visual self-attention network[J].Neurocomputing,2023,518:496-506.

[18]范淇元,覃羡烘,朱培杰.基于EmguCV的智能服务机器人人脸识别系统设计[J].应用科技,2019,46(3):58-63.

FAN Qiyuan,QIN Xianyao,ZHU Peijie.Design of intelligent service robot face recognition system based on EmguCV[J].Applied Science and Technology,2019,46 (3):58-63.

[19]李佺振,王强,曾勇,等.基于人脸识别与光流追踪的移动机器人视觉导航方法[J].自动化与仪表,2020,35(1):23-27,65.

LI Quanzhen,WANG Qiang,ZENG Yong,et al.Visual navigation method for mobile robot based on face recognition and optical flow tracking[J].Automation and Instrumentation,2020,35 (1):23-27,65.

[20]胡亚洲,周亚丽,张奇志.基于深度学习的人脸识别算法研究[J].计算机应用研究,2020,37(5):1432-1436.

HU Yazhou,ZHOU Yali,ZHANG Qizhi.Research on face recognition algorithm based on deep learning[J].Computer Application Research,2020,37 (5):1432-1436.

[21]CHO M A,KIM T,KIM I J,et al.Relational deep feature learning for heterogeneous face recognition[J].IEEE Transactions on Information Forensics and Security,2020,16:376-388.

[22]卢超超,彭炜.基于无线传感人脸识别的空间弱小人体目标跟踪方法[J].传感技术学报,2022,35(3):405-411.

LU Chaochao,PENG Wei.A method for tracking small and weak human targets in space based on wireless sensor face recognition[J].Journal of Sensing Technology,2022,35(3):405-411.

[23]黄帅凤,汤丽娟,梁龙兵.一种改进的LeNet-5嵌入式人脸识别方法[J].计算技术与自动化,2021,40(4):91-96.

HUANG Shuaifeng,TANG Lijuan,LIANG Longbing.An improved LeNet-5 embedded face recognition method[J].Computing Technology and Automation,2021,40(4):91-96.

[24]HORNG G J,LIU M X,CHEN C C.The smart image recognition mechanism for crop harvesting system in intelligent agriculture[J].IEEE Sensors Journal,2019,20(5):2766-2781.

Application of target recognition technology based on visual image processing in mobile robot

PAN Ping

(Changsha Normal University, Changsha 410148, China)

Abstract:In order to improve the recognition performance of moving human bodies in mobile robots, the study utilizes Faster RCNN KF for real-time tracking of dynamic human body images, and combines Facenet MTCNN to achieve facial recognition of tracked objects. The results of human motion tracking and detection experiments and facial recognition tests show that the tracking error of the Faster RCNN KF algorithm proposed in the study is only 0.000 5 m, and the tracking response speed and error correction speed are fast. At the same time, the Facenet MTCNN target recognition algorithm proposed in the study has a classification accuracy of up to 99.15% in training, and a time delay of 0.01 seconds in classification, which can effectively identify the identity information of the tracked object. The research results indicate that visual image processing technology can achieve effective tracking and detection of the human body, and can recognize faces of tracked objects with different identities, which is of great value for the development of mobile robot tracking and recognition technology.

Key words:human tracking; face recognition; image processing; Faster-RCNN; Kalman filter; Facenet network

本文引用格式:潘萍.融合视觉图像处理的目标识别技术在移动机器人中的应用[J].兵器装备工程学报,2024,45(3):314-322.

Citation format:PAN Ping.Application of target recognition technology based on visual image processing in mobile robot[J].Journal of Ordnance Equipment Engineering,2024,45(3):314-322.

中图分类号:TP242.6

文献标识码:A

文章编号:2096-2304(2024)03-0314-09

收稿日期:2023-04-12;

修回日期:2023-06-23

基金项目:湖南省自然科学基金项目(2015JJ6007)

作者简介:潘萍(1982—),女,硕士,副教授,E-mail:changpan122@163.com。

doi: 10.11809/bqzbgcxb2024.03.041

科学编辑 田春伟 博士(西北工业大学 副教授)

责任编辑 唐定国