0 引言
多机器人系统通过机器人之间的能力互补和行动协同,能够完成单个机器人难以完成的任务,进而实现整个系统的效能提升[1],并且多机器人系统具有单个机器人造价低廉、冗余度好、鲁棒性强等优点,这些优点使得多机器人系统在各个领域得到了广泛的应用。在环境勘探领域,多机器人系统进行分布式部署来进行大范围的环境数据采集[2];在边境监控领域,多机器人系统通过网络化的监控系统对重要设施和区域进行全天候的监视和巡逻[3-4];此外,抢险救灾领域已经广泛开展了各种城市搜救(urban search and rescue,USAR)行动[5],在这些行动中,多机器人系统已被证明能够显著提高灾后搜索与救援的效率[6]。
由于上述场景通常是高度动态和非结构化的,故操作员能够以自然、高效和直观的方式控制机器人系统变得非常重要[7]。遥操作是一种被广泛采用的方法,例如大多数USAR机器人都是通过远程操作控制[5,8]。同时相比于自主解决方案[9],自主监控机器人更为常见,操作员可以在机器人自主运行和执行任务时对其进行远程访问和监控。但与遥操作解决方案相比,在目标环境中配备专家操作员已被证实可以显著提高响应时间和效率[10]。事实上,与机器人共享环境为操作员提供了迄今为止远程操作技术无法匹敌的态势感知水平。因此与其他考虑远程操作的解决方案不同,本文中允许操作员成为团队的一部分,与机器人伙伴在同一环境中移动。然而,这种模式只有在操作员能够以自然直观的输入方式控制机器人并接受机器人队友的有效反馈时才会奏效。
在实际应用场景中,操作员往往需要进行视觉-运动集成的任务且双手经常会被占用,例如勘探专家手持勘探测量设备进行实地测量和采集数据、士兵时刻保持双手不离枪并无声行动、消防员手持消防水管进行灭火行动等。因此,传统手动参与的输入方式如触摸屏[11]、手控器[12]、手势识别[13]等无法满足需求。此外,考虑实际应用场景可能存在嘈杂环境以及士兵需要无声运动的特殊需求,语音输入[14]并不是一个理想的选择。在这种情况下,脑机接口与基于混合现实(mixed reality,MR)头盔的眼动接口可以提供一种无需手动输入的隐式输入通道[15-16],以实现自然、高效的指令输入。人眼跳动的最高速度为400～600 (°)/s,相比人的手动操作具有更快的反应速度。此外,操作员通过基于MR头盔的眼动接口只需投入少量精力来管理凝视信号,并且凝视本身就包含位置信息,可以用来定位图像中的目标对象。与脑机接口相比,眼动追踪具有设置快速、易于校准、无需与操作员接触、鲁棒性高等明显优势,从而使操作员的行为更自然,使用体验更佳。
除了输入方式的研究外,有效的反馈对于实现高效的人机交互也至关重要。反馈信息可以向操作员传达关键信息,帮助操作员理解和掌握机器人系统的状态以及执行任务的情况。最简单的方式是视觉反馈,传统的无人驾驶汽车以及机器人的交互界面上通常会以视觉反馈的形式为操作员提供地理空间信息以及警告信息等[17]。然而,在实际应用场景中,视觉反馈的有效性会受到信号干扰、视角遮挡或者视觉负荷过高等问题的影响,进而导致用户在视觉通道上无法获得有效的反馈[18]。因此,从其他通道向用户呈现反馈信息以作为视觉信息的补充就显得尤为重要。研究表明触觉信息因其灵敏、鲁棒性高、私密等特点可以作为视觉信息的有力补充,例如Tsykunov等[19]设计并研制了一种放置于指尖的振动触觉装置,该装置通过产生不同的振动模式来表示多机器人系统目前所处的运动状态;Aggravi等[20]为多机器人系统的每一种运动状态设计了不同的振动模式编码,故操作员通过不同的振动触觉反馈模式完成了在室外环境中的导航任务。但上述文献均仅采用了单独的振动模态来反馈多机器人系统的运动状态,限制了系统反馈的信息量与多样性,忽视了面对不同环境与任务触觉反馈方式的适应性。
为解决在高度动态和非结构化的场景中缺乏自然、高效人机交互方式的问题,提出了一种新的人-多机器人班组交互系统,用于控制由机器人和操作员组成的异构团队。该系统利用基于MR头盔的眼动接口进行目标指令的输入,进而控制多机器人进行协同运动,同时通过振动和挤压2种触觉反馈模态来感知多机器人系统编队队形的尺寸变化和编队完成状态,并设计实验验证了该系统的可行性,通过对比试验证明该人机交互方法能提高控制效率、减轻操作人员负荷。
1 系统框架
基于眼动追踪和触觉反馈的人-多机器人班组交互系统框架如图1所示。操作员头戴MR头盔、身穿触觉反馈装置与多个移动机器人共享环境,在此环境下通过局域网能够实现操作员与多机器人系统的双向通信,同时操作员能够通过MR头盔实时观察和感知现实作业环境,并在需要时切换出控制指令菜单界面。该菜单界面为虚拟可视化的交互界面,能够检测操作员的有效注视并进行识别,从而得到目标选择指令,进而映射为编队控制指令,并发送到多机器人系统协同控制器,以自然无感的方式实现对编队控制指令的准确选择。多机器人系统协同控制器接收到编队队形指令后控制多机器人进行队形变换、内部避碰和外部避障等任务。与此同时,操作员依靠触觉反馈装置在手臂皮肤表面产生的触觉力来感知编队状态。
图1 基于眼动追踪和触觉反馈的人-多机器人班组交互系统框架
Fig.1 Human-robot team interaction system framework based on eye tracking and haptic feedback
2 系统功能模块设计与实现
2.1 基于MR头盔的眼动追踪输入方法
首先,设计了基于MR的人机交互界面,如图2所示。在图2中,操作员通过MR头盔可观察到虚拟可视化控制指令菜单界面,该菜单界面以全息图形式呈现在操作员周围的真实世界中。为了使机器人团队适应不同的工作环境和任务需求,可以预先定义多机器人编队形状图案,并设计与之对应的控制指令菜单界面。
图2 面向人-多机器人班组交互的眼动输入方法流程
Fig.2 Flow diagram of eye tracking input method for human-multi-robot team interaction
针对实际应用中多机器人系统的协同需要,设计了以下6类编队控制指令,如图3所示,分别为三角形编队、矩形编队、五边形编队、直线编队、扩大编队和缩小编队。
图3 虚拟可视化控制指令菜单界面
Fig.3 Virtual visual control command menu interface
人-多机器人班组共享环境时,操作员为视觉-运动集成的。为有效地与机器人进行交互,提出了一种基于凝视信号的非语言注意力感知的输入方法,利用MR头盔进行眼动追踪,检测操作员注视指令菜单界面产生的有效注视事件,以便生成目标选择指令。在眼动数据分析研究中,区分具体的眼动事件是至关重要的步骤。常用的眼动事件检测是根据经验设置眼动速度阈值,根据阈值区分不同的眼动事件,但是由于个体差异,具体阈值的设置会对事件检测结果产生影响。鉴于此,使用自适应阈值算法实现眼动事件检测。首先,MR头盔用于实时采集操作员的眼动信号并计算眼动速度。其次,进行眼动事件监测,即计算扫视速度阈值,初始扫视速度阈值为(初始值范围100～300 (°)/s)[21],逐步计算范围内眼动角速度的中值和方差更新扫视速度阈值,更新公式如式(1)所示。
PTn=median(vn-1)+F×median(|vi-median(vn-1)|)
(1)
式(1)中:median表示中值;F表示绝对中位差(median absolute deviation,MAD)缩放因子;vi表示第i次眼动角速度;vn-1表示前n-1个眼动角速度序列;PTn表示第n次扫视速度阈值。
不断更新扫视速度阈值,直到其稳定在一定范围内,停止条件如式(2)所示。
|PTn-PTn-1|<1 (°)/s
(2)
在获得扫视速度阈值后,将眼动角速度大于扫视速度阈值的眼动信号视为追随事件,其余的眼动信号视为注视事件。再筛选出途中无眨眼且超过一定时间阈值的注视事件作为有效注视事件,得到有效注视事件的注视位置,眼动命令函数可以描述为
Se=fep(qep)fet(qet)
(3)
式(3)中:Se表示操作人员的意图即操作人员期望的编队形状; fep表示命令函数,由操作员的注视点qep决定; fet表示命令函数,由操作员的注释持续时间qet决定。 fep与 fet的表达式如下
(4)
式(4)中: Ωj表示眼动注视的位置, j表示图2中视线焦点区域选择的图案,设置1 s的间隔时间是为了防止操作人员视线漂移造成误操作。
有效注视事件的注视位置进一步映射为编队控制指令,并发送到多机器人系统协同控制器。
2.2 多机器人协同控制
针对不同的任务场景,多机器人需要变换为相应的队形或尺寸进行任务的执行,因此本节阐述了分布式多机器人编队算法控制多机器人编队变换。
1) 移动机器人模型。本文中选用2轮差分驱动式机器人作为控制对象,其运动学模型图如图4所示。
图4 移动机器人运动学模型
Fig.4 Kinematic model of a mobile robot
该移动机器人在世界坐标系中的坐标为P=[x,y]T∈R2,线速度为v,角速度为ω,方位角即其运动方向与X轴正方向夹角为θ(-π<θ≤π),其运动学模型如式(5)所示。
(5)
2) 编队队形库。多个移动机器人需要根据情况形成适当的队形。为了表示各个机器人之间的相互关系及队形参数,在文献[22]的基础上,定义了队形库队形参数信息矩阵通式,如式(6)所示。
式(6)中: Fd表示某种编队队形的参数信息矩阵;编队成员Fi表示第i辆移动机器人的队形信息; fji表示机器人j和i之间的期望相对距离。针对2.1节的控制指令菜单界面,将编队队形集合描述为
分别代表直线编队、三角形编队、五边形编队和矩形编队的队形参数矩阵。
3) 分布式多机器人控制。分布式多机器人控制包括以下2个控制项:① 形成所需队形的队形控制
② 避开障碍物的避碰控制
因此,对于第i个机器人实现了如式(7)所示的分布式控制为
(7)
队形控制项为在避免机器人之间碰撞的前提下,保持机器人i与机器人j之间满足队形库队形参数信息矩阵中的期望相对距离,以实现期望的队形,如式(8)定义为
(8)
式(8)中:Ni为机器人i的邻居列表;
为人工势函数,当
时,产生吸引力,当
时,产生排斥力。
避障控制项定义如式(9)所示。
(9)
式(9)中:Oi为第i个机器人的障碍物集合;
为集合Oi中第j个障碍物的位置;
为人工势函数,当
时,产生排斥力,当
时,无作用力,Do为障碍物的最大安全距离。
2.3 多机器人系统状态信息的触觉反馈表达方法
根据2.1节提出的基于MR头盔的眼动追踪方法可以向多机器人系统发出队形变换或尺寸变换的控制指令。由于多机器人系统从接收指令到收敛到期望队形或尺寸需要一定的时间,故操作员仅通过视觉观察难以快速判断多机器人执行指令状态,且随着机器人数目的增多,判断难度随之增加[18]。为了降低人机交互难度以及为操作员创造高度沉浸感,本节设计了基于挤压触觉的多机器人系统尺寸变换与基于振动触觉的队形变换2种模式来反馈多机器人系统的运动状态信息。
1) 穿戴式触觉反馈装置。穿戴式触觉反馈装置交互系统框图如图5所示,该装置主要由4部分组成:主控模块,电源模块,通信模块,功能模块。
图5 穿戴式触觉反馈装置交互系统框图
Fig.5 Block diagram of interactive system of wearable haptic feedback device
主控模块采用Arduino Mega 2560开发板,与多机器人系统通过HC-05蓝牙串口通信模块进行数据传输。主控模块负责编码多机器人系统的尺寸变换信息和队形变换信息,并将其发送给挤压和振动功能模块,以实现相应的触觉反馈。稳压电源采用2节18650锂电池供电,可为主控模块与功能模块提供3.3～7.4 V的稳压输出。
2) 基于挤压触觉的多机器人系统尺寸变换状态反馈。用于产生挤压触觉的执行机构近景如图6所示,用于产生挤压触觉反馈的伸缩臂带连接在转动件上,通过PWM控制MG996R舵机(扭矩为12 kg·cm)转动可以在用户的手臂上产生不同程度的挤压力。
图6 挤压触觉振动机构
Fig.6 Squeeze haptic vibration mechanism
2个舵机正常工作时的转动角度始终相同,即,其中和分别代表左右2个舵机的转动角度。为了在操作员手臂上产生3种不同程度的可区分的挤压力,设计了3种转动角度。当多机器人系统执行尺寸缩小的指令时,2个舵机以图7(a)转动至以产生较大的挤压力;当多机器人系统执行尺寸扩大的指令时,2个舵机以图7(b)的方向转动至以产生较小的挤压力;当多机器人系统尺寸变换指令执行完成已处于稳定的尺寸大小时,如图7(c)所示,2个舵机保持以产生适中的挤压力。
图7 基于挤压触觉的尺寸变换状态反馈
Fig.7 Size change state feedback based on squeeze haptics
3) 基于振动触觉的多机器人系统队形变换状态反馈。用于产生振动触觉反馈的臂带固定在操作员手臂上,其内侧放置有以4×4的形式相距12 mm间隔排列的振动电机阵列,2块ULN2803芯片用于驱动16个振动电机正常工作,如图8所示。利用似动现象(apparent motion)这一触觉错觉现象在用户手臂上绘制不同的几何形状以反馈多机器人系统当前执行的队形变换指令。当队形变换指令完成后,电机阵列停止工作,使得操作员可以及时把握队形变换完成情况,提升了操作员对机器人队友及时灵敏感知能力。
图8 振动触觉执行机构
Fig.8 Vibrotactile actuator
似动现象是一种触觉错觉现象,指的是如果用户皮肤表面存在一些离散的振动触点按照一定的振动持续时间和启动间隔时间进行振动,那么用户的皮肤表面会产生一种连续振动的感觉[23]。似动现象示意图如图9所示,v1和v2代表放置于用户皮肤表面的2个振动触点,右边为2个振动触点的状态时间轴,d1代表振动触点1的振动持续时间,d2代表振动触点2的振动持续时间,SOA代表2个振动触点的启动时间差。
图9 似动现象示意图
Fig.9 Schematic diagram of apparent motion
用户对似动现象的区分能力取决于振动电机的控制参数,如振动持续时间、启动时间差、振动强度等,目前已有的工作已对这些参数对似动现象的影响做了大量的研究,其中振动持续时间以100～400 ms为宜,启动时间差(SOA)与振动持续时间(d)的大致关系如式(10)所示,单位为ms。
SOA=0.32d+47.3
(10)
利用似动现象在用户手臂皮肤上绘制4种图形以反馈多机器人系统当前执行的队形变换指令。当多机器人系统执行变换为直线形编队的指令时,振动电机阵列中的4个电机以图示顺序振动从上往下绘制一条直线,如图10(a)所示;当多机器人系统执行变换为三角形编队的指令时,振动电机阵列以图示顺序振动绘制一个三角形,如图10(b) 所示;当多机器人系统执行变换为五边形编队的指令时,振动电机以图示顺序振动绘制一个类五边形,如图10(c) 所示;当多机器人系统执行变换为矩形编队的指令时,振动电机以图示顺序振动绘制一个正方形,如图10(d)所示。当队形变换指令完成后,电机阵列停止工作,使得操作员可以及时把握队形变换完成情况。
图10 基于振动触觉的队形变换状态反馈
Fig.10 Formation change state feedback based on vibration haptic
3 实验
3.1 实验平台
基于眼动追踪和触觉反馈的人-多机器人班组交互系统的实物实验平台搭建如图11所示。该系统由1台Microsoft开发的HoloLens2设备、1台本实验室自制的可穿戴式触觉反馈装置、5个epuck2移动机器人组成。
图11 实物验证平台示意图
Fig.11 Schematic diagram of physical verification platform
HoloLens2设备被选为MR头盔,该设备是1台可穿戴的一体式全息混合现实设备,拥有独立的计算单元,无需依赖任何外部软硬件就能完成所有混合现实计算和展示。操作员头戴HoloLens2设备可实时观察现实环境,同时通过虚拟交互界面进行人机交互发送6类编队指令。
多机器人系统选用了5辆epuck2移动机器人,数量可以根据任务的需求进行扩展。从HoloLens2设备到多机器人系统指令的发送是通过TCP/IP协议实现的。epuck2周围配备8个红外传感器可测量环境光和6 cm以下物体的接近度,前部配备ToF(TimeofFlight)距离传感器,最长可测距2 m。由于epuck2周围红外传感器测量距离过小,因此选用视觉定位方法。
多机器人系统接收到编队指令后进行编队运动。编队完成状态的感知选用本实验室自制的可穿戴式触觉反馈装置。该装置具有轻量化(600 g)、反馈信息丰富(具有挤压、剪切、振动3种触觉反馈模态)、反馈模式直观的特点。
3.2 触觉反馈实验
为了验证操作员能否根据穿戴式触觉反馈装置反馈的触觉信息了解多机器人的运动状态,设计如下实验。实验场景如图12所示,用户坐在呈现交互界面的计算机屏幕前,右臂佩戴触觉反馈装置感知挤压触觉和振动触觉反馈。
图12 反馈实验平台示意图
Fig.12 Diagram of the feedback experiment platform
本实验研究穿戴式触觉反馈装置对多机器人系统编队指令执行状态的反馈作用,与操作员通过何种方式输入控制指令无关,因此本实验操作员通过键盘来控制多机器人系统的运动与编队变换。非结构化的仿真场景设置在一个非开阔的房间内,房间中包含狭窄的通道、各种形状的障碍物以尽可能达到场景的复杂度。控制任务旨在模拟多机器人系统进入灾难现场等非结构化环境中的应用,包括操纵多机器人系统从初始位置到目标位置,并通过中途的门、狭窄通道、障碍物等,如图13所示。每位操作员在执行控制任务时需要在仅通过视觉反馈以及拥有视觉与触觉双模态反馈2种状态下来感知多机器人系统运动状态,以此判断下一时刻发送的控制指令,进而完成控制任务。
图13 多机器人系统控制任务
Fig.13 Multi-robot system control tasks
本实验共招募了10名被试者(6男,4女),所有被试者均具有正常或矫正后的正常视力且拥有正常的触觉感知能力。每位操作员需要在仅通过视觉反馈以及拥有视觉与触觉双模态反馈2种状态下各完成10次实验,每次实验不限定完成时间。每位用户在实验任务完成中所花费的时间如图14所示,视觉反馈模式下平均用时109.39 s,视觉与触觉双模态反馈模式下平均用时93.47 s,交互效率提高了14.55%。与仅通过视觉反馈相比,在有触觉反馈的情况下用户可以使用较少的时间完成队形变换任务。以测试者5为例,在有触觉反馈的情况下完成队形变换的时间由101.04 s下降为90.4 s。当操作员仅通过视觉观察多机器人的运动状态时,由于多机器人系统收敛到指定队形需要花费一定的时间且收敛的编队形状大小未知,故操作员只能通过编队一定时间的稳定来判断编队收敛状态,这使得操作员必须花费更长的时间来观察每个多机器人的运动状态,同时也加重了用户的认知负担。而在使用触觉反馈的情况下,操作员通过手臂上产生的3种不同程度的可区分挤压力来判断多机器人系统尺寸变换状态,同时操作员通过手臂上绘制的不同形状来快速判断多机器人当前执行的队形变换指令并根据电机阵列停止时间来判断编队队形的收敛状态。
图14 反馈实验验证结果
Fig.14 Feedback experimental verification results
3.3 人-多机器人班组交互系统实物实验
为了验证所提出的基于眼动追踪和触觉反馈的人-多机器人班组交互系统的可行性与有效性,基于3.1节的实验平台搭建,本文中对多机器人系统的编队变换进行实物实验验证。操作员与多机器人系统共享环境,并且模拟双手被占用时的场景,通过人机交互界面发送编队队形指令,多机器人系统解析操作员的指令,逐渐形成所期望编队队形同时躲避障碍物,并通过触觉反馈装置感知多机器人系统编队变换状态,当感知编队完成时发送下一个编队控制指令,直到完成6类编队变换,验证效果如图15所示。
图15 实物验证结果
Fig.15 Physical verification results
以图15(d)为例,操作者在人机交互界面选择“三角”指令,基于自适应阈值算法与眼动命令函数来捕获操作者意图,从而协调控制多机器人系统进行三角编队。图15中的白色与绿色水杯为障碍物,多机器人系统在进行编队运动的同时要保证避免与机器人和障碍物之间的碰撞。以多机器人系统从三角编队变换为直线编队为例,图16显示了整个运动过程中的轨迹和航向角度,所有的机器人都能避免与邻居和障碍物碰撞,并变换为直线队形,同时各个机器人的航向角都收敛到所需的角度。在从三角编队变换为直线编队的整个过程中各个机器人的速度变化情况如图17所示。
图16 多机器人姿态
Fig.16 The pose of the multiple robots
图17 多机器人速度
Fig.17 The velocity of the multiple robots
验证效果图15表明采用基于MR头盔的眼动接口能准确识别感知信号,有效控制多机器人系统进行编队。为进一步对设计的交互框架的准确率和交互效率进行评价,选取6名(4男,2女)操作者执行交互界面中的6种集群编队指令,每条指令为10次,然后对平均成功率、平均所需时间进行统计,试验结果表明执行编队指令的平均成功率达93.33%,说明设计的基于眼动追踪与触觉反馈的交互框架的实现机制合理有效且错误操作率极低。另一方面,基于MR头盔的眼动指令选择的平均时间为4.8 s,表明操作员能够在相对较短的时间内完成指令选择。
4 结论
针对在动态复杂、非结构化的场景中缺乏自然、高效人机交互方式的问题,提出了一种基于眼动追踪和触觉反馈的人-多机器人班组交互系统。该系统利用基于MR头盔的眼动接口进行目标指令的输入,进而控制多机器人进行协同运动,同时操作员通过可穿戴式触觉反馈装置来感知多机器人系统编队队形的尺寸变化与编队完成情况。
设计了触觉反馈实验与人-多机器人班组交互系统实验,证明了所提出的人机交互系统能有效控制多机器人系统进行编队,指令执行成功率达93.3%,与仅通过视觉反馈相比,在有触觉反馈的情况下操作员可以更快完成多机器人运动状态的感知,交互效率提高了14.55%。
[1] MURRAY R M.Recent research in cooperative control of multivehicle systems[J].Journal of Dynamic Systems,Measurement and Control,2007,129(5):571-583.
[2] ESPINA M V,GRECH R,JAGER D D,et al.Multi-robot teams for environmental monitoring[M].Innovations in Defence Support Systems-3. Springer, Berlin, Heidelberg,2011:183-209.
[3] KIM S J,LIM G J.Drone-aided border surveillance with an electrification line battery charging system[J].Intelligent Robotic Systems,2018,92(4):657-670.
[4] FINN R L,WRIGHT D.Unmanned aircraft systems:Surveillance ethics and privacy in civil applications[J].Computer Law Security Review,2012,28(2):184-194.
[5] BOGUE R.Search and rescue and disaster relief robots:Has their time finally come?[J].Industrial Robot the International Journal of Robotics Research and Application,2016,43(2):138-143.
[6] KANTOR G,SINGH S,PETERSON R,et al.Distributed search and rescue with robot and sensor teams[C]//Field and Service Robotics.Springer,Berlin,Heidelberg,2003:529-538.
[7] NOURBAKHSH I R,SYCARA K,KOES M,et al.Human-robot teaming for search and rescue[J].IEEE Pervasive Computing,2005,4(1):72-79.
[8] ZUCKER M,JOO S,MICHAEL X,et al.A general-purpose system for teleoperation of the DRC-HUBO humanoid robot[J].Field Robots,2015,32(3):336-351.
[9] TOMIC T,SCHMID K,LUTZ P,et al.Toward a fully autonomous UAV:research platform for indoor and outdoor urban search and rescue[J].IEEE Robotics &Automation Magazine,2012,19(3):46-56.
[10] STATHEROPOULOS M.Factors that affect rescue time in urban search and rescue (USAR) operations[J].Natural Hazards,2015,75(1):57-69.
[11] NUOVO D A,BROZ F,BELPAEME T,et al.A web based multi-modal interface for elderly users of the robot-era multi-robot services[C]//2014 IEEE international conference on Systems,Man,and Cybernetics (SMC).IEEE,2014:2186-2191.
[12] ZHANG Y,SONG G,WEI Z,et al.Bilateral teleoperation of a group of mobile robots for cooperative tasks[J].Intelligent Service Robotics,2016,9(4):311-321.
[13] GROMOV B,GAMBARDELLA L M,CARO G D.Wearable multi-modal interface for human multi-robot interaction[C]//2016 IEEE International Symposium on Safety,Security,and Rescue Robotics (SSRR).IEEE,2016:240-245.
[14] SURESH,AAMODH,MARTINEZ,et al.Human-swarm interactions for formation control using interpreters[J].International Journal of Control,Automation,and Systems,2020,18(8):2131-2144.
[15] WANG X,CHEN H T,WANG Y K,et al.Implicit robot control using error-related potential-based brain-computer interface[J].IEEE Transactions on Cognitive and Developmental Systems,2022,15(1):198-209.
[16] DAI S S,XIAO J W,XIONG K,et al.Accurate detection algorithm of lane line based on machine vision[J].Semiconductor Optoelectronics,2021,42(6):940-946.
[17] CHEN J Y C,HAAS E C,BARNES M J.Human performance issues and user interface design for teleoperated robots[J].IEEE Transactions on Systems Man and Cybernetics Part C (Applications and Reviews),2007,37(6):1231-1245.
[18] GIOIOSO G,FRANCHI A,SALVIETTI G,et al.The flying hand:A formation of UAVs for cooperative aerial tele-manipulation[C]//2014 IEEE International conference on robotics and automation (ICRA).IEEE,2014:4335-4341.
[19] TSYKUNOV E,AGISHEV R,IBRAHIMOV R,et al.Swarmtouch:Guiding a swarm of micro-quadrotors with impedance control using a wearable tactile interface[J].IEEE transactions on haptics,2019,12(3):363-374.
[20] AGGRAVI M,PAUSE F,GIORDANO P R,et al.Design and evaluation of a wearable haptic device for skin stretch,pressure,and vibrotactile stimuli[J].IEEE Robotics and Automation Letters,2018,3(3):2166-2173.
[21] JACOB R J K,KARN K S.Eye tracking in human-computer interaction and usability research:Ready to deliver the promises[M].The Mind’s Eye.North-Holland,2003:573-605.
[22] 吴立尧,韩维,张勇,等.基于人机合作的有人/无人机编队队形变换策略[J].系统工程与电子技术,2020,42(2):434-444.WU Liyao,HAN Wei,ZHANG Yong,et al.Formation transformation strategy for manned/unmanned aerial vehicle formation based on human-machine cooperation[J].Systems Engineering and Electronics,2020,42(2):434-444.
[23] SHERRICK C E,ROGERS R.Apparent haptic movement[J].Perception &Psychophysics,1966,1(3):175-180.