0 引言
近年来,混合现实技术得到快速发展。混合现实被应用到了医疗、教育、军事以及游戏娱乐等领域。尤其是随着微软推出了第二代混合现实设备HoloLens2,使得混合现实技术被更广泛的应用到各种场景中成为了一种可能。
其中军事领域中,HoloLens2作为一款功能强大的混合现实设备,其独特的显示方式使其被应用到诱导维修和辅助训练等多项辅助作业中[1]。HoloLens2利用LBS(laser beam scanning)光机采用光波导的显示方式将全息影像投射到用户的眼中。将真实物体进行三维建模,以全息影像的方式显示在用户眼中,通过跟踪注册可以使得全息影像与真实物体虚实融合,就可以使用户摆脱环境照度的限制,清楚地感知到物体的边界和位置,并且与真实环境几乎完全相同。
并且夜间作战逐渐变为一项重要的训练科目。在夜间低光照的环境中,由于灯火管制以及隐蔽性需求,装备的诱导维修和辅助作业等课目必须在无光或者微光环境中进行,而在夜间环境中,HoloLens2的跟踪注册性能会失效,导致在白天能正常进行的课目到了夜间就不能正常开展。现阶段也没有关于增强HoloLens2夜间跟踪注册功能的参考资料,这也就限制了HoloLens2在夜间低光照环境中的应用。因此迫切需要研究一种方法,恢复HoloLens2在夜间的跟踪注册性能,允许HoloLens2被应用到夜间作战的辅助作业中,提升夜间辅助作业的效率。
目前关于低光照度下的跟踪注册研究,虽然不是基于HoloLens2,但是也具有参考价值。刘佳等[2]提出了一种新的AR标记CH-Marker,它利用Hamming校验码对多种颜色进行编码,该标记在环境光照度为2 Lux且传统的ARToolKit标记失效的情况下,依然能够实现跟踪注册。Burak Benligiray等[3]提出了一种新的标记STag,通过重复利用局部化特征来实现针对抖动因素的鲁棒性,显著改善了低光照环境中姿态估计的鲁棒性。Yazmin等[4]针对基于标记的跟踪系统对真实环境中光照条件的变化敏感问题,提出了一种在光照条件动态变化的半受控环境下估计目标位置的方法。该方法提高了在低光照环境下标记位置估计的准确性。虽然上述研究工作改善了低光照环境下姿态估计的鲁棒性,但是,客观来说其针对的低光照环境依然具有较强的能见度,所谓的低光照只是相对于光照较强的白天来说,并不是真正意义的低光照环境,依然具有良好的目视条件。而本文中用于实验的低光照环境是目视条件较差的环境。
因此,本文中针对夜间低光照环境中复杂的特种作业,探究HoloLens2在夜间低光照环境下能稳定跟踪注册的最低光照度,分析影响HoloLens2跟踪注册的因素,设计实验,得出了一些具有指导性的结论。借此明晰HoloLens2的应用范围和潜力,为后续的混合现实项目开发提供支撑。
1 跟踪注册原理及影响因素分析
1.1 跟踪注册原理分析
与Google Glass、magic leap等AR设备只能在固定的位置呈现一个虚拟的显示界面不同的是,HoloLens2能够将物理现实与数字现实无缝地融合在一起,使生成的全息影像跟真实物体一样,固定的“摆放”在真实环境中,并且能够实现视觉上的近大远小,相互遮挡,给人一种真实的感觉。要实现以上功能,HoloLens2需要实时地计算全息影像相对于自身以及真实环境的相对位置。
HoloLens2设备配备了1个深度摄像头、1个RGB摄像机、4个可见光环境跟踪摄像机和1个惯性测量单元(IMU),可提供完成其移动室内增强现实系统的不同任务所需的数据,其中RGB相机不参与跟踪,只允许用户记录截屏图片和视频[5]。图1展示了它们在设备上的排列方式。
图1 HoloLens2中的传感器
Fig.1 The sensors in the HoloLens2
通过微软官方提供的研究工具包,可以获取HoloLens2中这些传感器记录的图像[6],如图2所示,序号①和序号②分别是HoloLens2中的左前和右前环境跟踪相机记录的灰度图像,序号③代表由深度摄像头捕获的红外信号计算得到的不受可见光影响的红外图像,序号④代表由深度摄像头捕获的深度图像。
图2 HoloLens2中传感器记录的图像
Fig.2 Images recorded by the sensors in the HoloLens2
HoloLens2的深度摄像头采集的深度信息精度并不高,若是由此来计算HoloLens2位置会使得误差较大,可能会导致全息影像不能稳定的固定在空间中。故HoloLens2通过视觉惯性SLAM算法(visual-inertial SLAM),用更为准确的环境感知摄像头来定位,IMU惯性单元来定姿。视觉惯性SLAM算法是融合相机和IMU数据实现SLAM的算法,相机和IMU融合有很好的互补性。经典视觉惯性SLAM算法框架如图3所示。
图3 经典视觉惯性SLAM算法流程
Fig.3 Flow chart of the classical visual inertial SLAM algorithm
首先,通过将IMU估计的位姿序列和相机估计的位姿序列对齐,可以估计出相机轨迹的真实尺度,而且IMU可以很好地预测出图像帧的位姿以及上一时刻特征点在下帧图像的位置,提高特征跟踪算法匹配速度和应对快速旋转的算法鲁棒性,最后IMU中加速度计提供的重力向量可以将估计的位置转为实际导航需要的世界坐标系中。
通过分析算法,发现HoloLens2的跟踪注册功能在夜间失效的原因是特征提取步骤中没有检测到足够的特征用于后续算法的匹配,所以要想增强HoloLens2在夜间的跟踪注册性能,就必须给HoloLens2提供足够的可以被检测到的特征。
1.2 影响因素分析
HoloLens2用于头部跟踪的4个可见光相机,其实是灰度相机,它的功能是将实时录制的视频流传输给后台实时运行的跟踪注册进程,进行设备的位置解算,它敏感的输入是视频帧图像各个像素灰度值的变化,简单来说就是环境中的2D纹理。根据以上分析,可以判定环境中的2D纹理是影响HoloLens2跟踪注册的主要因素。但是具体是怎样的2D纹理还需要从算法层面分析,典型的视觉惯性SLAM算法有OKVIS、VINS-mono及ORB-SLAM3。
1.2.1 OKVIS
OKVIS是由Stefan Leutenegge等[7]提出的基于双目与IMU融合的视觉惯性里程计,它采用Brisk算法进行特征提取,而Brisk算法主要利用FAST9-16进行特征点检测。
首先针对原图像构造图像金字塔,进行多尺度表达得到多幅有角点信息的图像,其次对原图像进行一次FAST5-8角点检测,得到一副有角点信息的图像,接着对这几幅图像,进行空间上的非极大值抑制(同SIFT算法的非极大值抑制):特征点在位置空间(8邻域点)和尺度空间(上下层2×9个点),共26个邻域点的FAST的得分值要最大,否则不能当做特征点,而FAST的得分值就是中心点与周围点像素差值的绝对值的总和。因此,OKVIS算法敏感的特征点就是图像中的FAST角点。
1.2.2 VINS-mono
VINS-mono算法是由Tong Qin等[8]提出的一种基于非线性优化的紧耦合的视觉惯性里程计,它采用Shi-Tomasi角点检测算子,是一种对Harris角点检测算子的改进,虽然增加了检测的复杂度,但是很好地控制了检测到的角点的特性,比如角点个数、角点间最小间距等。因此,VINS-mono算法敏感的特征点就是图像中的Harris角点。
1.2.3 ORB-SLAM3
ORB-SLAM3算法是由Carlos Campos等[9-10]提出的一种基于特征的紧耦合的视觉惯性里程计,它采用ORB方法进行特征提取。而ORB方法也是在经典的FAST方法上做了一些改进,增加了特征的尺度不变性和旋转不变性。所以ORB-SLAM3算法敏感的特征点是FAST角点。
通常意义上来说,角点就是极值点,即在某方面属性特别突出的点,是在某些属性上强度最大或者最小的孤立点、线段的终点。对于图像而言,图4中红色圆圈内的部分,即为图像的角点,其是物体轮廓线的连接点。
图4 角点特征
Fig.4 Point features
根据对上述3种典型视觉惯性SLAM算法的分析,HoloLens2中内置的视觉惯性算法敏感的2D纹理特征有可能是FAST角点、Harris角点。FAST角点和Harris角点,虽然命名不同,但指的都是灰度值与周围像素对比明显的像素点。综上所述,HoloLens2的跟踪注册算法敏感的特征为角点。
2 夜间HoloLens2跟踪注册性能极限测试
本文中所有实验基于一个先验知识,HoloLens2在跟踪注册完全失效的情况下,环境中注册的全息图会以相对固定的视角来呈现,无论佩戴者怎样移动,全息图始终与佩戴者保持相对固定的位置不变;HoloLens2能够稳定跟踪注册时,全息图会固定在环境中,位置和方向不随佩戴者的移动而变化[11]。如图5所示,当佩戴者移动时,白天靶材位置固定,不随佩戴者的移动而变化,而在夜间靶材位置不能在空间中固定,始终与佩戴者保持相对固定的位置不变。
图5 HoloLens2在白天和夜间的跟踪注册性能对比
Fig.5 HoloLens2 tracking registration performance comparison during the day and at night
本文中不讨论增强后HoloLens2跟踪注册的精度,因为本文中的工作是恢复低光照度环境中HoloLens2的跟踪注册性能,全息图的注册精度还是取决于HoloLens2自身的跟踪注册算法,并且研究表明,HoloLens2的跟踪注册精度在2 cm左右[12],满足绝大部分的应用场景需求。
HoloLens2通过环境跟踪相机和IMU进行位置估计,进而完成跟踪注册。但是在夜间低光照环境中,环境跟踪相机捕获的帧图像流作为视觉惯性SLAM算法的输入,在特征点检测步骤中无法检测出特征点用于特征点匹配,更不用说进行位置估计了。所以需要测试HoloLens2稳定跟踪注册所需的最低光照强度,指导后续研究恢复HoloLens2在夜间低光照环境中跟踪注册性能方法的实验环境设置。
2.1 实验设计
在探究HoloLens2能够稳定跟踪注册所需的最低环境光照度实验中,选择较为空旷的走廊作为实验环境,走廊为半透明式,一边为透光玻璃,一边为白色平面墙。HoloLens2设备固定在垂直面向墙壁的可移动支架上并记录视频。为了消除实验设备之间的性能差别导致实验数据的差异,实验使用6台Hololens2设备在相同环境中同时进行实验。
首先,通过弱光照度计stl-86测量实验前1天19时到天色完全变暗之后的光照变化规律,且连续2 d相同的时间段,光照度的变化是相似的,这也为后续的试验提供依据。
其次,实验设备放置在距离白色墙面0.5 m的距离,墙壁填满了摄像头的整个视野。实验靶材在空间中距眼镜垂直距离0.5 m,位于眼镜的右前方,水平距离为0.3 m。根据之前预实验的结果,从3 Lux的环境光照度开始,以0.1 Lux为梯度逐渐递减至0.05 Lux,在每个光照度节点,视频以30 fps的帧速率连续记录10 s,每次记录,使HoloLens2跟随固定支架匀速水平向右移动0.6 m。实验设置如图6所示。
图6 实验设置
Fig.6 Experimental setting
设计实验靶材如图7所示,靶材上有一个蓝色的圆形图案,当HoloLens2能够稳定跟踪注册时,佩戴者位置的变化,会导致HoloLens2彩色RGB相机捕获图像的像素中心与图像中蓝色圆形中心之间的像素距离发生变化。随后,分析各个视频中两者之间的像素距离变化,以表征HoloLens2是否恢复了跟踪注册性能。并且设置2个对照组,分别在环境光照度合适的环境以及在光照度最低的环境中,用相同的实验方法以30 fps的帧速率记录10 s的视频。
图7 实验靶材
Fig.7 Experimental target material
设置预实验,测量实验环境自然光照度的变化规律,测量时间为2022年6月10日,且测量前后几天的变化不会太大,不影响实验的开展。结果如图8所示。
图8 实验环境自然光照度变化
Fig.8 Natural illumination variation in the experimental environment
2.2 实验结果与分析
实验设置了对照组,并且使用了6台HoloLens2进行实验。对于实验录制的视频片段进行抽帧处理,对每个视频片段抽取50帧进行数据处理,计算图像中心与圆圈中心像素距离的变化,对照组实验结果如图9所示,红色数据对应HoloLens2跟踪注册失效对照组,因为靶材相对佩戴者保持相对位置不变,所以图像像素中心和蓝色圆圈中心之间的像素距离保持不变;蓝色数据对应HoloLens2跟踪注册未失效対照组,因为靶材会在空间中固定位置,当佩戴者从靠近靶材中心左边移动到靠近靶材中心右边后,图像像素中心与蓝色圆圈中心之间的像素距离会先减小后增大,呈现一个V字形。
图9 对照组实验结果
Fig.9 Results of the control group experiment
从图9可以看出,HoloLens2的跟踪注册未失效时,在实验中向右匀速移动0.6 m,实验靶材圆心与图像中心之间像素距离的变化可以看作是线性的;依据先验知识,如果HoloLens2的跟踪注册性能失效,则像素距离不发生变化。参照对照组的实验结果,分析6台HoloLens2的实验结果,符合对照组的结果记为1,不符合对照组的结果记为0。实验结果如表1所示。
表1 不同光照度下HoloLens2跟踪注册性能测试结果
Table 1 HoloLens2 tracking registration performance test results at different illumination levels
3.0Lux1.0Lux0.5Lux0.4Lux0.3Lux0.2Lux0.1Lux0.05Lux①11100000②11100000③11100000④11110000⑤11100000⑥11100000
由表1可知,有5台HoloLens2在环境光照度为0.40 Lux时,跟踪注册性能失效;有1台HoloLens2在环境光照度为0.30 Lux时,跟踪注册性能失效。虽然有1台设备的实验数据与其他几台数据有较小的差异,但是大部分HoloLens2的阈值稳定在0.40 Lux左右,并且因为实验的自变量也就是光照度,其变化不是连续的,实验所寻求的真值不一定就是0.40 Lux,也有可能是在0.40 Lux上下波动的某个值,但是考虑到结论的普适性以及环境照度精确到小数点后一位,已经满足绝大多数的应用场景需求,所以可以认为HoloLens2能够稳定跟踪注册的最低环境光照度为0.40 Lux。
3 HoloLens2夜间跟踪注册性能提升研究
实验二的目的是探明纹理对HoloLens2跟踪注册性能的影响规律,并得出纹理设计的指导性原则。因为在低光照度环境下,如果不对2D纹理进行特殊处理的话,HoloLens2的摄像机根本无法捕获到拥有纹理信息的视频流,这是不能单纯依靠改进算法能够解决的。图10为在光照度分别为250 Lux和0.25 Lux的环境中,HoloLens2的摄像头捕获2D纹理图像的对比。图10(a)中,左上和右上2张图分别是HoloLens2的左前和右前环境跟踪相机捕获的图像,左下是HoloLens2的深度相机捕获的红外图像,右下是HoloLens2的深度相机捕获的深度图。图10(b)是对同一场景在不同光照度环境中拍摄的。左下和右下的红框是深度相机捕获的图像,可以证明与图10(a)的拍摄场景相同,都是对一只茶杯的近距离拍摄。左上和右上的红框是环境跟踪相机拍摄的图像。可以看出,在低光照环境中,几乎不能观察到茶杯的存在。
图10 不同光照度下Hololens2相机捕获的图像
Fig.10 Images captured by the Hololens2 cameras at different illumination levels
本文中采用荧光增强方法,使用3D打印机打印含有特征信息的纹理,将含有纹理信息的部分打印为中空网格,并采用涂抹荧光颜料的方法增强纹理,这样能够使得荧光涂料涂抹均匀,发光效果较佳。图11(a)是2D纹理的原型;图11(b)是3D打印后涂抹荧光涂料的纹理,大小为8 cm×8 cm;图11(c)是HoloLens2的环境跟踪相机在低光照度环境中捕获的图像,可以清晰看到发光纹理,该纹理在HoloLens2的环境跟踪相机捕获图像中占用的像素宽度为80。
图11 荧光2D纹理
Fig.11 Fluorescence 2D texture
依据第2节的结论,HoloLens2敏感的特征为环境跟踪相机捕获图像中的角点信息。很多自然纹理都含有角点,理论上来说可以用来增强低光照环境下HoloLens2的跟踪注册性能,但是自然纹理较为复杂,不方便制作为荧光的纹理应用于夜间。所以需要设计纹理简单且角点信息丰富的纹理,实现夜间HoloLens2的跟踪注册增强。
又因为人工设计的标记纹理简单且特征信息丰富,提供比场景中自然可用的特征更明确的特征[13],可以提升算法对于特征点的识别效率,所以本次实验部分选用了现有成熟标记系统的标记作为测试对象,部分为根据第2节的结论设计的标记。
3.1 实验设计
3.1.1 纹理的选择
实验纹理如图12所示。
图12 实验纹理
Fig.12 Experimental texture
1) 在传统的基于人工标记的跟踪注册[14]中,对称的纹理会造成对位姿估计的混淆,这并不一定能恢复HoloLens2的夜间跟踪注册性能。因此选用纹理(a)、(b),探究对称的纹理是否能对HoloLens2实现增强。
2) 当纹理的边缘较模糊,检测得到的特征角点的得分值相差不大[15],无法通过最大值抑制得到关键特征点。因此,选用了纹理(g)、(h)作为对比,探究纹理边缘的锐度对于最终增强效果的影响。
3) 并且考虑到荧光纹理在夜间成像时会有光晕产生,使图像中纹理的边缘特征会发生模糊,这就导致较窄的条状方格在图形中变为了一条模糊的直线,所以选取了(b)、(c)、(d)等3种特征相同但标记宽度不同的纹理作对比,探究纹理的宽度对于最终增强效果的影响。
4) 在基于人工标记的跟踪系统中,标记的轮廓可以帮助系统快速检测图像中的标记,进而去进行特征点的检测。所以,为了探究轮廓能否对于HoloLens2的跟踪注册起到增强的效果,选取了(i)、(j)等2种纹理做对比。
5) 在标记宽度相同的情况下,特征点的数量是否会对最终的增强效果产生影响,本文中选取纹理(c)、(e)、(f)作为对比,探究纹理中角点的数量对于最终增强效果的影响。
本文中选择这10种2D纹理作为实验测试对象,其中图12(a)、(d)、(f)、(g)、(i)、(j)为依据本文中第2节分析设计的纹理特征N-Texture;图12(b)、(c)、(e)为ARToolkit[16]系统中的标记,图12(h)为SIFTTag[17]系统中的标记,以上4种纹理均为成熟标记跟踪系统采用的基准标记。
3.1.2 实验步骤
测试上述所有纹理在HoloLens2的跟踪注册性能失效情况下对于HoloLens2的增强效果。实验的光照度设置为0.30 Lux到0.05 Lux,递减梯度为0.05 Lux。此次实验,本文中使用一台HoloLens2捕获固定标记的图像,使用8 cm×8 cm尺寸打印所有2D纹理,使用双面胶固定在白色的墙面上,HoloLens2安装在标记高度的可移动三脚架,具体设置同实验一。通过保持HoloLens2静止并手动操作夹具来调整视角和距离。为了消除实验中荧光纹理发光亮度不同导致试验效果的差异,本文中使用强光光源照射荧光纹理后,使用照度计贴近纹理测量发光亮度,当荧光纹理发光亮度在2.5 Lux左右时开始记录实验数据。
在特定的环境光照度中,每次实验以30 fps的帧速率连续记录10 s,同时支架匀速向右移动0.6 m。并且设置一个参照组,在环境光照度合适的环境中,不施加纹理因素的影响,用相同实验方法以30 fps的帧速率记录10 s的视频。计算每帧图像的像素中心与蓝色圆圈中心的像素距离,以表征HoloLens2的跟踪注册性能。通过对比对照组帧图像的像素中心与实验靶材上蓝色圆圈中心的像素距离的变化,判断在当前环境光照度下,对HoloLens2施加特定的荧光纹理影响之后,HoloLens2是否能够恢复跟踪注册性能。
在传统的基于人工标记的跟踪注册系统中,摄像头与标记之间的距离、角度和检测时间一直作为评价标记和跟踪注册算法性能的指标[18-20]。所以本文中使用恢复跟踪注册耗费时间、有效距离范围及有效视角范围3个指标去评价不同的纹理对于HoloLens2跟踪注册性能的增强效果。
1) 针对耗费时间的实验,实验在光照度为0.05 Lux的环境下进行,并测试所有纹理。首先,使用黑色纸板遮挡HoloLens2的可见光相机;其次,打开实验靶材的程序,同时以30 fps的帧速率记录视频;接着让固定HoloLens2的支架沿着左右方向匀速进行往复运动,并在运动开始大约2 s后移开黑色纸板,记录30 s的视频用作后续数据分析。从视频中荧光纹理出现的第一帧开始,截取25 s的视频。每秒抽取5帧,分析每帧图像的中心与靶材上圆圈中心的像素距离的变化,进而判断HoloLens2是否恢复跟踪注册性能。
2) 针对有效距离的实验,实验设置同上述实验。设置距离梯度为5 cm,从最开始的30 cm开始,逐渐递增至200 cm。在每个距离节点,打开实验靶材程序后先静止30 s,确保HoloLens2有充足的时间恢复跟踪注册,接着让固定HoloLens2的支架向右匀速移动0.6 m,并以30 fps的帧速率记录视频。同样分析每帧图像的中心与靶材上圆圈中心的像素距离的变化,进而判断HoloLens2是否恢复跟踪注册性能。
3) 针对有效视角范围的实验,设置同上述实验。先设置角度梯度为5°,从0°开始,逐渐递增至80°。在每个角度节点以30 fps的帧速记录10 s的视频用作后续的数据分析。确定每种纹理的有效角度大致范围,然后在有效范围边界左右浮动10°,设置角度梯度为1°,重复进行实验。
3.2 实验结果分析与讨论
3.2.1 实验结果分析
首先测试了10种2D纹理在不同环境光照度时对于HoloLens2的增强效果。参照对照组的实验结果,分析10种2D纹理在不同光照度下的实验结果如表2所示,发现在最低环境光照度下,除了纹理(h)不能使HoloLens2恢复跟踪注册性能,剩余的9种纹理都能让HoloLens2恢复跟踪注册性能。这个结果说明了即使在光照度很低的环境中,只要纹理的发光亮度达到HoloLens2可见光相机的敏感阈值并且纹理中含有角点信息,该纹理对于HoloLens2的夜间跟踪注册就有增强效果,只不过不同纹理对于增强效果的强弱不同。纹理(h)之所以不能使HoloLens2在夜间恢复跟踪注册性能,是因为模糊的纹理边缘会导致纹理中特征点不明显,使得算法检测不到特征点去估计HoloLens2的位置变化。
表2 不同纹理对HoloLens2跟踪注册性能增强效果
Table 2 Different textures for HoloLens2 tracking registration performance enhancements
0.30Lux0.25Lux0.20Lux0.15Lux0.10Lux0.05Lux(a)111111(b)111111(c)111111(d)111111(e)111111(f)111111(g)111111(h)000000(i)111111(j)111111
并且纹理对称与否不影响该纹理恢复HoloLens2的跟踪注册性能,差异只体现在某些指标上增强的效果不同。这恰恰证明了HoloLens2是采用IMU来定姿,环境跟踪相机来定位。HoloLens2位置的改变会导致环境跟踪相机得到关键帧间特征点位置的变化,所以无论纹理是否对称,依然能使HoloLens2在低光照环境中恢复跟踪注册性能。
关于恢复跟踪注册耗费时间、有效距离范围及有效视角范围3种评价指标的实验结果,如图13所示。
图13 3种指标的实验结果
Fig.13 Experimental results of the three indicators
1) 根据分别代表不同标记宽度的纹理(a)、(c)、(d)的实验结果可知,随着标记宽度的增加,标记在3种指标方面的表现也逐渐提升。但这是建立在3种标记纹理特征完全相同的前提下,与纹理(c)标记宽度相同但是特征数量较多的纹理f在3种指标方面的表现要优于纹理(c)。这也说明了纹理对于HoloLens2的增强效果是由特征数量和标记宽度共同影响的。
并且,可以看出纹理(a)的标记宽度是10种标记中最大的,其只在距离指标方面表现是最优的。由此可以认为标记宽度对于标记在距离上的表现是最关键的。更宽的标记使得HoloLens2的环境跟踪相机能够在更远距离上清晰地分辨出纹理上的边缘和角点,进而使HoloLens2能恢复跟踪注册功能。
2) 针对有无轮廓对于增强效果的影响,通过分析纹理(i)、(j)的实验结果得出,纹理(i)、(j)在时间指标方面的表现相差不大,但是在距离和角度指标方面差异较大。有轮廓的纹理在距离和角度指标方面优于无轮廓的纹理。说明轮廓对于提升纹理在距离和角度指标方面的表现起到了关键作用。轮廓的存在充分利用了纹理中的白色部分,轮廓与纹理中的白色部分结合,提供了更稳定的角点特征信息,所以会提升纹理在距离和角度指标方面的表现。
3) 针对角点数量对于增强效果的影响,通过对比纹理(c)、(e)、(f)可知,3种纹理的标记宽度相同,角点数量不同。从图13可以看出,在时间指标方面,按照角点数量由多到少排序,(f)、(e)、(c)耗费的时间分别为8.6、5.6、4.9 s。可以看出纹理(c)与(e)、(f)相差较大,但是纹理(e)、(f)之间相差不大。说明特征点的数量越多,对于时间指标的提升效果越好,但是当特征点数量超过某个阈值的时候,对于指标的提升效果就没有那么明显了。
4) 在距离指标方面,三者的数据相差不大,非常相似。这说明,纹理的标记宽度对于纹理在距离指标方面的影响是关键的,与纹理中角点的数量关系不大。
5) 在角度指标方面,由实验结果可知,当角点数量越多,纹理在角度指标方面的表现越好。这说明当距离一定时,角点的数量越多,在相机视角改变后,才能保证有足够数量相互对应的特征点被检测到,用于估计相机的位置变化。
3.2.2 实验结论
通过对比不同类型的纹理对于HoloLens2的增强效果,总结出了5条纹理的设计原则。
1) 纹理设计不区分对称性。实验结果显示无论纹理对称与否,都能够增强HoloLens2的夜间跟踪注册功能。
2) 纹理中的边缘必须是清晰的、高锐度的。边缘模糊的纹理被实验证实不能够增强HoloLens2的夜间跟踪注册功能。
3) 优先选择有轮廓的纹理。实验结果证明有轮廓的纹理在各方面都优于无轮廓的纹理。
4) 标记的像素宽度选择10较为合适。实验结果证明选择10像素宽度的纹理能够在各个指标方面综合获得更优的效果。
5) 在纹理标记宽度相同的情况下,应选择角点数量更多的纹理。实验结果证明当标记宽度相同时,纹理中的角点数量越多,在角度指标方面表现更优。
以上5条设计原则为之后开发夜间低光照环境下的混合现实项目提供了依据,提高了开发效率。
4 结论
本文中设计了2个实验,分别测试了HoloLens2在低光照环境下跟踪注册性能以及分析,并测试了不同纹理对于HoloLens2的增强效果。实验结果显示HoloLens2能够稳定跟踪注册的最低光照强度为0.4 Lux,荧光纹理在夜间低光照环境用于增强HoloLens2的跟踪注册功能是可行的,并且效果满足正常使用要求。
通过分析实验结果,总结出纹理的5条设计原则或建议,以用于指导后续的低照度环境项目开发,分别为:① 不区分对称性;② 清晰的边缘;③ 拥有包络轮廓;④ 标记像素宽度为10能获得较好的效果;⑤ 标记宽度相同的前提下,应有尽量多的特征角点。
[1] 王崴,李恒威,刘海平,张静,等.混合现实技术在军事中的应用综述[J].兵器装备工程学报,2021,42(9):15-25..
WANG Wei,LI Hengwei,LIU Haiping,et al.Review of the application of mixed reality techniques in the military[J].Journal of Ordnance Equipment Engineering,2021,42(9):15-25.
[2] LIU J,ZHANG J,MEI J,et al.CH-Marker:a color marker robust to occlusion for augmented reality[J].International Journal of Pattern Recognition and Artificial Intelligence,2018,32(2):1854004.
[3] BENLIGIRAY B,TOPAL C,AKINLAR C.STag:A stable fiducial marker system[J].Image and Vision Computing,2019,89:158-169.
[4] VILLEGAS-HERNANDEZ Y S,GUEDEA-ELIZALDE F.Marker’s position estimation under uncontrolled environment for augmented reality[J].International Journal on Interactive Design and Manufacturing (IJIDeM),2017,11(3):727-735.
[5] HÜBNER P,CLINTWORTH K,LIUQ,et al.Evaluation of HoloLens tracking and depth sensing for indoor mapping applications[J].Sensors,2020,20(4):1021.
[6] UNGUREANU D,BOGO F,GALLIANI S,et al.Hololens 2 research mode as a tool for computer vision research[EB/OL].Computer Vision and Pattern Recognition(cs.CV).https://doi.org/10.48550/arXiv.2008.11239,2020:1-7.
[7] LEUTENEGGER S,FURGALE P,RABAUD V,et al.Keyframe-based visual-inertial slam using nonlinear optimization[C]//Proceedings of theRobotis Science and Systems (RSS) 2013,2013:1-9.
[8] QIN T,LI P,SHEN S.Vins-mono:A robust and versatile monocular visual-inertial state estimator[J].IEEE Transactions on Robotics,2018,34(4):1004-1020.
[9] CAMPOS C,ELVIRA R,RODR
GUEZ J J G,et al.ORB-SLAM3:An accurate open-source library for visual,visual-inertial,and multimapslam[J].IEEE Transactions on Robotics,2021,37(6):1874-1890.
[10]MUR-ARTAL R,TARD
S J D.ORB-SLAM2:An open-source slam system for monocular,stereo,and RGB-D cameras[J].IEEE transactions on robotics,2017,33(5):1255-1262.
[11]PARK S,BOKIJONOV S,CHOI Y.Review of microsofthololens applications over the past five years[J].Applied Sciences,2021,11(16):7259.
[12]SOARES I,SOUSA R B,PETRY M,et al.Accuracy and repeatability tests on HoloLens 2 and HTC Vive[J].Multimodal Technologies and Interaction,2021,5(8):47.
[13]YU G,HU Y,DAI J.Topotag:A robust and scalable topological fiducial marker system[J].IEEE Transactions on Visualization and Computer Graphics,2020,27(9):3769-3780.
[14]韩玉仁,李铁军,杨冬.增强现实中三维跟踪注册技术概述[J].计算机工程与应用,2019,55(21):26-35.
HAN Yuren,LITiejun,YANG Dong.Overview of 3D tracking registration techniques in augmented reality[J].Computer Engineering and Application,2019,55(21):26-35.
[15]高凡一.基于特征点的增强现实跟踪注册算法研究[D].兰州:兰州交通大学,2020.
GAO Fanyi.Research on tracking registration algorithm of augmented reality based on feature points[D].Lanzhou Jiaotong University,2020.
[16]KHAN D,ULLAH S,YAN D M,et al.Robust tracking through the design of high quality fiducial markers:an optimization tool for ARToolKit[J].IEEE Access,2018,6:22421-22433.
[17]SCHWEIGER F,ZEISL B,GEORGEL P F,et al.Maximum detector response markers for SIFT and SURF[C]//Proceedings of the Vision,Modeling,and Visualization Workshop 2009,November 16-18,2009,Braunschweig,Germany.2009:145-154.
[18]KHAN D,ULLAH S,RABBI I.Factors affecting the design and tracking of ARToolKitmarkers[J].Computer Standards &Interfaces,2015,41:56-66.
[19]CALVET L,GURDJOS P,GRIWODZ C,et al.Detection and accurate localization of circular fiducials under highly challenging conditions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2016:562-570.
[20]SATTAR J,BOURQUE E,GIGUERE P,et al.Fourier tags:Smoothly degradable fiducial markers for use in human-robot interaction[C]//Fourth Canadian Conference on Computer and Robot Vision (CRV’07).IEEE,2007:165-174.