1 引言
随着虚拟现实技术日新月异的发展，Virtual Reality (VR)由于视场角有限、易晕眩、安全性不高等限制难以满足越来越严格的仿真应用要求，扩展现实(extended reality，XR)技术应运而起。其中，增强现实(augmented reality，AR)、混合现实(mixed reality，MR)技术都能够通过实现虚实融合达到更好的仿真效果。VR沉浸性、逼真度较强，适合应用于游戏，但由于VR看不到现实场景，如果应用于航空航天模拟器或者工业装配，佩戴者的感知与视觉系统不同步易产生眩晕感；AR都是在现实可见的基础上，增加虚拟物体或者虚拟提示，应用于工业装配等操作时，避免了看不见现实场景时危险设备可能造成的伤害[1]，但虚拟物体与现实之间的遮挡和光照一致性很难处理好，适用于对虚拟显示要求相对不是很高，但对安全性要求较高的应用；MR巧妙将现实和虚拟场景融合在一起，能够满足对逼真度、真实性、实时度同时要求较高的应用，特别是应用于模拟系统仿真时，提高了模拟系统的实用性，同时避免了眩晕和光照不一致的问题。
MR技术近些年在教育培训、娱乐传媒、军事、航天航空、医疗健康等方面都取得了重大的突破[2]，特别在军用模拟训练方面。据中国航空工业发展研究中心何晓骁在《空天防务观察》发文称美军于2020年1月开启了视频透视技术在模拟训练中的探索研究[3]。国内在这个方向上的探索也早已开始。经过调研交流，在工业制造方面，601所、615所和118厂都在大力研究视频透视式虚实融合系统在虚拟仿真领域的应用。
MR技术研究重点包括虚拟环境的实景高清视频流的显示、定位处理、自然交互及虚实融合技术等。通过研究解决视觉传感器标定校准技术、头显式高清视频流透视的位姿追踪及虚实配准技术、视口同步技术、高精度人工标识定位技术、视频流绿幕抠像技术及全景拼接算法，能够构建高精度、高沉浸感、低成本的MR应用系统，实现虚实融合的人机自然交互。其中视频透视技术(video see through，VST) 以及光学透视技术(optical see through，OST)能够实现虚拟场景与实物的无缝融合交互。
2 VST与OST对比
2.1 原理
VST是指头戴显示器通过安装在眼镜/头盔上的微型摄像头采集真实场景的图像，如图1所示，计算机通过场景理解和分析将所要添加的信息和图像信号叠加在摄像机的视频信号上，同时将计算机生成的虚拟场景与真实场景进行融合，最后通过头戴式头盔/大显示器等显示载体呈现给用户。
图1 视频透视原理框图
Fig.1 Video see through schematic
OST的特点是让用户能够直接看到真实的环境[4]，如图2所示，在用户眼睛前面放置部分透明的光学合成器，用户透过它可以直接看到真实世界。合成器又是部分反射的，用户同时可以看到从头戴显示器反射到合成器上产生的虚拟图像[5]。
图2 光学透视原理框图
Fig.2 Optical see through schematic
VST相较于传统OST的半透明显示效果更加逼真，对混合现实的实时响应性要求不高，计算机算法实时渲染的影像呈现视角更大，且叠加的图像与现实场景融合得更好。
2.2 应用
VST头盔显示器应用时，由于人眼的视点与摄像机在物理上不可能完全一致，因而可能导致用户看到的景象与实际的真实景象之间存在误差；但视频透视式头盔显示器沉浸性好、实时响应速度高以及虚实光照较为一致，在模拟仿真和交互式游戏应用较多。
OST头盔显示器应用的一个主要问题就是由于前方的光学融合器既允许真实环境中的光线通过，又允许虚拟环境中的光线通过，因此由计算机生成的虚拟物体不能够完全遮挡住真实场景中的物体，使得虚实融合的真实感较差，但OST头盔显示器具有结构简单、价格低廉、安全性好、分辨率高以及不需要视觉偏差补偿等优点，在机械装配和维修系统应用较多[6]。
3 关键技术
视频透视技术属于头戴式MR技术，从头盔制备到交互应用，可以将VST涉及的关键技术分为：VST头盔的制备、跟踪注册算法、虚实遮挡的优化以及人机交互的方法。
3.1 VST头盔显示器制备
针对VST的应用，VST显示器分为自制和商用2种。早期VST显示器根据不同的应用需要，由实验室根据VST显示原理制备，效果主要根据应用需要判定；后期由于MR游戏的兴起，商用VST显示器不断络绎不绝，并不断更新换代中。
3.1.1 自制VST显示器
2011年，任超宏[7]基于虚拟相机位置的立体图像生成方法得到虚拟模型的立体显示，采用了一种新型头盔显示器显示虚实融合图像，如图3，头盔显示装置可对两个摄像头之间的距离进行调整，缓解了现有的双目VST头盔容易让佩戴者感到头晕等不良症状；2012年，徐刚强[8]对可控畸变鱼眼镜头相机的建模、标定和成像校正进行了研究，针对可控畸变鱼眼镜头的实例—椭圆全景镜头在视频监控中的应用，研究了镜头成像畸变的多视角漫游校正，通过并行处理提高了畸变校正算法的效率；2017年，张汉军[9]针对双目头盔显示器关键技术进行了研究：结合双目视场匹配特性，通过研究得到双目镜片安装的相对位置要求，并通过对头盔显示系统的设计，实现了一个初步的双目头盔信息显示系统；2018年，吴智敏[10]采用双目校正以及摄像机参数调整的方法对VST头戴显示器视觉效果进行了优化，建立了由图4所示的VST头戴显示器、混合跟踪模块、三维注册算法、虚实遮挡处理等软硬件构成的装配训练系统操作平台。
图3 任超宏自制VST显示器
Fig.3 Ren Hongchao self-made VST display
图4 吴智敏自制VST显示器
Fig.4 Wu Zhimin self-made VST display
自制VST头盔相较于商用头盔，能更好得符合实际应用要求，但分辨率、视场角(field of view，FOV)、实时性等仍有待于从硬件上进行优化。目前自制VST显示器的研究主要在提高显示分辨率、还原大视角、增强跟踪实时性和改善光照一致性等方向。
3.1.2 商用VST显示器
2015年，在巴塞罗拉世界移动通信大会上，HTC和VALVE合作推出了一款虚拟现实头戴式显示器——HTC Vive系列[11]，具备手势追踪功能，如图5所示为HTC Vive Pro。图6中的Hololens是微软公司2015年发布的一种MR头显[12]，通过追踪佩戴者的移动和视线，生成适当的虚拟对象，并支持手势交互；2016年11月，亮风台发布第二代AR眼镜HiAR Glasses，如图7所示。这款眼镜采用骁龙820处理器，支持手势识别，可实现视觉交互、空间感知较好的AR体验[13]。Magic Leap One于2018年开始在美国售卖[14]，如图8，ML One外形奇特，视觉效果清晰生动，但其视场角让人不够满意，无法满足大视角沉浸。
图5 HTC Vive Pro
Fig.5 HTC Vive Pro
图6 微软Hololens
Fig.6 Microsoft Hololens
图7 HiAR Glasses
Fig.7 HiAR Glasses
图8 Magic Leap One
Fig.8 Magic Leap One
表1统计了市场上主流VST显示器的相关参数，可见商用VST显示器视场角和分辨率差强人意，多应用于进一步工业开发或者VR游戏中，外观精致，佩戴较自制显示器舒适，功能多样化，普遍带有多传感器，便于人机交互。
表1 商用VST显示器参数
Table 1 Commercial VST display parameters comparison
VST头显分辨率市场角/(°)内存/GB传感器HTC Vive单眼1 440×1 600,双眼3K(2 880×1 600)1104SteamVR追踪术、G-sensor校正、gyroscope陀螺仪、距离感器、双眼舒适度设置Hololens2K524可见光摄像机、红外摄像机、ToF深度传感器、陀螺仪、加速度计、磁强计HiAR Glasses1 300万像素304陀螺仪、重力传感器、霍尔传感器、数字指南针Magic Leap One1 280×960504LRA触觉设备、DoF传感器、触摸敏感、带扩散器的12-LED环
3.2 跟踪注册算法
跟踪注册是实现虚拟环境与现实环境空间位置映射转换的算法，是实现VST最为重要的一部分[15]。目前视觉跟踪领域中主要算法有TLD(tracking-learning-detection，跟踪-学习-检测算法)、Struck(structured output tracking with kernel，核结构化输出跟踪算法)、CT(compressive tracking，压缩跟踪算法)以及KCF(kernel correlation filter，核相关滤波算法)[16]等，但是跟踪速度和跟踪效果都存在很大的改进空间。
2010年，陈靖等[17]根据圆明园大水法景观的特点，提出基于关键帧匹配的增强现实跟踪注册算法，采用随机树的特征识别分类方法实现图像间的特征匹配，据此构建了基于VST头盔显示器的移动增强现实系统。2014年，孙洪兴[18]针对目标的跟踪精度和实时性要求不能同时满足的情况下，设计了一种基于自然特征实时跟踪的新方法，由基于人脸识别和自然特征的跟踪技术实现，构建了一种虚拟眼镜试戴系统的原型。2015年，严玉若[19]对基于自然特征的三维注册进行了深入研究，提出了一种基于非线性尺度空间的无标记注册方法。2018年，Yu-Kai Chen等[20]利用商用相机和无边框LED面板实现了一个色彩调节系统，通过提出的HDR和颜色映射技术，有效地获取了真实场景的三维信息。2019年，林思源等[21]针对人工标识注册的局限性与自然特征注册的速度限制，通过引入黑色边框，结合自然特征设计了一种新的标识物注册方法，利用视频帧中标识物的边缘特征完成了标识的初定位与快速跟踪。同年，Peng-Xia Cao等[22]提出了一种结合检测器和跟踪器的有效的无标记跟踪配准算法，采用LK(Lucas-Kanade)光流跟踪器实时跟踪被检测目标，提高了跟踪精度和速度。2020年，杨靖帆等[23]针对KLT(kanade-lucas-tomasi)跟踪稳定性较低、抗遮挡性较差以及直接使用特征点注册精度较低等问题，提出一种使用局部特征描述改进的LK跟踪注册方法(DF-LK)，提高了光照变化、轻微运动模糊和较大透视变化等情况下的跟踪稳定性和精度。
跟踪注册算法作为实现VST虚实融合技术的最关键算法[24]，主要技术体现在对图像处理的标识交互。比较常用的3种注册手段有：基于人工标识、基于自然特征，和基于无标识。基于人工标识的方法计算量小，算法相对成熟，在恶劣光照下鲁棒性高，但存在视觉污染和操作复杂等问题[25]。基于自然特征的方法对无纹理目标鲁棒性较好，但点云数据量庞大，对硬件运算能力要求较高[26]。基于无标识的方法不需要手动初始化位姿，具有良好的实时性和鲁棒性，避免了因特征点少引起的位姿抖动，但跟踪精度低、算法相对复杂[27]。目前较为主流的研究方向是结合人工标识的优点，将人工标识融汇于自然标识或无标识算法中，跟踪注册效果得到了显著提高[28]。
3.3 虚实遮挡
在XR系统中，当虚拟场景被真实场景错误遮挡时，容易产生空间位置错乱和用户感官迷失的问题[29]，如图9所示。所以利用计算机视觉和图像处理等原理，处理好虚实遮挡问题，尤为关键。
图9 虚实遮挡图
Fig.9 Contrast of virtual and real occlusion
2010年，Amir H.Behzadan等[30]提出了一种基于深度感知算法和帧缓冲处理算法的AR遮挡处理系统，能够在实时动态增强现实环境中解决堵塞错误的发生。2010年，田元[31]以基于轮廓跟踪的虚实遮挡处理方法为出发点，引入计算机视觉、数字图像处理、算法的复杂性分析和非线性优化等相关理论，围绕半自动实时虚实遮挡处理方法、自动实时虚实遮挡处理方法和非刚性物体虚实遮挡处理方法等技术内容展开了深入的研究与实践。2015年，严玉若[19]对AR系统虚实融合一致性方面进行深入的研究，提出了一种基于视频透视AR系统的虚实融合运动一致性模拟方法。2018年，铃木伸介等[32]针对双目头盔显示器的遮挡矛盾问题，结合计算机图形学进行了心理物理实验，发现在重叠区域垂直边缘深度不能绝对确定的情况下，会产生感知不稳定，导致双目对抗的问题。
国内外对于虚实遮挡方面的研究不够系统，相关理论有待于根据实际实验需求进一步探索。
3.4 人机交互
2011年，Gun A.Lee和Mark Billinghurst[33]提出了一种Snap-To-Feature的交互方法，通过吸引用户输入点到AR场景中的图像特征帮助用户进行更精确的触摸屏交互。2014年，刘铁良[6]着重研究了手势图像分割、指尖定位检测等关键技术，通过人手与虚拟模型进行交互的手指检测识别等算法，实现了一种更加自然和智能的人机交互方式。2015年，何贞毅[34]针对三维交互界面、以手势为主的交互手段以及应用性广泛的徒手三维建模场景进行了研究与评估，设计并实现了徒手三维建模的应用场景。2016年，李玄基[35]开发并实现了一种基于HoloLens增强现实的检测定位交互系统，可检测识别设备并定位其物理位置，并能通过Gaze、Gesture、Voice等方式，与叠加的3D模型进行移动、旋转、分解等多种交互动作。2017年，李佳宁[36]研究了基于RGB-D摄像机的增强现实系统中的关键技术，提出了一种新的基于Frame-to-Model的SLAM系统框架，设计了一套用户能够直接用手触控的增强现实人机交互系统。
现在的人机交互主要体现在手势交互、手持标识交互、声音交互等方式，在增强现实和混合现实方面都大大增加了系统的虚实融合效果。
4 结论
1) 分析了头盔显示器、跟踪注册、虚实遮挡、人机交互的国内外发展现状和技术难点，提出了这四项技术目前的发展瓶颈和应用优势，可为VST在虚拟仿真领域的应用提供参考。
2) 针对VST视场角小的问题，一方面可以对鱼眼镜头和360°镜头的拉伸还原进行研究，另一方面可以对摄像头与头盔视场角不相等产生的黑色缝隙进行虚拟填充；
3) 针对VST分辨率不高的问题，可以在高分辨率摄像头与头盔实时响应能力之间进行调节；
4) 针对跟踪注册效果不稳定，可以结合绿幕算法、人工标识、无标识、自然标识算法的原理和优势，对跟踪注册算法进行优化；
5) 针对虚实融合和虚实遮挡问题，可以尝试结合机器学习算法进行优化。
6) 视频透视技术在驾驶、飞行、航空、军事训练模拟系统中都可以发挥其优势，但在交互游戏的制作上造价高于VR游戏，在旅游业、博物馆展览时可以充分发挥其优势，在成本可以接受的范围内充分应用视频透视技术，增加应用的安全性和逼真度。
[1] 陈祎荻．利用AR技术构建虚拟助航系统的应用技术研究[J].天津航海，2021，70-72.
Chen H D.Research on application technology of virtual navigation aids system based on AR[J].Tianjin Maritime，2021，70-72.
[2] 吴凤明.飞行模拟器动感模拟关键技术研究[D].哈尔滨：哈尔滨工业大学，2010.
Wu F M.Research on key technology of dynamic simulation of flight simulator[D].Harbin：Harbin Institute of Technology，2010.
[3] 何晓骁，“XR”与人工智能技术在美军“飞行员未来训练”计划中发挥作用[N].中国航空报，2020.
He X X.The role of "XR" and artificial intelligence technology in the US Army’s “pilot future training” program[N].China Aviation News，2020.
[4] Martin Klemm，Fabian Seebacher，Harald Hoppe.High accuracy pixel-wise spatial calibration of optical see-through glasses[M].Computers & Graphics，2017.
[5] 康绍鹏，增强现实关键技术研究[D].沈阳:沈阳航空工业学院，2009.
Kang S P.Study of the key technology of augmented reality[D].Shenyang Institute of Aeronautical Engineering，2009.
[6] 刘铁良.增强现实系统中人机交互技术研究[D].大庆：东北石油大学，2014.
Liu T L.Research on human-computer interaction technology in augmented reality system[D].Daqing:Northeast Petroleum University，2014.
[7] 任超宏.面向增强现实头盔显示器开发与立体显示技术研究[D].广州：广东工业大学，2011.
Ren H C.Stereoscopic vision and head mounted display design for augnented reality[D].Guangzhou:Guangdong University of Technology，2011.
[8] 徐刚强.可控畸变鱼眼镜头标定和成像校正方法研究[D].合肥：合肥工业大学，2012.
Xu G Q.Camera calibration and image correction for controlled distortion fisheye lens[D].Hefei:Hefei University of Technology，2012.
[9] 张汉军.双目头盔显示器关键技术研究[D].南京：东南大学，2017.
Zhang H J.Research on the key technologies of binocular head mounted display[D].Nanjing:Southeast University，2017.
[10] 吴智敏.视频透视式混合现实装配训练系统设计[D].广州：广东工业大学，2018.
Wu Z M.Design of video see-through mixed reality system for manual assembly training[D].Guangzhou:Guangdong University of Technology，2018.
[11] 凤凰科技.HTC鲍永哲：VR技术将是人类的里程碑[N/OL].A，[2016-11-04].http://news.candou.com/719187.shtml.
Phoenix Technology.HTC Bao Yongzhe:VR technology will be a milestone for mankind[N/OL].A，[2016-11-04].http://news.candou.com/719187.shtml.
[12] admin.微软MR头显HoloLens测评[N/OL].ARinChina，[2017-03-23].http://www.arinchina.com/article-5804-1.html.
Admin.Microsoft MR head display hololens evaluation[N/OL].ARinChina，[2017-03-23].http://www.arinchina.com/article-5804-1.html.
[13] 杜宇.亮风台发布搭载高通骁龙820的第二代AR眼镜HiAR Glasses[N/OL].动点科技，[2016-11-09].https://cn.technode.com/post/2016-11-09/ar-hiar-glasses.
Du Y.Liang Fengtai releases the second generation of AR glasses HiAR Glasses with Qualcomm snapdragon 820[N/OL].Moving point technology，[2016-11-09]. https://cn.technode.com/post/2016-11-09/ar-hiar-glasses.
[14] 北京青亭远见传媒有限公司官方帐号.Magic Leap One正式发布，你想知道的都在这里[N/OL].青亭网，[2018-08-08].https://baijiahao.baidu.com/s?id=1608245532609508649&wfr=spider&for=pc. Official account number of Beijing Qingting farsighted Media Co.，Ltd.Magic leap one is officially launched，all you want to know is here[N/OL].Qingting.com，[2018-08-08].https://baijiahao.baidu.com/s?id=1608245532609508649&wfr=spider&for=pc.
[15] 雍玖，王阳萍，党建武，雷晓妹.改进TLD与ORB的AR系统长时跟踪注册方法[J].计算机工程与应用，2021，183-189.
Yong J，Wang Y P，Dang J W，et al.Long term tracking registration method for AR system based on improved TLD and orb[J].Computer engineering and Application，2021，183-189.
[16] Henriques J F，Caseiro R，Martins P，et al.High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2015，37(3):583-596.
[17] 陈靖，王涌天，林精敦，等．基于增强现实技术的圆明园景观数字重现[J]．系统仿真学报，2010，22(02):158-162.
Chen J，Wang Y T，Lin J D，et al.Digital reconstruction of yuan ming yuan based on augmented reality technology[J].Journal of System Simulation，2010，22(02):158-162.
[18] 孙洪兴．增强现实中基于自然特征的跟踪技术研究[D]．沈阳：沈阳工业大学，2014.
Sun H X.Research on tracking technology based on natural features in augmented reality[D].Shenyang:Shenyang University of Technology，2014.
[19] 严玉若．增强现实中视觉反馈关键技术研究[D]．上海：上海大学，2015.
Yan Y R.The research on key technology of visual feedback in augmented reality[D].Shanghai:Shanghai University，2015.
[20] Chen Yukai，Chen Chunho，Huang Yipai.79-3:Color adjustment for video-see-through AR and camouflage application[J].SID Symposium Digest of Technical Papers，2018，49(1).
[21] 林思源，何汉武，朱腾，等．基于方形边框标识的增强现实三维注册方法[J]．传感器与微系统，2019，38(04):68-71.
Lin S Y，He H W，Zhu T，et al.Augmented reality 3D registration method based on square border identification[J].Transducer and Microsystem Technologies，2019，38(04):68-71.
[22] Cao P X，Li W X，Ma W P.Tracking registration algorithm for augmented reality based on template tracking[J].International Journal of Automation and Computing，2019(prepublish).
[23] 杨靖帆，何汉武，吴悦明．局部特征描述改进的LK跟踪注册方法[J]．计算机工程与设计，2020，41(02):166-172.
Yang J F，He H W，Wu Y M.Improved lucas kanade tracking and registration method based on local descriptor[J].Computer Engineering and Design，2020，41(02):166-172.
[24] Cao P X，Li W X，Ma W P.A tracking registration method for augmented reality based on multi-modal template matching and point clouds[J].International Journal of Automation and Computing，2021，136-147.
[25] Madjid Maidi，Fakhreddine Ababsa，Malik Mallem，et al.Hybrid tracking system for robust fiducials registration in augmented reality[M].Signal，Image and Video Processing，2015(4).
[26] 曾祥磊．基于几何特征的三维点云配准算法研究[D]．济南：山东大学，2020.
Zeng X L.Research on 3D point cloud registration algorithm based on geometric features[D].Jinan:Shandong University，2020.
[27] Sun B，Hou S S，Zeng S，et al.3D characterization of porosity and minerals of low-permeability uranium-bearing sandstone based on multi-resolution image fusion[J].Nuclear Science and Techniques，2020，117-136.
[28] 张华，郑国勋，付浩海．面向自然特征的增强现实中高精度目标跟踪注册研究[J]．长春工程学院学报(自然科学版)，2021，74-78,109.
Zhang H，Zheng G X，Fu H H.Research on high precision target tracking registration in augmented reality based on natural features[J].Journal of Changchun Institute of Engineering (Natural Science Edition)，2021，74-78,109.
[29] Yuan T，Yan L，Dan X，et al.Handling occlusions in augmented reality based on 3D reconstruction method[M].Neurocomputing，2015，17(4).
[30] Amir H，Behzadan，Vineet R.Kamat.Scalable Algorithm for resolving incorrect occlusion in dynamic augmented reality engineering environments[J].Computer‐Aided Civil and Infrastructure Engineering，2010，25(1).
[31] 田元．增强现实中的虚实遮挡处理方法研究[D]．武汉：华中科技大学，2010.
Tian Y.Research on occlusion handing between virtual and real world in augmented reality systems[D].Wuhan:Huazhong University of Science and Technology，2010.
[32] 鈴木 伸介，前田 太郎，舘[ススム].人工現実感における遮蔽矛盾問題の知覚への影響[J].日本バーチャルリアリティ学会論文集，2018，2(3).
[33] Lee，Gun A，Billinghurst，Mark.A user study on the snap-to-feature interaction methods[J].IEEE International Symposium on Mixed and Augmented Reality 2011 Science and Technolgy Proceedings，2011，8(3).
[34] 何贞毅．混合现实眼镜的交互设计与应用研究[D]．上海：上海交通大学，2015.
He Z Y.Interaction design and application study with mixed reality glasses[D].Shanghai:Shanghai Jiaotong University，2015.
[35] 李玄基．基于HoloLens增强现实的关键技术研究与实现[D]．成都：西南交通大学，2019.
Li X J.Research and implementation of key technologies based on hololens augmented reality[D].Chengdu:Southwest Jiaotong University，2019.
[36] 李佳宁．基于RGB-D摄像机的增强现实系统关键技术研究[D]．杭州：浙江大学，2017.
Li J N.Research on key techniques of RGB-D camera based augmented reality system[D].Hangzhou:Zhejiang University，2017.
[37] Dong Y C，Ji L L，Wang S B，et al.Accurate 6DOF pose tracking for texture-less objects[M].IEEE Transactions on Circuits and Systems for Video Technology，2020(99)．