0 引言
目标识别定位技术被广泛的应用于各军事和民用领域,地理视频是地理空间信息表达的新方法,通过集成视频数据与地理空间数据,提供空间位置与视频影像相结合的信息管理与应用服务,可为现场实时勘测侦察、关键要素信息判读、辅助行动方案决策和执行情况监控提供准确的地理信息数据、现场直观态势一体化系统支持[1-3]。宋建辉等[4]通过引入反卷积模块、预测模块、设计调制系数、合并网络来提高识别精度和视觉定位的实时性,将定位误差控制在0.3 m以内,实现了无人机视觉定位技术实时性的同时也满足了定位精度要求。姜宏伟[5]通过在飞机上搭载红外搜寻系统,通过不同高度和角度对目标进行拍摄,将红外搜寻系统其位置和姿态、目标的图像像素坐标,摄像机的姿态等参数代入坐标系解算出海面目标的空间位置。陈春霜等[6-9]通过特征提取和特征匹配的方式将视频信息和地理信息进行匹配融合进而实现对目标的精准定位。杜海涛等[10-13]提出机器视觉算法、改进融合定位算法、优化图像匹配算法等方式提高无人机的定位精度。为解决拒止环境下无人机无法定位的问题,王世勇等[14]构建了视觉定位系统、设计了靶标检测、靶标偏移量计算及数据平滑等算法,实现了米级水平位置定位。王怀玉[15]利用无人机测绘影像建立地理信息定位坐标并计算出其地面控制点,对控制点分类选取计算地理信息影像的分辨率最高为70%,相对纹理影像提取法分辨率[16]较高。蔡明兵等[17]提出了激光测距对地面主目标测距,根据摄像机焦距与图像的像素坐标得到其余各目标的大地坐标的多目标实时定位技术,极大地提高了无人机侦察效率。
近年来,国内外对视频定位的研究开发取得了显著性进展[18-23],地理视频表达可概括为:① 在固定点位置显示视频和语义信息;② 视频点固定,在地图相应位置绘制视频轨迹。以上2种方法的缺陷在于采用单调的地理图层标记视频帧位置,所表达的地理视频空间信息直观性差,不利于视频影像判读。此外,已有研究成果大多采用地面采集设备获取视频数据,而利用无人机获取资料的研究较少,其中关于无人机视频与三维GIS集成的相关研究更是少有报道,因此开展基于空间信息与视频结合的直接定位方法研究很有必要。
1 数学模型构建
无人机机载计算机实时接收无人机传回的飞行数据及载荷数据,并从中提取元数据信息。元数据信息包括:无人机的经纬度、高度、俯仰角、方位角、侧滚角、云台的俯仰角和方位角,以及视频的分辨率、传感器的水平视场角和垂直视场角;并将接收到的视频帧,根据其时间戳查询该视频帧前后的位姿数据,并进行插值获得当前视频帧所对应的位姿数据信息;再利用数据信息计算视场中心角度,并进行坐标转换,先将DEM数据转换为TIN模型,然后用射线法计算地面点投影坐标,实现对视频帧中框选目标的定位。
无人机地理视频数据获取流程如图1所示,首先测距视频吊舱通过网口将RTSP视频流、视频吊舱的姿态信息和测距信息等数据传输到UCU控制单元,其次无人机飞控单元将无人机的经纬度、高度、俯仰角、方位角、侧滚角等位置、姿态信息传递到UCU单元,最后UCU单元通过网口及图传信传通道将无人机数据传输到数据处理平台,进行视频数据的处理和位置计算,并将定位标注信息显示在三维可视化地图中,实现无人机地理视频定位及可视化功能。
图1 无人机地理视频定位数据获取流程
Fig.1 A schematic diagram of the process for obtaining drone geographic video positioning data
通过无人机控制单元UCU实时接收无人机传回的飞行数据及载荷数据,并从中提取无人机的经纬度、高度、俯仰角、方位角、侧滚角及云台的俯仰角、方位角、传感器的水平视场角、垂直视场角、视频分辨率等数据信息。
将视频数据与POS数据进行时间配准。式(1)中,无人机视频文件创建的时刻为无人机视频结束采集的时刻Tend,其视频开始采集是时刻为Tstart,视频的长度为TL,其三者之间的关系为
TL=Tend-Tstart
(1)
根据视频的起始时刻,获取对应时间段的飞行POS信息,式(2)中,是POS数据内置时间中每一时刻和POS数据的起始时刻的时间差,并计算每一POS点位对应的视频时刻,并将此时刻的视频帧作为视频关键帧,即
Tfly=Tstart-dT
(2)
若视频文件含有关键帧POS信息,或者视频文件没有POS信息,有POS文件时,则对于t＇时刻的视频帧,其POS信息使用线性插值的方法获取:
POSt′=POSt′(t′-t0)+POSt1(t1-t′)
(3)
式(3)中, POSt＇为t＇时刻的POS,PSOt0和POSt1分别是t＇时刻最邻近的前一项和后一项POS记录。
若获得POS记录的位置信息为地理坐标系(lon,lat,alt),则将其转换到投影坐标系(x,y,z)下。提取目标范围边界的像素坐标,转换为像平面坐标,计算公式如下:
(4)
(5)
式(4)、式(5)中:w、h分别为相机像素宽高,由相机参数文件提供;ps为像元尺寸(单位转换为m);(x0,y0)为像主点坐标,由相机检校文件提供;在实际应用中,设定为固定的估算值,像主点坐标(x0,y0)假设为(0,0)进行处理。
利用相机检校参数(x0,y0,k1,k2,p1,p2,s1,s2),纠正像素坐标,得到纠正后坐标(x′,y′);计算过程如下:
(x′,y′)=(x,y)-(Dx,Dy)
(6)
式(6)中,(Dx,Dy)为x和y方向的畸变量,其计算公式如下:
Dx=x(k1r2+k2r4+k3r6)+P1(r2+2x2)+
2P2xy+s1(x2+y2)
(7)
Dy=y(k1r2+k2r4+k3r6)+P1(r2+2y2)+
2P1xy+s2(x2+y2)
(8)
式(7)、式(8)中,IT为像点(x,y)至主点(x0,y0)的距离。
利用相机安置参数、摄影时刻POS信息(X,Y,Z,φ,ω,χ)、纠正后的像素坐标(x′,y′)、相机参数,根据共线方程得到:
(9)
式(9)中, f为相机主距,(X′,Y′,Z′)为传感器安装的偏心误差,(Xt,Yt,Zt)为目标点的投影坐标,
为姿态旋转矩阵,旋转矩阵计算公式为
(10)
式(10)中, Rφ、Rω、Rχ、Rφ′、Rω′、Rχ′计算公式如下:
(11)
式(11)中,(φ′,ω′,χ′)安装角误差。
在共线方程中代入纠正后的像素坐标(x′,y′)、POS信息(X,Y,Z, φ,ω,χ)、相机参数f、相机安置参数(X′,Y′,Z′, φ′,ω′,χ′),根据DEM(机载数据)计算出地面点的投影坐标,然后转换为地理坐标。对于无人机数据,先将DEM数据转换为TIN模型,然后用射线法计算地面点投影坐标;实际处理中,对于无人机数据,近似地取为(x,y)处,即摄影中心正下方的DEM高程值。
2 试验测试及结果分析
地面高精度特征点坐标的采集,采用高精度GNSS定位设备沿着无人机的规划路径顺时针选择地面下水道井盖中心、街边废品回收箱、人行道横线、地面方向标识线等作为地面特征点,并采集每个特征点的经纬度坐标信息进行记录,采集的地面特征点分布如图2所示。
图2 地面高精度特征点分布示意图
Fig 2 Schematic diagram of high-precision feature point distribution on the ground
以无人机搭载航拍视频三维平台的位姿数据、时空统一和可视化的结果对定位精度进行验证。试验系统包括多旋翼无人机、含云台的摄像机、UCU控制单元、地面操控站等组成。搭载含云台摄像机的无人机主要对地面特征点的图像信息进行视频采集;UCU控制单元主要将无人机的(高度、速度、位姿等)飞行参数、云台的方位及俯仰角等数据信息进行实时回传和接收,并完成摄像机拍摄的实时视频回传;地面操控站主要用于远程操控无人机航拍目标和运行视频定位软件。通过放飞搭载含云台摄像机的无人机依次对高精度GNSS测量的地面特征点进行航拍,通过UCU控制单元对航拍的视频信息进行回传至地面站,地面人员根据航拍视频画面和地面特征点的辨识清晰度,挑选出满足要求的地面特征点作为精度验证的定位点,并在地理视频中进行标注,获取定位视频中的地面标识点的经纬度坐标信息,部分标注样式和地面标识点如图3所示,图中的下水道井盖中心、街边废品回收箱、人行道横线和地面方向标识线等特征点的实际位置分别用绿色、粉色、红色和蓝色标识框标识,视频定位位置用白色背景十字标签进行标识。
图3 基于地理视频的地面特征点标注示意图
Fig.3 Schematic diagram of ground feature point annotation based on geographic video
将航拍视频定位软件中挑选的地面标识点的位置坐标和高精度GNSS实际采集的地面标识点位置坐标数据记录如表1所示,对表中的15组地面标识点位置坐标的航拍视频定位数据和实际采集的数据进行位置偏差计算,得到标识点最大的位置偏差为5.395 m,最小的位置偏差为-2.147 m,15组测试定位数据的中误差为3.817 m,可基本满足无人机对地面目标的定位需求。
表1 GNSS实测坐标与视频定位坐标对比
Table 1 Comparison between GNSS measured coordinates and video positioning coordinates
编号视频定位坐标GPS实际采集坐标位置偏差值/mA1632519.7953277251.429632517.4913277249.1254.607A4632544.3233277209.403632545.5443277210.624-2.442A5632578.6163277211.419632576.7653277209.5683.701A6632607.8193277224.370632610.5163277227.067-5.395A7632652.4043277222.910632650.4733277220.9793.862A8632710.5163277231.093632711.8173277232.394-2.601A9632844.6313277241.813632842.8563277240.0383.551A10632906.5283277251.292632903.6423277248.4065.772A12632936.1103277258.292632937.1973277259.379-2.174A14632945.9613277967.257632944.4063277070.7023.109A15632944.6573277048.292632942.3123277045.9474.690A18632906.4603276967.254632908.3373276969.131-3.754A20632771.3943276951.926632769.5683276950.1003.653A21632672.3863277956.266632673.8323277957.712-2.891A24632532.2873277031.466632730.3763277029.5553.882中误差/m3.817
3 结论
为了实现虚拟环境中高精度还原物理现实环境中各种目标位置信息的目的,提出了基于空间信息与视频结合的直接定位方法,利用搭载云台摄像机的无人机对地面标识点进行视频航拍,框选出地面目标所在位置,利用视频定位软件计算出目标的地理位置信息,并在三维可视化地图上进行显示,利用无人机对地面标识点的航拍视频,解算出目标的位置数据信息与高精度GNSS定位设备测量数据进行对比,其位置偏差值可以基本满足无人机对地面目标的定位需求。随着目标定位精度要求越来越高,未来在此定位方法研究的基础上,可通过提高云台的控制精度、航拍视频的清晰度以及定位算法优化等方式进一步提高基于空间信息与视频结合的直接定位精度。
[1] 刘玉雯,吴玲玲,聂亮,等.合成孔径成像对低小慢目标的识别技术研究[J].兵器装备工程学报,2022,43(5):296-302.LIU Yuwen,WU Lingling,NIE Liang,et al Research on recognition technology of low and slow target with synthetic aperture imaging[J].Journa of Ordnance Equipment Engineering,2022,43(5):296-302.
[2] 朱莉凯,沈宝国,杨文杰.基于机器视觉的无人机着降定位技术研究[J].数字技术与应用,2019,37(2):53-54.ZHU Likai,SHEN Baoguo,YANG Wenjie.Research on UAV landing positioning technology based on machine vision[J].Digital Technology &Application,2019,37(2):53-54.
[3] 陈玉权,翟学锋,宋煜,等.无人机高精度定位和视觉自动跟踪融合技术[J].组合机床与自动化加工技术,2021,571(9):103-106.CHEN Yuquan,ZHAI Xuefeng,SONG Yu,et al.UAV high-precision positioning and visual automatic tracking fusion technology[J].Modular Machine Tool & Automatic Manufacturing Technique,2021,571(9):103-106.
[4] 宋建辉,杨佰强,刘砚菊,等.基于改进RESSD网络的地面目标无人机定位技术[J].沈阳理工大学学报,2020,39(6):22-28.SONG Jianhui,YANG Baiqaing,LIU Yanju,et al.Ground target UAV positioning technology based on improved RESSD tetwork[J].Journal of Shenyang Ligong University,2020,39(6):22-28.
[5] 姜宏伟.基于红外图像的海面目标定位技术研究[D].大连:大连海事大学,2018.JIANG Hongwei.Research on sea surface target positioning technology basing on infrared images[D].Da Lian:A thesis Submitted to Dalian Maritime University,2018.
[6] 陈春霜.基于GIS高点视频定位的研究及应用[J].江西通信科技,2022,158(2):27-30.CHEN Chunshuang.Research and application of high point video localization based on GIS[J].Information Technology and Application,2022,158(2):27-30.
[7] 张华刚.基于机器视觉算法的车站人员定位方法[J].自动化与仪器仪表,2023,280(2):81-86.ZHANG Huagang.Station personnel positioning method based on machine vision algorithm[J].Information Technology &Application Automation and Instrumentation,2023,280(2):81-86.
[8] 崔岩,熊智,邢丽,等.基于视觉辅助优化的惯性可通行地图构建与行人定位方法[J].中国惯性技术学报,2023,31(4):335-342.CUI Yan,XIONG Zhi,XING Li,et al.Inertial-based passable map construction and pedestrian localization method grounded in vision-assisted optimization[J].Journal of Chinese Inertial Technology,2023,31(4):335-342.
[9] 宋为刚.基于街景与航拍图像配准的视觉定位技术[D].江苏 苏州:苏州大学,2018.SONG Weigang.A visual localization technique based on street view and aerial image registration[D].Su Zhou:Soochow University,2018.
[10] 王茂琴.基于图像匹配的无人机定位技术[D].西安:西北大学,2022.WANG Maoqin.UAV positioning technology based on image matching[D].Xi’an:Northwest University,2022.
[11] 杜海涛,全春来,周翔.基于无线传感器和视频融合的室内定位技术研究[J].计算机工程与设计,2011,32(1):347-350.DU Haitao,QUAN Chunlai,ZHOU Xiang.Research of indoor location technology based on wireless sensors and video[J].Computer Engineering and Design,2011,32(1):347-350.
[12] 刘瑞兴,段中兴.基于改进SSA的DV-Hop传感器定位算法[J].兵器装备工程学报,2022,43(10):280-287.LIU Ruixing,DUAN Zhongxing.DV-Hop senor location algorithm base on improved SSA[J].Journal of Ordnance Equipment engineering,2022,43(10):280-287.
[13] 曾琛,王玄.基于无人机和CNN图像识别的机场跑道异物搜寻与定位[J].兵器装备工程学报,2022,43(10):10-17.ZENG Chen,WANG Xuan.Airport runway foreign object search and localization base on UAV and CNN image recognition[J].Journal of Ordnance Equipment engineering,2022,43(10):10-17.
[14] 王世勇,刘满,倪蜂棋,等.系留无人机视觉定位技术[J].兵工自动化,2022,41(11):77-83.WANG Shiyong,LIU Man,NI fengqi,et al.Vision positioning technology for tethered UAV[J].Ordnance Industry Automation,2022,41(11):77-83.
[15] 王怀宝.基于无人机测绘的地理信息定位技术[J].现代电子技术,2018,41(22):130-132,137.WANG Huaibao.Geographic information positioning technology based on UAV surveying and mapping[J].Modern Electronics Technique,2018,41(22):130-132,137.
[16] 薛武,张永生,于英,等.沙漠地区无人机影像连接点提取[J].测绘科学技术学报,2017,34(4):405-410.XUE Wu,ZHANG Yongsheng,YU Ying,et al.Tie points extraction of UAV images in desert area[J].Journal of Geomatics Science and Technology,2017,34(4):405-410.
[17] 蔡明兵,刘晶红,徐芳.无人机侦察多目标实时定位技术研究[J].中国光学,2018,11(5):812-821.CAI Mingbing,LIU Jinghong,XU Fang.Multi-targets real-time location technology for UAV reconnaissance[J].Chinese Optics,2018,11(5):812-821.
[18] NASER H M,MILOUD B,TARIK T.UAV-based on platform:A crowd surveillance use case[J].IEEE Communications Magazine,2017,55(2),128-134.
[19] HOLZK F,WOLFF J P,GOLATOWSKI F,et al.Low-complexity online correction and calibration of pedestrian dead reckoning using map matching and GPS[J].Geo-spatial Information Science,2019,22(1):1-14.
[20] DEWANTI F,SUMIHARTO R.Purwarupa sistem penggabungan foto udara pada UAV menggunakan algoritma surf[J].Indonesian Journal of Electronics and Instrumentation Systems,2015,5(2):165-176.
[21] SAURER O,BAATZ G,POLLEFEYS M.Image based geo-localization in the alps[J].International Journal of Computer Vision,2016,116(3):213-225.
[22] 袁泽慧,陈国栋,李世中.四旋翼在移动平台视觉导引自主降落研究综述[J].兵器装备工程学报,2023,44(4):60-67.YUAN Zehui,CHEN Guodong,LI Shizhong.Review on quadrotor vision-guided autonomous landing on a moving platform[J].Journal of Ordnance Equipment Engineering,2023,44(4):60-67.
[23] MUR A R,MONTIEL J M M,TARDOS J D.ORB-SLAM:A versatile and accurate monocular slam system[J].IEEE Transactions on Robotics,2015,31(5):1147-1163.