迷彩技术对于移动目标具有非常重要的作用。迷彩设计通常包含3个流程。即:背景采集—特征提取—图案设计。背景采集是伪装设计的首要步骤,对伪装的最终效果具有决定性作用。传统方法以地面采样为主。在主要活动区域确定背景抽样点后,通过地面测色仪器或者光谱仪获取背景颜色数据。因此,地面采样仅能采样单个点的颜色样本。采用空中正射投影成像的采样方法一定程度上能够克服这些问题。GJB7959—2012[1]中规范了地面迷彩伪装背景的空中采样方法。固定目标的有效背景是9倍的目标投影面积范围,因此通过小范围空中成像容易获取背景数据。
对比于固定目标而言,“公里级背景”一般指运动目标所涉及的背景区域。公里级背景指面积在1 km2以上的背景。由于整体背景范围较大,快速获得整体背景分布存在一定的难度。从目前的技术途径来看,可以考虑用以下3种方式实现。一是分析卫星数据,包括高光谱数据和可见光数据,通过像元分类或人工区域划分获取整个背景的整体特征。卫星图片的人工区域划分的优点是快速,但缺点是精准度较低、色差大。另一方面,实时的卫星数据通常难以获得。二是根据所要伪装的目标任务和本次伪装所针对的作战行动,有选择的划定部分采样区域,以压缩采样范围。如后勤运输车辆目标主要的运动范围是黄土路背景和水泥路、柏油路背景。道路背景类型单一,可直接确定采样范围完成采样任务。三是通过低分辨率无人机采样。由于第一、二种方式处理方法不具有通用性,针对这无人机采样方法展开研究。
另一方面,由于数据量过大,基于成像的采样方法无法做到全部采样并处理全部数据。以20 km×15 km范围的背景为例,以0.1 m分辨率全采的情况下图像像素量将超过300亿。以现有的成像设备估算2 000万像素图像为20 MB数据,则全部采样将达到30 GB的数据量。而应用于运动目标的变形迷彩适用范围通常远超过这一面积。因此,文中通过抽样的方法解决这一问题。
特征提取通常根据图像分割获取具有不同特性的背景斑块。提取背景的主色和斑点形状特征,为伪装设计提供技术支撑。目前的研究主要以主色分析为基点,通过图像聚类实现主色和斑点特征提取。马栋良等[2]研究了基于模糊聚类的迷彩斑点提取算法。吴凡等[3]分析了FCM聚类算法和分水岭算法的分割效果。张勇等[4]在Lab颜色空间中选择色差尽可能大的标准伪装色作为初始聚类中心,由最小色差原则和相邻元素特征共同决定目标像素归属,采用K均值聚类算法选取迷彩伪装色。喻均等[5]对比了SOFM算法和均值聚类算法的背景特征提取效果,结果表明SOFM方法能更好地保留细节纹理。Liu等[6]为了提高效率,将图像像素从聚类样本空间映射到量化颜色空间,采用改进的模糊聚类算法获取背景主色。
综上,背景采样和特征提取过程存在以下不足。一是传统背景采集和伪装特征提取方法无法适用于移动目标的背景。二是基于像素点颜色的直接聚类的方法使图像分割的粒度太小,难以有效应用于图案设计。
因此,针对公里级范围背景采样问题,基于系统抽样法提出了两级采样流程。然后提出了三种特征组合的区域特征描述方法。最后通过超像素分割聚类得到背景的区域的特征划分。
两级采样思路如下:第一级采样通过系统抽样法,得到背景区域的小规模抽样数据集,分析该数据集获取背景中地物和地貌的分布和比例状况,然后再进行有针对的二次采样,获得背景中地物和地貌的具体纹理、主色以及斑点等具体特征[7]。
设待采样区域大小为M×N,将其横向划分为m个、纵向划分为n个采样间隔。从均匀分布中产生样本点x1~U(0,1), y~U(0,1)。根据系统抽样法的原则,可确定一级抽样点为其中i=1,2,…,m-1, j=1,2,…,n-1,共计得到m×n个采样点。开展采样作业时,每个作业点的采样面积不小于p1。采样后经人工分析,得到c种背景或地物地貌类型。构建矩阵Am×n,依据其各个采样点的主要背景类型取值为1,2,…,c。同时可估算各种类型背景的总体占比Q=[q1,q2,…,qc]。
经上述系统抽样,可基本确定在背景的整体类型和分布状况。根据任务需求确定对各类型背景的感兴趣度向量 R=[r1,r2,…,rc], s.t. min(R)>0 and 设总抽样次数为w,依据“接受-拒绝”抽样法确定二级采样点。构建辅助采样z~U(0,1),同时采样x2~U(0,1),y2~U(0,1)。若辅助采样z满足式2,则接受此次采样,直至采样点数量达到总抽样次数w。式(1)中⎣·」表示向下取整。作业时每个二级点面积不小于p1。二级采样的图像分辨率应根据极限侦察分辨率确定:
s=A(⎣x2m」, ⎣y2n」)
(1)
max(R)·z
(2)
上述方法中,需要确定的参数为背景采样间隔m、n,采样面积p1、p2以及感兴趣度向量R。当采样间隔数量越多时,第一级采样任务量越大,但同时对于背景类型的分布感知也越精准。因此,应当尽可能提升飞行器高度,扩大成像设备视场。确定采样点数量和任务时间要求后,一级采样面积p1应当设置尽可能大以确保采样面能够涵盖不同类型的背景大斑块,进而确定分布状况。为了机动目标的伪装的需求,二级采样面积应当不小于典型地物和地貌的最小面积。感兴趣度R表示采样时对不同背景类型的重要性倾向程度。此外,若一级采样点采集的背景中包含2种以上重要背景类型,可多次构建对应的Ai、Ri,i=1,2,…,e实施二级采样。若所构建的Ri满足约束条件(式(3)),可将该采样点各背景的最大感兴趣度作为rs:
(3)
采样整体流程总结如图1所示,其中蓝色框图代表输入参数,绿色框图表示算法输出结果。
图1 两级背景数据采样方法流程图
Fig.1 Flow chart of two-level background data sampling method
对采集到的多幅图像拼接合成,能够得到大场景的背景图像数据并去除图像的重叠区域。图像的拼接合成通常包括特征点描述、变换矩阵构建和重复部分融合3个步骤。采用SURF[8-9]特征点描述方法构建特征集。为了提高算法效率,根据采样重复率,计算重复区域的特征点以提高算法效率[10]。采用RNASC算法[11]构建配对特征点的变换矩阵,以剔除误匹配点。由于采样在同一时段进行,可认定环境的亮度变化较小。因此采用平均融合法对重复部分进行融合,以提高计算效率。
(4)
式(4)为变换方程。其中代表转换后的特征点坐标,[xi,yi]代表变换前的特征点坐标。矩阵
为变换矩阵。若控制空中成像设备的高度和俯仰角不动,那么d和b值为0,a和e值为1,方程中仅包含平移参数c、f。由此可快速合成背景图像使满足采样面积要求。
设背景图像像素为u×v,将图像颜色空间转换至CIELab均匀颜色空间,像素点的颜色采用[Lij,aij,bij](1≤i≤u,1≤j≤v)表示。因此任意两像素k,t之间色差可表示为
(5)
由于背景的部分区域表现出颜色单一性差、纹理特性明显,因此同时采用旋转不变LBP纹理[12-13]方法描述背景图像特征。其计算方法如下:
(6)
(7)
(8)
其中: ROR(LBPr,p,h)表示对LBPr,p进行h次逐位循环右移。xr,n,p表示以r为半径所对应的p个圆周上像素中的第n个像素点。能够逐像素点生成特征图,而纹理的统计描述方法和频谱描述方法需要以图像块作为描述基础,会使近邻像素高度相似产生模糊效应[14]。此外,
描述了周边灰度起伏特征,因此使用汉明距离度量不同纹理元特征之间的差异性,即:
(9)
此外,像素间的欧氏距离可以表示为
(10)
两像素k,t之间的综合特征差异可度量为
Dr,t=dlab(r,t)+αwdw(r,t)+αxydxy(r,t)
(11)
超像素是指具有相似纹理、颜色、亮度等特征值的图像块,这一概念由Ren等[15]于2003年提出。在背景分割时,将与目标面积大小相当的背景图像块设定为超像素有助于防止图像过分割,同时减少算法复杂度。本文在特征描述的基础上,采用SLIC[16-17](simple linear iterative clustering)算法实现背景超像素分割。
设预分割超像素数量为K。设置初始化超像素中心种子点在图像之间的间距为为避免初始超像素中心位于极大值处影响后续聚类过程,移动超像素中心至3×3窗口区域的梯度最小值。在每个种子点为中心的2q×2q方形区域内实施特征度量和聚类。聚类迭代的终止条件设定为前后两次迭代中心像素点差的和小于所设定的阈值。
对超像素图像聚类而不是原始图像直接计算能大幅降低算法复杂度。以k-means聚类[18-19]算法为例,聚类个数为k,数据量为u×v,迭代次数为,两像素点间的距离度量耗时为d。传统聚类算法需要计算所有像素点到每一个聚类中心的距离,时间复杂度为O(u×v×k×d×t)。超像素分割方法中像素数量为K,时间复杂度为O(u×v×k×d′×t)。d′与d的区别在于超像素分割中计算聚类中心时需要对每一个超像素增加系数,因此其算法复杂度为O(K×k×d′×t)。基于超像素的聚类算法比传统聚类要快倍。
为了验证两级采样方法的有效性,实验采集了某地15 km×20 km大小区域的背景,采样过程数据记录如表1所示。一级采样共计采样了12个位置,每组作业之间间隔 5 km,采样地理坐标经度范围为75.560°E~75.737°E,纬度范围为39.348°N~39.480°N。一级采样单个作业点面积不小于0.8 km2,每次成像时横向和纵向图像重叠率设置为20%。使用的无人机型号为大疆精灵4RTK,单幅图像像素量为 5 472×3 648。
表1 背景采样记录表
Table 1 Background sampling record
任 务 设 置任务来源实验测试作业时间2021.11.22—2021.11.23作业经度范围75.560°E~75.737°E作业维度范围39.348°N~39.480°N作业面积300 km2环 境 参 数采集季节冬季天气晴朗平均风速1 m/s大气能见度12 km平均地面照度1 236lx航 拍 参 数飞行高度≯500 m单幅图像像素数量5 472×3 648镜头焦距8.8 mm感光像元尺寸2.41 μm镜头俯仰角-90°单个采样作业面积≯0.25 km2采 样 设 置一级采样二级采样地面分辨率13.69 cm3.15 cm采样面积≯0.8 km20.25 km2图像重复率20%20%t采样点数量1212横向采样间隔5 km—纵向采样间隔5 km—
采样的位置显示在电子地图上的结果如图2所示,采样编号的顺序是优先从左至右,其次从上到下。需要注意的是,由于图2中红色框图标定的采样点为山区无人区,作业开展困难;另一方面作战时武器装备大概率不会抵达该区域,因此为了方便作业,采样的位置进行了相应的修订(红色箭头指示)。图2中的白色圆圈为无人机成像点位。采样时能见度为12 km,成像条件较好。通过拼接与合成,得到的一级采样结果如图3所示。
图2 一级采样无人机成像位置示意图
Fig.2 Schematic diagram of UVA imaging position of first stage sampling
图3 一级采样结果示意图(原图经拼接后边缘不齐,图片经裁切和压缩便于展示)
Fig.3 Schematic diagram of first stage sampling results(the pictures are processed for display)
分析每个数据编组中图像数据,可以确定该15 km×20 km地域基本包含戈壁滩、柏油路、农田、村庄、树木、砂石路、土路、河流和沙滩等地物和地貌,每组图像数据中包含的地物见表2。部分地物与地貌的主色和纹理特点是基本一致的,因此在确定主色种类数量时可以考虑将类型一致的背景进行合并。下面通过分割与聚类获得具体占比,再结合任务属性和伪装系统特性确定主色种类数量。
表2 各组图像数据中主要地貌及其特征分析
Table 2 Analysis of main landforms and their characteristics in each group of image data
数据编组主要地物主色及纹理特点数据编组主要地物主色及纹理特点1戈壁滩柏油路土黄色棕黑色7戈壁滩沙滩土黄色青灰色2农田村庄戈壁滩柏油路树木深黄色各种颜色土黄色棕黑色浅绿色8农田砂石路河流村庄柏油路深黄色、土黄色为主青灰色浅蓝色各种颜色棕黑色3农田村庄柏油路深黄色、条纹状土黄色为主棕黑色9戈壁滩农田土路土黄色深黄色土黄色4戈壁滩农田砂石路土黄色深黄色、土黄色为主棕灰色10戈壁滩土路土黄色土黄色
续表(表2)
数据编组主要地物主色及纹理特点数据编组主要地物主色及纹理特点5戈壁滩土路河流土黄色土黄色为主浅蓝色11戈壁滩土黄色6农田河流沙滩砂石路戈壁滩深黄色为主浅蓝色青灰色青灰色土黄色12戈壁滩土路村庄土黄色土黄色各种颜色
经过手动对采样数据的估算可知,该区域背景中的戈壁滩占比64.3%,主要存在于1,4,5,7,9,10,11,12号区域内。农田和村庄占比26.1%,主要存在于2,3,4,8号区域内。河流与沙滩背景占比5.5%,主要存在于6号区域内。道路背景(包含土路、砂石路、柏油路)占比4.1%,主要存在于1,2,3,4,5,6,8,9,10号区域内。其占比见图4所示的饼状图。另外,树木等林地背景占比基本可以忽略不计,不纳入考虑范围。将农田与村庄一起纳入同一背景的原因是一方面村庄与农田背景总是相连接,另一方面村庄背景色差和纹理随机特性较大。各个类型地物背景占比如图4所示。
图4 背景中主要地物类型占比
Fig.4 Proportion of main features types in background
得到背景类型的基本分布后展开二级采样作业。根据戈壁滩、村庄农田、河流沙滩和道路的次序确定矩阵A和感兴趣度向量R。由于河流和沙滩等区域在作战时人员和武器装备基本不会接触,因此感兴趣度设定为0。戈壁滩背景类型相对单一,感兴趣度设定为0.1,道路为机动目标主要接触背景,感兴趣度设定为0.6,农田和村庄背景感兴趣度为0.3。二级采样总采样次数w=12。根据以上条件实施作业点采样,最终确定采集戈壁滩数据3组,农田和村庄背景3组,道路背景6组。
以图5(a)所示的农田背景为例,研究基于超像素分割特征提取算法的效能。图5(b)、图5(c)中分别展示了原始k-means聚类算法主色参数设定为2和3所生成的结果;综合考虑此农田背景的特点,更适合于分割为2类斑点。将划分为2块区域的背景单独分割出来(见图5(d)和图5(e))。图5(f)、图5(g)分别为初始超像素分割图和聚类后的超像素分割图。图5(h)、图5(i)中分别展示了超像素分割算法分割区域参数设定为2和3生成的结果。为了对比形成的结果,将划分为2块区域的背景单独分割出来(见图5(j)和图5(k))。
图5 基于k-means与超像素分割的背景特征提取效果对比
Fig.5 Comparison of background feature extraction based on k-means and super-pixel segmentation
根据分割后结果可以直观得出:原k-means分割出的背景具有较多的噪点,不利于后续处理,但可以将背景显著划分为亮色区域和暗色区域。而基于超像素分割的背景划分算法获得的背景划分要比前者完整,且划分后的背景特征差异明显。通过边缘比率、斑点平均面积和灰度共生矩阵的能量[20]验证算法的改进效果。斑点平均面积越大表明分割的完整性越高。边缘比例计算了图像轮廓占据总像素的数量,值越小表明分割的完整性越好。灰度共生矩阵(GLCM)的能量值是像素分布的一致性统计量,一定程度上,能量值越大反映纹理模式越简单,分割的完整性越好。表3展示了计算结果,3个指标均表明改进超像素分割的完整性优于原k-means算法。
表3 改进算法的图像分割效果计算对比
Table 3 Comparison of image segmentation effect calculation based on improved algorithm
原算法区域1区域2改进算法区域1区域2斑点平均面积63.500208.1742 114.2254 997.608边缘比例0.1020.010 8GLCM—能量0.2640.508
由此可以看出,基于超像素分割算法对于纹理复杂的背景更加适用,且能够更好的适应图像噪声。此外,图5(f)和图5(g)对比结果可以看出,简单线性迭代过程能够使轮廓分割的更加精确,以减少分割误差。
算法运行耗时方面,超像素分割主要耗时在于前期的简单线性迭代过程。在相同测试条件下经过20次实验统计,超像素聚类比单纯的k-means算法平均聚类耗时快35.4倍。因此,可以通过设置迭代次数在分割精度和运算时间之间取得平衡。
对采集到的3种背景图像进行超像素分割和聚类,得到了颜色和斑点形状特征,结果分别见图6和图7。通过聚类共提取了9种主色(图6),由于②和④、③和⑧色差较小,因此合并后,可得到7种主色。
图6 3种类型背景的主色提取结果
Fig.6 Main color extraction results of 3 types of background
图7 提取2种背景下的斑点形状特征
Fig.7 Extracting spots shape under two backgrounds
另一方面,道路背景几乎为纯色背景,无法提取到斑点。戈壁滩背景中的斑点大多为灌木植物轮廓所形成,形状趋近于椭圆形。农田村庄背景中有人工干预,因此形成的斑点形状多有直线和直角等特点。上述结果表明:由于地域广阔带来的纹理和斑点形状多样性,仅采用一种伪装图案(如变形迷彩)很难适用于大范围的背景(公里级背景)。采集得到的主色特征和斑点特征后为机动目标伪装设计提供基本依据。
1)基于系统抽样方法,研究了公里级背景两级采样方法与流程。两级采样方法能够克服地面采样不准确和全部采样数据量大的问题,该方法为大范围背景下迷彩图案设计提供技术支撑。
2)改进了传统基于主色的背景聚类和特征提取算法,综合纹理、距离和颜色特征,提出了基于SLIC的背景超像素聚类分割方法。
3)采样了某地20 km×15 km范围背景,并测试了改进聚类算法的性能。结果表明,上述采集方法能够准确有效地采集大范围背景;所提出的算法能够优化分割区域的完整性和整体性,通过参数调节在聚类精度和运算效率间取得平衡。
[1] 刘凯龙,许卫东,赵志勇等.GJB7959—2012,2012,地面迷彩伪装背景采样与处理方法[S].中国人民解放军总装备部,北京:2013.
Liu K L,Xu W D,ZhaoZ Y et al.GJB7959—2012,2012,Ground camouflage background sampling and processing method[S].General Armament Department of the PLA,Beijing:2013.
[2] 马栋良,董士伟,杨大峰等.一种基于模糊聚类的迷彩斑点设计方法[J].防护工程,2012,34(04):4-11.
Ma D L,Dong S W,Yang D F et al.Camouflage painting design based on fuzzy clustering[J].Protective Engineering,2012,34(04):4-11.
[3] 吴凡.基于背景分割和斑点优化的数码迷彩设计[D].合肥:合肥工业大学,2017.
Wu F.Digital camouflage design based on background segmentation and spot optimization[D].Hefei:Hefei University of Technology,2017.
[4] 张勇,吴文健,刘志明.基于改进K均值聚类分析的迷彩伪装色选取[J].计算机工程与应用,2009,45(06):210-212.
Zhang Y,Wu W J,Liu Z M.Camouflage color selection based on improved K-means clustering[J].Computer Engineering and Applications,2009,45(06):210-212.
[5] 喻钧,初苗,田少辉等.迷彩设计中背景图像聚类方法的比较分析[J].应用科学学报,2009,27(05):475-479.
Yu J,Chu M,Tian S H et al.Comparative analysis of background image clustering methods in camouflage design[J].Journal of Applied Sciences,2009,27(05):475-479.
[6] Liu Z Y,Ding F,Xu Y,et al.Background dominant colors extraction method based on color image quick fuzzy c-means clustering algorithm[J].Defence Technology,2021,17(05):1782-1790.
[7] 李新其,叶喜发.阵地伪装改造方案的动态规划优化方法[J].兵器装备工程学报,2018,39(9):26-29.
Li X Q,Ye X F.Reform scheme optimization of position camouflage based on dynamic programming[J].Journal of Ordnance Equipment Engineering,2018,39(09):26-29.
[8] Bansal M,Kumar M,Kumar M.2D object recognition:a comparative analysis of SIFT,SURF and ORB feature descriptors[J].Multimedia Tools and Applications,2021,80(12):18839-18857.
[9] Du M F,Wang J Z,Li J,et al.Adaptive key SURF feature extraction and application in unmanned vehicle dynamic object recognition[J].Journal of Beijing Institute of Technology,2015,24(01):83-90.
[10] 赵岩,陈月,王世刚.结合投影误差校正的快速SIFT图像拼接[J].光学精密工程,2017,25(6):7-10.
Zhao Y,Chen Y,Wang S G.Corrected Fast SIFT image stitching method by combining projection error[J].Optical and Precision Engineering,2017,25(06):7-10.
[11] Gao H,Chen Q.A robust and secure image watermarking scheme using SURF and improved Artificial Bee Colony algorithm in DWT domain[J].Optik-International Journal for Light and Electron Optics,2021,242(10):166954-166961.
[12] Wu Z,WangX H,Shen Y W et al.Improved region merging algorithm for remote sensing images[J].Journal of Beijing Institute of Technology,2020,103(01):75-82.
[13] Wu Y L,Jiang M Y.Face recognition system based on CNN and LBP features for classifier optimization and fusion[J].The Journal of China Universities of Posts and Telecommunications,2018,25(01):37-47.
[14] Chen H,Miao F,Chen Y,et al.A hyperspectral image classification method using multifeature vectors and optimized kelm[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2021(99):1-10.
[15] Ren X.Learning a classification models for segmentation[C]//Proc.IEEE Intl Conf.computer Vision,Nice,France:IEEE,2003.
[16] Ullah S,Bhatti N,Zia M.Adaptive tuning of SLIC parameter K[J].Multimedia Tools and Applications,2021(11):1-24.
[17] WangJ Z,Liu P Z,Shi J D,et al.Improved slic segmentation algorithm for artificial structure images[J].Journal of Beijing Institute of Technology,2019,28(03):418-427.
[18] 徐达,焦庆龙.基于改进花朵授粉算法与K-means算法的人体姿态库构建方法研究[J].兵工学报,2018,39(12):2459-2469.
Xu D,Jiao Q L.Research on the construction method of human body posture examples based on improved flower pollination algorithm and k-means[J].ACTA ArmamentrII,2018,39(12):2459-2469.
[19] Guo ZZ,Shi Y,Huang F M,et al.Landslide susceptibility zonation method based on C5.0 decision tree and K-means cluster algorithms to improve the efficiency of risk management[J].Geoscience Frontiers,2021,12(06):249-267.
[20] 高振宇,杨晓梅,龚剑明等.图像复杂度描述方法研究[J].中国图象图形学报,2010,15(01):129-135.
Gao Z Y,Yang X M,Gong J M,et al.Research on image complexity description methods[J].Journal of Image and Graphics,2010,15(01):129-135.