高光谱数据能够捕捉地物因物质成分的组成、结构不同导致光谱特征具有细微差别,经由处理与分析,可直接或间接的识别出地物类型、物质实质等[1]。然而高光谱遥感影像可包含数百个波段影像,单个波段影像为灰度图,不同地物区分度较低。在遥感解译中,出于尽量保留图像中地物信息的同时对光谱数据进行降维,不同的波段选择方法不断被提出。高光谱图像特征波段选择是指针对所研究的内容,通过一定的评价准则,从原始波段集合中选择用于遥感分类或定量估测的有限光谱特征波段,组成光谱特征空间中的一个子集,这个波段子集是一个简化版本的光谱特征空间,但包括了原始波段集合的主要特征信息,并且在一个含有多种能够最大限度地区分不同类别的物质[2]。波段选择过程如图1所示。
图1 波段选择过程示意图
Fig.1 Schematic diagram of band selection
波段选择方法包括有监督和无监督的方法,监督波段选择通常设置一个标准函数来衡量所选波段和标记图像之间的相似性,并采用一些优化策略来寻找最佳波段子集,相关研究人员提出了大量的波段选择算法:如基于信息量的算法[3-4]、基于空谱信息结合的算法[5]和基于类间可分性[6]的算法等。无监督波段选择倾向于在整个波段中找到具有最具代表性信息的特征子集针对高光谱图像波段选择问题,但是以上算法仅从波段本身的统计属性入缺少实际应用中空间目标的识别特点[7],往往存在着鲁棒性不足和适应性较差的问题,不能满足针对不同地物的解译需求,还需人眼实行目视分析才能取得较高级别的解译成果。目视解译在识别和提取专题地物时仍起着至关重要的作用。一方面,目视解译是当前从图像中快速、准确获取情报的最有效方法,计算机在未来较长一段时间里仍无法完全替代人工目视解译;另一方面,相对于全色图像,人眼对彩色图像中的地物发现能力更强,一般需要针对高光谱遥感数据进行一系列处理程序,才能产生易于人眼理解信息,进而区分不同物质、识别出不同的目标,以供下一步研判。根据不同的解译需求,提取高光谱遥感影像中的3个特征波段进行假彩色合成,使合成的假彩色图像能够最大限度地突出特定地物的特征,在高光谱图像目视解译中具有相当重要的作用。所以本研究中提出了一种基于结合划分子空间和Relief-F算法的模型,致力于筛选出最优合成彩色图像的波段辅助目视解译。并结合视觉评估和量化分析,验证所提出方法的实用性及应用前景。
彩色合成图像属于加法混合,即色光的混合,加法混合原理如图2所示。2种以上的光混合在一起,光亮度会提高,混合色的光的总亮度等于相混各色光亮度之和。红、绿、蓝3种色光是不能通过其他色光相混而产生,其他色可由这3种颜色按照一定比例混合处理。高光谱图像单个波段的图像的呈现结果是灰度图,可以将3个不同波段的图像利用彩色合成分别赋予红、绿、蓝3种颜色并叠合形成一张新的图像,对灰度图像进行彩色增强,充分显示自然环境信息,一些用肉眼不能看到的环境信息或在真彩色图像上显示不出的信息,比如绿色丛林迷彩伪装网在某些彩色合成图像上会被突出显示[8],利于识别目标[9]。
图2 色光的加法混合原理示意图
Fig.2 The principle of additive mixing of shades
利用不同波段进行彩色图像合成,可以对地物的色调进行增强,从而应用于各类场景中。以标准假彩色图像为例,如图3所示是一幅航空高光谱影像的真彩色图像,空间分辨率为0.05 m,光谱范围为388~1 023 nm,光谱分辨率为4 nm,影像中包含多类地物,如塑料假草皮、绿色民用伪装网、绿色彩钢板、裸地等等。
图3 研究区域真彩色图像
Fig.3 True color image of the study area
将绿波段(0.55 μm)赋予蓝色,红波段(0.67 μm)赋予绿色,近红外波段(0.88 μm)赋予红色。合成影像如图4所示,可以发现植被呈现出红色,伪装网的色调与植被十分接近,但相较于植被,伪装网亮度更低;塑料假草皮呈现紫色,绿色彩钢板呈现深紫色,土壤呈现灰白色。
图4 研究区域标准假彩色影像
Fig.4 Standard false color image of the study area
以上几类地物在红、绿、蓝三色波段处的反射率如表1所示,这3种颜色的波段分别对应彩色合成图像所选的3个波段反射率。从表1中可以发现:植被光谱曲线在红色波段处的反射率较高,在绿色波段处的反射率近似为零,蓝色波段的反射率达到一个极大值,但仍远低于红色波段处的反射率,进行彩色合成时,红光多于蓝光,所以合成的品红色更加偏红,绿色健康植被更加接近红色调;民用伪装网在红色处的反射率较高,在绿色波段与蓝色波段处的反射率相近,所以伪装网的色调也偏向红色,但在蓝色波段处伪装网的反射率低于绿色健康植被,因此呈现的红色调较浅。裸地在红、绿、蓝三色的位置处的反射率大致接近,所以在图像中合成后的色调为灰白色,接近白色。绿色波段彩钢板的整体反射率较低,在红、蓝色位置处的反射率相近,大于绿色处的反射率,但整体的反射率都在0.1以下,所以色调较暗,呈现深紫色;塑料假草皮在红、绿、蓝色波段处的反射率趋势与绿色彩钢板比较接近,但红、蓝色波段处的反射率较高,所以色调呈现亮紫色。
表1 几类地物在红、绿、蓝三色波段处的反射率
Table 1 The reflectivity of several types of ground objects at the red,green and blue bands
Objects in the imageBlue bandGreen bandRed bandGreen and healthy vegetation0.091 3700.048 1310.452 016Bareland0.197 5560.242 4520.301 877Plastic fake turf0.138 9700.073 3330.190 135Green color steel plate0.086 0130.032 2710.087 376Green vegetation camouflage net0.078 9740.065 3320.258 866
综合以上结果分析,可以发现在标准假彩色图像中,绿色健康植被和绿色民用伪装网色调比较接近,原因是以上3种地物在波长为0.55 μm(蓝光)、0.67 μm(绿色)、0.88 μm(红色)处的光谱反射率相对大小关系(红光>>蓝光>绿光)基本一致,所以进行彩色合成后的色调比较接近,而其他地物则不同,因此呈现的颜色也不相同。因此,要使彩色图像中不同地物的色调区分程度尽可能更大,关键在于选择合适的彩色合成的波段。
根据彩色合成原理以及对标准假彩色图像的分析,各类地物的光谱反射曲线中某波段的反射率差异越大,在被赋予红、绿、蓝三色进行彩色合成时,合成图像中不同地物色调差异越大,也就越有利于目视解译。因此,如何选择3个使各类地物光谱反射率差异最大的波段,就是彩色合成最佳波段选择的关键。
Relief算法作为一种过滤波段式的经典特征选择算法,由Kira 和 Rendell在20世纪90年代提出用于解决二分类问题[10]。算法的核心思想是通过考察特征在同类近邻样本与异类近邻样本之间的差异来选择特征,将移除权重小于某个阈值的特征波段[11]。Relief算法刚刚诞生时仅可以处理2种类别的数据,使用起来具有局限性。两年后,Kononenko 等提出了Relief-F 算法[12]来处理多类别样本问题,其本质是将多类别样本问题转化为多个两类别样本问题,实现了多类别特征选择过程。Relief-F算法计算过程的简单表述如下:
假设存在数据集其中xi代表第i个样本,xi∈RI,I为样本的特征维数;yi代表第i个样本标签,yi∈{1,2,3,…,C},C代表类别数。首先从数据集中随机选择一个样本xi,随后从该样本的同类样本中寻找k个距离最近样本
其中|Hi|=k,从异类样本中寻找距离最近样本
其中|Mi|=k。对于每一个样本xi定义一个平均间隔向量
(1)
在得到每一个样本的平均间隔向量后,利用式(2)来更新特征权重
(2)
令则式(2)可以简化为:
(3)
连续迭代一定次数,最终得到各个特征的权重向量w。
通过Relief-F算法得到的各个特征权重向量w,其大小表示样本类别与特征的相关性。权重越大,表明该特征在不同类别的样本中的区分度越大,反之则表示区分度越小。但是在进行彩色合成波段选择方面,Relief-F算法在应用中也存在缺点。高光谱图像相邻波段间相关性较大,Relief-F算法波段选择结果易聚集于一段连续波段区间之中,造成信息冗余或存在一些偏差[13]的不良现象,所选波段图像反射率比较接近,进行彩色图像合成时结果近似为灰度图像,不利于目视解译。
高光谱图像的光谱划分十分精细,在光谱空间中具有较强的相关性,所以运用Relief-F算法得到的结果基本集中在同一个区域,影响后续处理。高光谱图像某些特定的光谱区域反映地物某些相关特性,必须选择相关性差异较大的波段,才能充分地发掘出影像中有价值的信息,彩色图像合成的结果也就越好。为了解决这一问题,采用的办法是先将所有波段空间划分为若干个子空间,然后再将所需波段选择出来。常见的波段空间划分方法是根据电磁波波长范围,分为可见光、近红外、短波红外,但这种划分方法并没有彰显地物光谱特征的优势地位,不适合进行光谱空间的划分。相关系数用于度量高光谱图像不同波段影像之间的相似性,任意两波段Wi和 Wj之间的相关系数ri, j计算如式(4)。
(4)
根据波段相关系数矩阵和相邻波段传递的相关性矢量,光谱空间被自动地划分为多个子空间[14],每个子空间内具有相似的光谱特性,不同的子空间光谱特性不同。该划分方式反映出数据的局部特性,理论依据充分。
本文将Relief-F算法和自动子空间划分方法(auto-subspace partition,ASP)相结合建立彩色合成波段选择模型。首先利用Relief-F算法计算地物光谱数据中各个波段之间差异性大小,然后使用ASP方法将光谱空间划分为多个子空间,最后结合Relief-F算法在各个子空间中筛选特征波段,利用一定的客观评价标准对可能的波段组合进行评价,选择最优的3个特征波段的分别赋予红、绿、蓝3种颜色,进行彩色图像合成。算法模型流程如图5所示。
图5 波段选择模型流程框图
Fig.5 Flow chart of band selection model
实验为验证本文算法在植被环境中揭露几种伪装的能力。实验数据选择位于我国东北某处,时间选择在夏季11时至13时之间,由某型无人机搭载某型成像光谱仪采集的高光谱影像(见图6),波段数为150,光谱范围为388~1 023 nm,光谱分辨率为4 nm,采集的图像数据中包含几类在可见光环境下色调与植被环境色调相近的地物,包括塑料假草皮、绿色民用伪装网、绿色彩钢板。在影像中随机提取以上几类目标地物的光谱数据,每一类地物采集100个光谱数据样本。各类地物的实物照片表2所示。
图6 高光谱影像
Fig.6 Hyperspectral image
表2 各类地物的实物照片
Table 2 Physical photos of various features
绿色健康植被裸地塑料假草皮绿色彩钢板绿色民用伪装网
图7是高光谱图像中几类主要目标地物的光谱曲线,可以发现不同地物的光谱特征各不相同,仅通过肉眼无法确定使各类地物光谱反射率差异最大的特征波段,因此为了提取彩色合成的最佳波段,本研究中首先采取Relief-F算法计算各个波段的权重(见图8),然后利用ASP算法划分并提出波段子空间,接下来分别在各个子空间中提取权重最高的波段,既保证了各类地物在特征波段处的反射率差异最大,又避免了波段间相关性较强的问题。
图7 各类地物的光谱曲线
Fig.7 Spectral curves of various ground features
图8 Relief-F算法得出的各波段权重曲线
Fig.8 The weight of each band obtained by the Relief-F algorithm
根据自动子空间划分思想,利用式(1)得到高光谱所有光谱波段之间的相关矩阵,由150×150 个元素组成。将高光谱数据间相关矩阵以二维可视化形式显示,如图9。该图可以形象展现出相关矩阵的分块特性。同时,近邻波段相关系数,如图10所示,能够相当明晰地对波段间相互关系进行剖析。
图9 高光谱影像相关系数热力图
Fig.9 Thermal map of correlation coefficient of hyperspectral image
图10 近邻波段相关系数曲线
Fig.10 Correlation coefficient curve of neighboring bands
依据相关系数热力图的分块特征,所有波段被分成4个子空间:第Ⅰ空间:1~8,第Ⅱ空间:8~73,第Ⅲ空间:73~89,第Ⅳ空间:89~150。能够看出,划分得到的各个子空间所含有的维数均不相同,同时,在各个子空间内的图像数据具有大致相近的光谱特性。将子空间划分结果与Relief-F算法所得权重结果合并,如图11所示。
图11 波段子空间划分结果曲线
Fig.11 Band subspace division results
子空间划分结束后,结合Relief-F算法所得权重进行波段选择。首先在各个子空间内选择权重最大的波段,然后对各个空间选择出来的波段计算其任意3个波段组合的最佳指数(optimal index factor,OIF),衡量图像的信息量和各波段间的相关性。由上文可知,本实验已经共划分了4个子空间,故此处有4种波段组合方式,组合结果如表3所示。
表3 波段组合结果
Table 3 Band combination results
AlgorithmBand combinationBand subspace division+Relief-F algorithm(3,31,79)(3,31,128)(128,31,79)(3,128,79)
分别计算4种波段组合的OIF指数,OIF可以衡量每种组合的信息量和冗余度,选择OIF指数最高的波段组合作为最终结果。
对比表4中4个波段组合的OIF值,(3,31,79)组合的OIF值最高,因此将(3,31,79)波段组合作为最终的波段选择结果。
表4 本试验所得波段组合的OIF指数
Table 4 OIF index of the band combination obtained in the experiment of this research
Band combinationOIF3,31,790.044 93,31,1280.042 6128,31,790.044 03,128,790.042 0
为了说明本文算法在彩色合成波段选择方面的性能,分别与几种广泛使用的波段选择算法提取特征波段,合成彩色图像后进行对比,其中包括基于遗传算法的波段选择算法[15]、基于信息熵的波段选择算法[16]。
出于使试验效果愈加形象地体现这一目的,将3、31、79波段各自赋予蓝、绿、红3种色光合成假彩色图像,如图12所示。
图12 不同算法的特征波段图像的彩色合成图像
Fig.12 Color synthesis results of characteristic band images by different algorithms
对比幅图12中各种波段合成图像可以发现,在真彩色图像中,绿色民用伪装网,绿色彩钢板、塑料假草皮的色调与绿色健康植被的色调相近;而在标准假彩色图像中,绿色彩钢板、塑料假草皮色调与植被背景差异明显,通过目视判读方法可以清晰地发现这两类地物,但是伪装网的色调与植被背景仍然比较相近,仅通过目视解译难以发现;根据信息熵选择波段合成的假彩色图像中,合成的彩色图像中仅能突出塑料假草皮和绿色彩钢板,且不能区分这2种地物,伪装网和植被背景都呈现白色,难以区分;在基于遗传算法的波段选择算法中,合成的假彩色图像里几类地物均具有不同的色调,但整体的偏暗,不同地物色调差不够明显,在一些不显著的环境中难以发现伪装,如图像下方的伪装网;在本文算法提取的波段组合生成的假彩色图像中,伪装网呈现棕绿色,绿色彩钢板呈现浅绿色,塑料假草皮呈现深绿色,而植被背景呈现棕黄色,通过目视解译方法可以快速准确地发现隐藏在植被背景中的不同地物。
本文提出了一种有监督的波段选择算法,即选取最佳波段进行彩色合成,采用的Relief-F算法揭示出所获取目标地物的光谱数据各个波段上不同地物的光谱反射率差异性大小;出于彩色合成使伪装目标突出,利用Relief-F算法计算的结果在划分出的众波段子空间中选择处理最优波段;通过度量不同波段组合结果的信息量和冗余度,确定出适合解译最终的波段选择结果。通过对实验结果的分析和解译,本文提出的波段选择算法,能够有效地选择彩色合成的最佳波段,且合成的图像解译效果优于基于信息熵和遗传算法的波段组合结果,在利用高光谱图像目视解译在植被背景中揭露颜色相近的伪装目标,如绿色民用伪装网、绿色彩钢板和塑料假草皮等,具有较大的实际意义和价值。
[1] 陈述彭,童庆禧,郭华东.遥感信息机理研究[M].北京:科学出版社,1998:139-145.
Chen S P,Tong Q X,Guo H D.Research on remote sensing information mechanism[M].Beijing:Science Press,1998.139-145.
[2] Sun X,Zhang H,Xu F,et al.Constrained-target band selection with subspace partition for hyperspectral target detection[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2021(99):1-1.
[3] Banit’Ouagua I,Kerroum M A,Hammouch A,et al.Band selection by mutual information for hyper-spectral image classification[J].International Journal of Advanced Intelligence Paradigms,2016,8(01):98-118.
[4] Koonsanit K,Jaruskulchai C,Eiumnoh A.Band selection for dimension reduction in hyper spectral image using integrated information gain and principal components analysis technique[J].Physical Review B,2012,3:248-251.
[5] Cai Y,Liu X,Cai Z.BS-nets:An end-to-end framework for band selection of hyperspectral image[J].IEEE Transactions on Geoscience and Remote Sensing,2020,58(03):1969-1984.
[6] 康孝岩,张爱武,胡少兴,等.高光谱图像的JM变换自适应降维[J].遥感学报,2020,24(01):67-75.
Kang X Y,Zhang A W,Hu Shaoxing,et al.Hyperspectral images adaptive dimensionality reduction optimized by JM transform[J].Journal of Remote Sensing,2020,24(01):67-75.
[7] 宋文韬,胡勇,巩彩兰,等.扫描探测系统多尺度舰船目标的空间特性分析[J].光学学报,2019,39(07):425-430.
Song W T,Hu Y,Gong C L,et al.Spatial characteristics analysis of multi-scale ship target in scanning detection system[J].Acta Optic Sinica,2019,39(07):425-430.
[8] 夏余,曲仕茹.改进(2D)2PCA的彩色图像融合框架[J].光学学报,2014(10):69-76.
Xia Y,Qu S R.Color image fusion framework based on improved (2D)2PCA[J].Acta Optic Sinica,2014(10):69-76.
[9] 曲磊,王康如,陈利利,等.基于RGBD图像和卷积神经网络的快速道路检测[J].光学学报,2017(10):116-124.
Qu L,Wang K R,Chen L L,et al.Fast road detection based on RGBD image and convolutional neural network[J].Acta Optic Sinica,2017(10):116-124.
[10] Kira K,Rendell L.The feature selection problem:Traditional methods and a new algorithm[C]//Proceedings of 10th National Conference on Artificial Intelligence.San Jose,CA,USA.1992:129-134.
[11] Ren J,Wang R,Liu G,et al.Partitioned relief-f method for dimensionality reduction of hyperspectral images[J].Remote Sensing,2020,12(7):1104.
[12] Kononenko I.Estimating attributes:Analysis and extensions of Relief[C]//Machine Learning:ECML-94,1994:171-182.
[13] Ye M,Xu Y,Ji C,et al.Feature selection for cross-scene hyperspectral image classification using cross-domain Relief-F[J].International Journal of Wavelets,Multiresolution and Information Processing,2019,17(05):3180-3191.
[14] Gu Y,Ye Z.Unsupervised subspace linear spectral mixture analysis for hyperspectral images[C]//International Conference on Image Processing.IEEE,2003,1:801-804.
[15] 赵冬,赵光恒.基于改进遗传算法的高光谱图像波段选择[J].中国科学院研究生院学报,2009,26(06):795-802.
Zhao D,Zhao G H.Band selection of hyperspectral image based on improved genetic algorithm[J].Journal of the Graduate School of the Chinese Academy of Sciences,2009,26(06):795-802.
[16] 郑俊鹏.高光谱图像波段选择及CUDA并行实现研究[D].杭州:杭州电子科技大学,2015:18-21.
Zheng J P.Research on band selection for hyperspectral image and CUDA parallel implementation[D].Hangzhou:Hangzhou Dianzi University,2015:18-21.
Citation format:YANG Guang, JIN Chunbai, GUAN Shihao, et al.Research on visual interpretation method of camouflage target based on band extraction[J].Journal of Ordnance Equipment Engineering,2022,43(09):278-284.