生成式对抗网络在SAR图像处理中的应用综述
0 引言
与可见光系统、红外或其他遥感技术相比,合成孔径雷达(synthetic aperture radar,SAR)可以对各种地理地形实现全天时、全天候成像。因此,SAR在地质测绘、灾害监测、资源勘测、环境保护、海洋观测等方面有着广泛的应用[1]。合成孔径雷达自动目标识别技术(automatic target recognition,ATR)分为3个研究阶段:检测、识别和分类。基于深度学习的SAR ATR技术需要大量数据支撑,少量的样本数据对SAR智能算法的研究和泛化推广举步维艰[2]。SAR图像仿真是克服高分辨率SAR数据缺乏的主要方法[3],传统的SAR图像仿真工具主要分为2类:信号仿真和图像仿真。信号仿真主要是基于电磁理论来计算原始雷达回波信号和模拟微波散射的过程,如基尔霍夫物理光学法[4]、几何光学近似[5]、积分方程法[6]和Phong模型[7]。图像仿真算法大多基于几何计算,使用网格算法和光线跟踪来近似电磁传播过程。此类方法包括网格模拟软件SARViz[8]、光线跟踪模拟软件RaySAR[9]和CohRas[10]。然而,这些方法计算过程复杂,消耗大量计算内存和资源[11]。此外,这些方法在模拟过程中缺乏真实的数据信息,导致生成的图像缺乏真实感。
随着深度学习的不断发展和计算机算力的不断提升,基于深度学习的图像生成模型在图像领域取得了显著效果。过去的几十年中,人们提出了许多深层生成模型(DGMs),如受限玻尔兹曼机(RBMs)、深度信念网络(DBNs)、可变自动编码器(VAE)及其众多变体,这些模型均已应用于遥感图像生成,但生成图像分辨率低。2014年,Goodfellow等[12]提出生成式对抗网络(GAN),GANs网络不需要目标的先验信息,可以直接依赖真实图像数据生成虚假目标图像,具备端到端的优点,在图像生成领域取得了优异的表现[13]。截至目前,GANs在SAR图像处理领域也有了相对成熟的发展,GANs在SAR图像应用处理的发展按时间节点可分为3个研究阶段:起步阶段、发展阶段、成熟阶段;在应用方面,可分为:SAR数据扩充、SAR图像超分辨、SAR和光学图像融合;按数据集尺寸分:小尺寸数据用于图像生成和超分辨、大尺寸数据用于超分辨和图像融合。
起步阶段:2017年,Guo等[14]首先提出将GANs网络用于SAR数据扩充,提出使用杂波归一化方法解决SAR图像生成中存在的杂波和散斑问题,并通过MSTAR车辆数据集进行实验验证,在俯仰角为17°时,生成目标图像的识别率为67.2%;同年,Wang等[15]针对SAR图像存在斑点噪声问题,提出了图像降斑生成式对抗网络(image despeckling GAN,ID-GAN),通过对城镇场景生成的降斑图像进行定量评估,验证了该模型在图像降斑方面的有效性;Guo等[16]提出具有编码的几何阴影约束CGAN(conditional generative adversarial network,CGAN)模型,有效解决了可能违反地质阴影规则的图像生成问题。从上述研究可以看出:起步阶段主要是对目标类型SAR数据进行扩充,同时减少SAR杂波和散斑的影响,提升生成图像质量。
发展阶段:2018年,Zhang等[17]使用稀疏模型来线性合成不同方位角的SAR车辆图像,同时在DCGAN网络添加方位鉴别器生成指定方位角的SAR样本图像,扩充SAR车辆样本方位角的多样性,但部分生成图像质量较差;Hughes等[18]提出匹配城市场景SAR和光学卫星图像,首先利用自编码GAN网络模型(AE-GAN)扩充小样本的SAR图像,然后将生成SAR图像和光学图像微调后进行匹配,相比于原始模型匹配结果,该模型匹配虚警率从11.7%降低至4%,有效降低了SAR和光学匹配中的虚警问题;Ao等[19]提出一种基于空间Gram矩阵和WGAN-GP框架的“辩证GAN”,该模型用于将低分辨SAR图像(例如SentineI-1图像)转换为高分辨率SAR图像(例如TerraSAR-X图像),并从最小均值误差、图像结构相似度、等效外观视数等指标验证了模型算法保留目标特征信息的有效性;2019年,Cui等[20]基于现有的SAR数据样本,利用带梯度惩罚的WGAN(wasserstein GAN)实现了样本扩充,并能对生成的数据集进行方位角的选取。综上,发展阶段主要是提升目标类型图像生成的多样性,同时对大场景数据进行研究。
成熟阶段:2021年,闵锐等[21]将残差密集模块和结构损失引入GAN网络,增强重建SAR图像边缘细节信息、减缓“伪影”现象;为解决深度学习中SAR-ATR受到对抗样本攻击的影响,Du等[22]构建了UNet-GAN网络,来改进SAR-ATR模型对抗样本的生成,生成的对抗样本接近真实的SAR图像,并可以欺骗几种先进CNN的SAR-ATR模型。2023年,Fan等[23]设计了多任务生成对抗网络漏油检测模型,可以有效区分真实和相似的石油泄漏并分割漏油区域,使用少量漏油图像训练网络,真假漏油分类准确率达到了97.22%;Sun等[24]提出基于属性引导的GAN模型,该模型将类别标签和视角标签用于指导SAR图像生成。由此可见,到了成熟阶段,学者们开始构建多任务GANs网络模型,同时将SAR目标特性信息用于指导SAR图像生成,增强生成图像的纹理信息。
综上可得,GANs在SAR图像处理应用方面取得了较为成熟的发展,自2017年发展以来,国内外已有上百篇文献、国内数十篇硕博论文发表,近两年更是达到高峰。本文跟踪研究了近年来生成对抗网络在SAR图像处理领域的最新研究进展,从数据集、网络模型、评估指标、实际应用等层面进行全方位剖析,给读者一个全面参考,最后对GANs网络在SAR图像处理的应用研究进行展望。
1 背景介绍
1.1 生成式对抗网络原理
GAN由生成器G(generator)和判别器D(discriminator)组成,网络结构如图1所示。生成器通过学习真实数据的隐含特征分布,生成与真实目标相似的数据以欺骗判别器;而判别器最大化区分生成数据与真实数据。二者相互对抗,相互促进,最终生成器能够欺骗过判别器,生成具有高逼真度的数据样本。其误差函数表达式为
Ez～pz(z)[log(1-D(G(z)))]
(1)
图1 生成对抗网络结构
Fig.1 Generative adversarial network architecture
GAN交替训练生成器和判别器,具体训练方式为:① 固定生成器,训练判别器。从训练集中抽取真实样本x;获取一个新的随机噪声向量z,用生成器网络生成一个假样本G(z);用判别器对x和G(z)进行分类;计算分类误差并反向传播误差以更新判别器的可训练参数,寻求最小化分类误差。② 固定判别器,训练生成器。判别器对生成的G(z)进行分类;并计算分类误差反向传播给生成器以更新生成器的可训练参数,最大化判别器误差。每迭代训练1次,模型准确率就会提高,最终生成器具备生成高逼真度数据的能力。
基于原始GAN网络,学者们从网络结构和目标损失函数等方面进行优化,逐步衍生出多种GANs网络模型,典型网络及其特点如表1所示。
表1 典型GANs网络模型特点
Table 1 Typical GANs network model characteristics
1.2 常用训练数据集
数据集在深度学习领域起着至关重要的作用,完备的数据集是模型训练优良结果的关键。不同数据集会导致模型训练存在差异,进而影响模型训练结果。本节从2个方面对GANs网络模型训练的SAR图像数据集进行介绍:一是基于特定目标的SAR切片图像,如特定目标包括车辆(像素大小128×128)、舰船(像素大小256×256)以及大棕熊飞机(像素大小128×128);二是大场景地区图像包括来自哨兵一号、TerraSAR-X、高分一号、高分三号等卫星的遥感数据,此类数据涵盖了农村、城镇、海洋、港口、土地、林业、水利等场景,部分卫星数据包含匹配的光学数据。数据集的详细表述见表2,表2中主要叙述了数据集的来源、数据类型、使用场景等内容。
表2 SAR数据集简介
Table 2 Introduction to the SAR datasets
1.3 图像质量评估指标
对于图像处理领域来说,最重要的评估标准就是处理后的图像质量。通过对图像特性进行分析研究,对算法分析比较、系统性能评估等方面有着重要的作用。通用的SAR图像质量评估包括图像清晰度和多样性2个方面,其中结构相似度和峰值信噪比主要用来评估图片的清晰度,FID和IS用来评估图像的质量和多样性。具体内容如下:
1.3.1 结构相似度SSIM(structural similarity)
结构相似度指数主要评价的是图像的清晰度,从亮度、对比度和结构3个方向评价真实图像与生成图像。假设用lumin表示亮度、con表示对比度、str表示结构,则SSIM的表达式为
SSIM(a,b)=[lumin(a,b)α·con(a,b)β·str(a,b)γ]
(2)
(3)
(4)
(5)
式(2)—式(5)中: α、β、γ是权重的参数,设为1;c=0.01L2,d=0.03L2,e=d/2,一般取c为0.01,d为0.03,L为255。
1.3.2 峰值信噪比(peak signal to noise ratio,PSNR)
峰值信噪比是一种用于衡量图像最大值信号和背景噪音之间比值的客观标准,定义如下
(6)
式(6)中:MSE指均方误差。当MSE趋近于0时,PSNR趋近于无穷。因此,PSNR越高表示图像质量越好,清晰度越高。
1.3.3 FID(fréchet inception distance)
FID用来衡量2个多元正态分布的距离,数值越小越好,FID使用Inception Net-V3全连接前的2 048维向量作为图片的特征向量,再计算2张图像特征之间的距离,即
(7)
式(7)中: μr为真实图像的特征均值;μg为生成图像的特征均值;Σr为真实图像的协方差矩阵;Σg为生成图像的协方差矩阵。FID用来衡量图像质量,FID越小,则相似程度越高;若FID=0,2个图像相同。
1.3.4 IS(inception score)
IS用来评价生成图像的质量和多样性,质量问题直观理解就是图片的清晰度、分辨率,多样性即生成的图片中每个类别数量进来一致,即生成图像在所有类别的边缘分布的熵越大,则多样性越好。
IS=exp(Ex～pgDKL(p(y|x)||p(y)))
(8)
式(8)中:p(y|x)代表对于图片x,属于所有类别的概率分布;p(y)边缘概率,对所有生成图像计算p(y|x)所得到的均值。
1.3.5 图像类别识别率(classification accuracy,CA)
生成图像能够按类别准确识别,称为图像分类识别的准确率,即分类正确的样本个数占所有样本个数的比例,计算表达式为
(9)
式(9)中:TP真阳性(即预测为正,实际为正); FP假阳性(预测为正,实际为负);FN假阴性(预测为负,实际为正);TN真阴性(预测为负,实际为负)。
2 GANs网络在SAR图像应用现状
2.1 SAR目标图像生成
由于原始GAN网络模型训练不稳定,震荡较大,生成图像模糊、质量较差。因此,逐步衍生出了基于深度卷积神经网络的DCGAN模型(deep convolutional generative adversarial networks,DCGAN)、增加梯度惩罚的WGAN-GP模型、基于条件标签的CGAN模型、基于最小二乘损失的LSGAN网络模型。
为提高SAR图像生成质量,Gao等[34]将DCGAN网络的判别器加倍,2个判别器共享1个生成器,然后使用标准的SoftMax函数替换经典判别器的最后一层,在计算生成器损失函数时取其平均值,提升生成图像质量;卢庆林[35]利用DCGAN模型对MSTAR数据集中的3类军事目标进行训练,生成了高逼真虚假数据模板,并使用YOLOv3对生成的虚假目标图像进行逼真度测试,使用平均置信度和未识别率作为评估指标,其中虚假图像的平均置信度比真实目标低0.017,未识别率优于真实目标。
WGAN-GP在WGAN基础上增加了梯度惩罚,缓解了梯度消失或爆炸问题,提高了训练速度和生成样本质量。2019年,Cui等[36]提出利用带梯度惩罚Wasserstein GAN(WGAN-GP)在现有SAR数据的基础上实现了样本扩充,并设计了样本选择滤波器来提取高质量的图像,并通过计算垂直方向的北端与最小包围矩形最长边的顺时针角来计算目标方位角检测特定方位的生成样本;避免了数据增加的随机性,提高了新生成训练样本的质量;实验结果证明:基于WGAN-GP生成的图像与真实图像梯度直方图平均相似度为0.998 3,即基于WGAN-GP生成的图像非常接近真实图像,具有较高的可信度。2021年,田若璋[37]提出在WGAN-GP的判别网络D添加特征合成层,提高算法对于目标特征信息的提取。实验对FUSAR-ship数据集训练,利用多尺度结构相似度(multiscale structure similarity,MSSIM)评估生成样本与真实样本相似度。实验结果证明:WGAN-GP生成舰船样本与真实样本相似度为0.9左右,生成样本相比于原始数据样本平均识别准确率从78%提高到84%。为验证各模型在SAR图像生成效果,在统一实验标准的条件下,对MSTAR中的T72图像进行生成,并展示了各网络模型在epoch分别为1、10、30、50情况下的生成结果,如图2所示。
图2 典型GANs网络生成T72图像(从左至右epoch=1、10、30、50)
Fig.2 A typical GANs network generates a T72 image(from left to right epoch=1,10,30,50)
首先,从视觉效果进行分析。在epoch=10时,生成图像已具备目标轮廓,但此时噪声比较明显;随着训练次数增多,目标逐渐清晰,背景噪声逐渐减弱;CGAN网络虽然可生成特定标签下的图像,但当训练次数不足时,生成图像质量效果较差。其次,利用评估指数对epoch=200的生成图像进行定量分析,结果如表3所示。
表3 GANs网络模型生成T72图像质量评估(epoch=200)
Table 3 Evaluation of T72 image quality generated by GANs network model (epoch=200)
从表3中我们可以看出:在生成类型目标图像方面,当训练epoch=200时,LSGAN网络SSIM最大、FID最小,生成图像质量最好,与真实目标相似度最高;CGAN网络的优点在于可生成特定条件标签下的数据,但生成图像在训练次数较少时,生成图像视觉效果较差,背景噪声较多,但生成虚假目标图像相似度与真实目标相似度较高。
为提高SAR图像生成多样性,2020年,秦金泽等[38]提出将CGAN网络和DCGAN网络的特点相结合,形成有条件的深度卷积生成对抗网络模型(C-DCGAN),其特点在于将CGAN网络的条件标签信息加入到DCGAN网络的生成器和判别器当中,利用DCGAN的卷积神经网络技术加上CGAN的条件标签信息进行训练。实验对BMP2、T72和BTR70等3类目标不同方位角下的RCS作为条件标签信息并与每一层输入数据相结合输入到生成器中,判别器的输入为目标数据和条件标签信息的组合。训练5 000epoch左右达到纳什平衡,生成结果图像如图3所示,从图3中可看出生成目标样本与真实样本相似度极高。
图3 C-DCGAN生成样本与真实样本对比
Fig.3 C-DCGAN generated samples compared to real samples
CGAN网络能够生成不同条件标签下的图像数据,但都是单条件标签信息下的图像生成。对于SAR图像数据来说,其分辨率、方位角、极化方式、载频及俯仰角均可作为条件标签信息进行学习训练,将SAR目标特性多参数信息用于指导SAR图像生成对丰富图像纹理细节信息有重大的研究意义。
2023年,Sun等[24]提出基于属性指导的生成式对抗网络(AGGAN),AGGAN网络首先使用频谱归一化稳定模型训练,其次设计类别和视角2种属性标签,指导SAR图像生成,提升小样本条件下SAR图像生成质量;AGGAN与CGAN网络不同体现在增加了辅助分类任务用于图像分类,但类别标签不作为判别器的输入,其次将深度卷积网络用于AGGAN网络;训练数据集为BMP2、BTR70、T72数据,生成器输入为106维向量(包括100维噪声向量,三维分类标签向量以及对应的二维角度标签向量(角度表示为sin、 cos)),实验分别将每类图像数据量设为5、10、15、20;采用CGAN-DNN[39]、AC-GAN[40]、AGGAN等3个网络训练20 000epoch,从每类生成目标图像采样1 000幅图,并将1 000幅图通过数据增强进行识别率训练,结果证明了AGGAN在每类目标拥有5个数据时生成可观SAR图像,如图4所示[24]。
图4 AGGAN使用不同训练策略训练BMP2结果
Fig.4 AGGAN trained BMP2 results using different training strategies
本小节主要叙述了典型GANs网络模型在SAR目标图像生成方面的最新研究进展。利用GANs网络模型扩充SAR图像数据集。一方面是要降低SAR图像存在的杂波和斑点噪声问题、提升生成图像质量;另一方面要控制生成特定条件标签下的SAR图像数据,提高生成图像的多样性。由表3可知,在数据集和实验条件相同情况下,最小二乘网络LSGAN在SAR目标图像质量和多样性方面综合表现最佳,更适应于SAR目标图像生成。
2.2 SAR图像超分辨
SAR图像可反映目标的结构信息、散射特性,但由于带宽受限导致SAR图像分辨率有限,而SAR特有的斑点噪声一定程度上降低了SAR图像质量。SAR超分辨重建(super resolution,SR)是指对一个时间序列的低分辨图像进行像素提升,从而得到一组高分辨率图像。随着深度学习和计算机算力提升,超分辨生成对抗网络(super-resolution generative adversarial network,SRGAN)通过卷积神经网络能有效提取目标的全局和局部特征信息,实现SAR图像的超分辨。SRGAN网络引入残差网络,其网络结构模型为:卷积层-归一化-残差网络组成,残差网络结构为:卷积层-归一化-激活层-卷积层-归一化-跳跃连接组成,残差网络结构的引入加深了网络模型,能够充分提取图像更深层次的语义信息。2018年,Ju等[41]提出一种基于生成对抗网络的合成孔径雷达图像的超分辨重建方法(SRGAN),SRGAN引入由对抗性损失和内容损失组成的感知损失函数,生成的超分辨TerraSAR图像如图5所示,与真实图像的结构相似度高达96.6%。
图5 不同方法对TerraSAR-X图像的超分辨率重建结果
Fig.5 Super-resolution reconstruction results of TerraSAR-X images by different methods
2019年,Zheng等[42]提出一种新的基于自归一化生成对抗网络(SNGAN)的超分辨率图像重建方法,该方法引入标度指数线性单元(SeLU)作为生成器的激活函数,赋予GAN系统自归一化能力,取消了卷积后的批量归一化层,减少了计算需求和模型震荡,在TerraSAR和MSTAR数据集图像进行了超分辨率重建方面取得了满意的效能;2021年,Rosanna等[43]将分割掩膜图像作为Pix2Pix网络的输入,将生成匹配的SAR图像数据一方面用来扩充训练数据集,以开发更准确的SAR冰川分割模型,另一方面增加数据多样性以检查更多未知形状的冰川。以上所述的SAR超分辨图像质量评估如表4所示。
表4 SAR超分辨图像质量评估
Table 4 SAR super-resolution image quality evaluation
2022年,Ai等[44]提出一种改进SRGAN网络(improved SRGAN,ISRGAN),该模型首次将GAN用于SAR模糊抑制,ISRGAN生成器嵌入残差密集网络(RDN)对图像的全局和局部特征进行最优融合,有效提高了SAR舰船目标对比度增强的特征信息的完整性,并在高分三号图像HRSID数据集上进行验证,实验结果如图6所示,有效验证了ISRGAN可有效抑制方位模糊度并保留舰船目标的纹理细节。
图6 不同区域SAR模糊抑制性能比较
Fig.6 Comparison of SAR fuzzy suppression performance in different regions
2023年,Zhang等[45]提出结合SAR噪声先验的Cycle-GAN网络模型,突破SAR超分辨率重建中的乘性散斑噪声问题,提出了概率退化模型,该模型由加法噪声和乘法噪声模块组成,通过学习概率退化模型来处理带有斑点的SAR图像,实验数据为MSAR[46]数据集,所提方法有效提高了mAP,减少了训练周期,YOLO检测识别率达83.8%。
综合来说,在SAR超分辨方面,SNGAN网络减少了模型网络复杂度,提高了计算能力,在生成器中使用了Selu激活函数,在SAR图像超分辨应用方面综合性能最佳。尽管SAR超分辨技术有了相对成熟的发展,但如何进一步提高大尺寸场景下SAR图像超分辨能力,进一步增强提取SAR图像目标特性的细节信息、提升多尺度感受野、多层卷积融合不同特性信息,在主观视觉和客观指标2个方面提升超分辨GANs网络还有进一步发展空间。
2.3 SAR和光学图像融合
SAR具有全天时、全天候、穿透云雾等成像优点,但需要专业人士才能识别SAR目标,而光学图像含光谱信息,普通人便可以直接肉眼识别。因此,如何将SAR图像和光学图像的目标特性进行融合,补充SAR图像的目标信息,提升SAR图像视觉性能有着重要的研究意义。Pix2Pix[47]、Cycle-GAN[48]、BicycleGAN[49]网络模型是对CGAN网络模型的改进,是图像变换领域的典型网络模型,极大地推进了SAR和光学图像融合进展。
Pix2Pix的原型是CGAN网络,BicycleGAN是对Pix2Pix隐藏层加入了目标的编码信息,引入了广域高斯分布提升生成图像的多样性。前两者为配对数据集训练的网络模型,而CycleGAN引入循环一致性损失,针对未配对数据集进行风格转换;Attn-CycleGAN[50]在生成器中引入了注意力机制网络,减弱了GAN网络存在的模式崩塌和梯度消失情况。
2018年,Grohnfeldt[51]提出利用CGAN网络对SAR和多光谱影像进行融合;Ley等[52]利用CGAN将SAR影像转换成光学影像区分不同的陆地表面;2019年,Mario等[53]提出采用条件式生成对抗网络,以生成基于SAR图像(起点)和光学图像(参考)组合的备选SAR图像表示,但泛化能力较差;同年,Du等[54]提出K-means聚类指南生成对抗网络(KCG-GAN)并进行SAR光学图像合成,通过约束空间信息提高合成图像质量;2020年,Li等[55]提出了一种基于图像特征的关键点匹配算法,利用具有边缘增强的条件生成对抗网络CGAN进行训练,实现SAR图像与光学图像的局部对应,该方法可提高SAR图像的可解释性,且具有良好的视觉效果和较高的精度;2021年,Zhang等[56]利用CGAN将SAR图像(Sentinel-1)转换为光学图像(Landsat8),在转换过程中边缘信息的添加提高了生成图像和真实图像之间的结构相似性。其中,生成器输入为SAR图像,判别器输入为光学图像,每当判别器对生成器生成的光学图像进行判断时,有关判断信息反馈给生成器形成反向传播。当判别器无法确定输入数据是真是假时,表明生成器生成的图像数据足够逼真。
在改变图像网络结构层面,He等[57]设计了PWGAN(将DCGAN和WGAN-GP结合在一起)。在PWGAN中,如果目标具有n个类别,则应用n个生成器和n个判别器,每个类别都有一个单独的生成器和一个单独的判别器。实验采用TerraSAR-X获取的完整场景进行实验,数据集包括6个目标类别,每个类别随机选择160张不同的图像,其中128张用于训练数据集,另外32张作为测试集。对于PWGAN,实验采用了7个生成器和7个判别器,与原始训练数据集相比,PWGAN目标识别准确率提高了3.58%。虽然PWGAN网络增加了网络结构的复杂性,但却实现了多类别图像同步生成。
光学图像和SAR图像用于融合的前提在于2种风格图像的配对(paired),但现实大多数图像是不配对(unpaired)的,因此需要构建无配对图像的生成模型。2022年,Zhao等[58]利用现有图像风格转换模型(Pix2pix、BicycelGAN、Cycle-GAN、Attn-Cycle-GAN等),对现有的配对和非配对SAR-to-Optical数据集进行训练,基于SSIM和PSNR给出各模型训练结果对比如表5所示,生成图像如图7所示,实验结果证明Cycle-GAN的图像相似性指数最高,具备最佳训练稳定性和显著图像转换效果。
表5 不同GANs基于SEN1-2数据集评估结果
Table 5 Different GANs evaluate the results based on the SEN1-2 dataset
图7 SEN1-2(上)和SAR2Opt(下)数据集上的SAR到光学转换结果样本
Fig.7 SAR-to-optical conversion result samples on the SEN1-2 (top) and SAR2Opt (bottom) datasets
综上所述:随着生成对抗网络的成熟发展,SAR和光学影像融合效果得到了显著提升,其中Pix2Pix网络和CycleGAN网络效果俱佳。但实际配对数据较少,往往都是非配对的数据集,针对非配对的图像融合技术还有待发展。除此之外,SAR由于其相干斑噪声的影响,在图像融合过程中往往会丢失重要细节信息,导致融合图像对比度低。为减弱相干斑噪声的影响,未来可将SAR图像经过预训练后进行融合,以更好提升图像融合效果。
本章节主要叙述了GANs网络在SAR图像处理应用方面的研究进展,并将不同方法的实验结果列表分析,如表6所示。
表6 GAN在SAR图像处理领域应用对比
Table 6 Comparison of the application of GAN in the field of SAR image processing
续表(表6)
3 结论
本文中递进式总结了不同GANs网络模型在SAR图像质量提升、超分辨率重建及SAR和光学图像融合方面的研究现状,并给出在不同场景下适用的GANs网络模型。目前,基于GANs的SAR图像处理应用研究,主要存在问题及结论如下:
1) SAR目标图像生成。GANs的生成图像质量已得到明显提升,但目标多样性还有不足。其中,利用CGAN生成特定标签下的SAR图像数据对SAR干扰有重要的研究意义。但目前都是基于单个条件标签生成目标图像,如何对多条件标签进行编码以生成特定多条件下的SAR图像还存在挑战。后续可将不同的编码方式用做条件标签输入,并且SAR图像的阴影含有很多目标信息,大多数人利用其阴影信息进行目标类别和高度预测,但将阴影信息用于评估特定标签下的SAR图像质量有着重要的应用价值。
2) SAR超分辨。目前,大多数算法都是针对小尺寸尺度的SAR图像超分辨,加之SAR图像固有的相干斑噪声影响,对大尺度SAR图像的超分辨研究相对困难。注意力机制能够重点提取目标区域信息;残差网络使用了跳跃连接,适当增加了网络深度提高准确率,缓解了神经网络中增加深度而带来的梯度消失问题。因此,可将注意力机制和残差网络引入SAR超分辨GANs网络,用以提升大场景SAR图像超分辨研究。
3) 图像融合。利用GANs将SAR图像和光学图像进行融合已经有了成熟的应用,但生成图像缺少SAR目标纹理信息,如何将SAR目标特性参数用以指导GANs网络融合目标特征信息,提高生成目标图像的边缘特征和纹理信息具有重要的研究意义。后续可将SAR的特征语义信息添加到GANs训练中,以提升生成图像的可解释性。或结合AR GAN,将通过GANs生成图像经特征提取利用AR技术叠加到原始图像上,实时改变图像纹理特征。
4) 评估指标。针对GANs网络模型中生成器生成的虚假目标图像,缺少一套标准的评估方法。目前的数据评估都是基于视觉观察和图像质量参数进行评定,没有统一的评估标准。只有通过统一的定量和定性分析,才能评价生成数据的优劣,为应用研究提供参考价值。