基于多域卷积与自注意机制的SAR图像变化检测

王 峰1,程咏梅2

(1.渭南师范学院, 陕西 渭南 714099; 2.西北工业大学, 西安 710072)

摘要:针对基于深度卷积神经网络的合成孔径雷达(synthetic aperture radar,SAR)图像的变化检测方法,在利用图像块分析特征的过程中易将噪声引入到边缘区域,造成SAR图像变化检测精度较差等问题。提出了一种基于多域卷积与自注意机制的SAR图像变化检测方法。该方法先通过多域卷积模型增强输入SAR图像块的中心区域,减少边缘噪声的影响;然后,再利用注入空洞卷积的改进自注意机制模型充分挖掘SAR图像的重要空间结构信息,来提高变化检测的性能;最后采用3种不同类型的SAR数据集进行实验结果表明,本文中所提出方法能获得较高的检测准确率和KC系数,优于各种对比方法。

关键词:合成孔径雷达图像;变化检测;多域卷积;空洞卷积;自注意机制

0 引言

随着地球观测进程的快速发展,越来越多的在同一地理区域不同时间捕获的SAR图像可以被利用。由于SAR图像可以在全天时、全天候的条件下获取,它已成为变化检测(change detection,CD)重要的数据源。它对洪水探测[1]、灾害评估[2]、城市规划[3]、土地覆盖数据监测[4]等大量应用都具有较高的实用价值。

SAR图像本身就受到散斑噪声的污染,这一现象使得SAR图像变化检测成为一项非常具有挑战性的任务。因此,发展能够处理散斑噪声的鲁棒性CD技术变得至关重要。为了解决此问题,学者们经过努力提出了许多鲁棒性的CD方法。这些方法大致可以分为两大类:1)监督的方法;2)无监督的方法。监督的方法通过使用大量标记数据产生良好性能[5]。然而,该方法总是难以获得足够的标记数据,因此不能满足实际应用的需要。相反,无监督的方法不需要任何先验信息的支持。同时,它可以将人为误差减少到最小。因此,在本文中,主要考虑使用无监督的方法检测SAR图像的变化。无监督的SAR图像变化检测方法通常由以下3个步骤组成:1)图像预处理;2)差异图像(difference image,DI)产生;3)DI分类。在第一步中,几何配准是基本任务,并起着重要的作用。在DI产生步骤中,常采用对数比、高斯比和邻域比操作产生DI图像。对于DI分类,最主要的工作是建立一个鲁棒性的分类器,这是CD中最关键的一步,因为一个分类器性能的好坏,直接影响到了CD精度的高低。

国内外学者们对CD提出了许多强有力的分类方法。Lu等[6]提出了基于邻域核聚类的半监督支持向量机(support vector machine,SVM)分类法,来检测SAR图像的变化区域。Li等[7]提出了基于两级聚类的无监督CD方法,来提高CD的性能。Gong等[8]提出了一种基于模糊C均值(fuzzy C-means,FCM)聚类的改进马尔可夫随机场方法来抑制散斑噪声。在文献[9]中,采用堆叠限制性玻尔兹曼机(restrictive boltzmann machines,RBM)来进行SAR图像CD。虽然上述方法取得了良好的性能,但特征表示能力仍然有限。

近年来,深度卷积神经网络(convolutional neural networks,CNNs)因其强大的特征鉴别能力,已成功地应用到了SAR图像分析中,并在SAR图像CD中取得了非常不错的效果。 Liu等[10]提出了一种利用增强局部限制性卷积神经网络(local restricted CNNs, LR-CNNs)来检测SAR图像中的变化区域。Gao等[11]提出了基于卷积小波神经网络的SAR图像中海冰变化检测。随后,在文献[12]中,提出了轻量级CNNs模型检测多实相SAR图像中的变化区域。虽然上述基于CNNs的方法利用深度特征的表示在SAR图像的CD方面取得了优异的性能,但是现有的方法通常使用块特征进行分类时,忽略了对SAR图像CD性能至关重要的上下文信息。另外,基于CNNs的方法都是利用块提取图像特征,容易在每个块的边缘区域引入一些噪声特征。如何在保留上下文信息的同时减少边缘区域噪声的干扰是SAR图像CD所面临的一个难题。

受人类视觉感知机制的启发,提出了一种鲁棒、精确的多域卷积(multi-region convolution, MRC)与改进自注意机制(improved self-attention mechanism,ISAM)联合的网络模型(简称MRCISAM),用于SAR图像的CD检测任务。首先,该方法利用MRC模型提取SAR图像的特征,不但能保持上下文的信息,而且能有效强调每个图像块的中心区域;然后,在自注意机制(self-attention mechanism,SAM)模块中加入空洞卷积层(dilated convolution,DC),形成新ISAM模块。该模块能突出有用的特征区域,来引导MRCISAM网络进行正确的变化检测。最后,采用3种不同的真实SAR数据集进行实验,所得实验结果表明,本文中提出的方法比其他对比方法具有更好的性能。

1 方法

假设两幅已配准的SAR图像I1I2,它们分别是在T1T2时间观测地球同一地理区域所拍摄。CD的主要目的是生成一幅二进制图像。其中,已经发生变化的像素将其标记为“1”,而未发生变化的像素将其标记为“0”。

本文中所提出的MRCISAM网络的SAR图像CD框图如图1所示。

图1 MRCISAM网络模型的SAR图像变化检测框图

Fig.1 SAR image change detection block diagram of MRCISAM networks model

该方法主要分为3步。

Step 1 (预分类):对数比运算用来产生DI。然后,利用FCM算法将DI图分为3种不同的聚类。

Step 2 (样本图像块的产生):每个像素周围生成图像块。将改变或未改变的高概率像素块作为训练样本,并生成一些虚拟样本。

Step 3 (通过MRCISAM网络分类):将在Step2中生成的图像块作为训练数据进行处理,并输入到MRCISAM中。经过训练后,将原始SAR图像中的所有样本块输入到学习的MRCISAM模型中进行分类,得到最终的变化映射图。

1.1 预分类和样本图像块的生成

在进行变化信息分析之前,先使用对数比运算符将SAR图像的线性尺度转换为对数尺度,然后再进行变化信息分析。对数比图像DI通过DI= |logI2/I1|计算。结果表明,利用对数比运算符可以将乘性噪声转变为加性噪声。获得DI后,利用分层FCM算法将DI图像分为3组:改变类Ωc,未改变类Ωu,中间类Ωi。像素属于Ωc是具有高概率改变类,像素属于Ωu是具有高概率未改变类。因此,本文选择ΩcΩu作为训练样本。属于Ωi类的像素将被MRCISAM进一步分类。

值得注意的是,在选择样本训练MRCISAM模型时,正样本数量与负样本数量应一样。对于给定的像素,分别以该像素为中心从I1I2图像中提取图像块。每个块的大小为r×r(r=7),将输入图像I1I2的块联合在一起,形成大小为2×r×r的图像块。新产生的图像输入到MRCISAM模型中进行训练。训练后,像素中心属于Ωi类的图像块再进行进一步分类。

1.2 多域卷积特征提取

如图1所示,整个MRCISAM网络中包含4个MRC模型。MRC模型的细节如图2所示。因为上下文信息对SAR图像CD有着重要的影响,现有方法常采用固定大小的窗口(3×3,5×5,6×6)等来确定位置是否发生了变化。本文中认为,如果在特征提取时放弃一些边缘区域,强调中心区域,从而就能消除边缘区域的噪声。为此,本文中提出提取多区域特征,来增强SAR图像在CD中的特征表示。

图2 MRC模块框图
Fig.2 Illustration of the MRC module

以下是3种区域表示形式:① 整体区域。如图2所示,它是一个方形块,用CNNs引导捕获中心像素的全局上下文信息。② 水平中间区域。设计图像块集中在水平中心区域,且将顶部和底部的像素删除。③ 垂直中间区域。设计垂直图像块集中在中心区域,而将集中在左右2部分的像素删除。如果在CNNs模型中考虑上述区域,中心区域将会得到增强,边缘上的噪声像素将得到有效抑制。

假设图像块ARr×r,将其输入到1×1的卷积层,获得新的特征映射FRC×r×r。然后,根据通道维数将F分为FgFhFv三组。因此,FgFhFv的形状分别是C/r×rFg表示整体特征,Fh指的是水平中间区域特征。其中,顶部和底部的几行像素被移除,设置为0。Fv代表垂直中间区域特征,其中,左侧和右侧几列像素被移除,设置为0。在本文中将r设置为7,Fv特征的上边两行和下边两行分别设置为0,而Fh特征的左两列和右两列分别设置为0。

以图像块大小为例,输入特征映射被卷积成15个通道,然后将其分成FgFhFv三组,经3×3卷积层后,能够获得FgFhFv,这些特征进行元素级求和融合,形成输出特征。

FgFhFv三组特征分别经过的卷积层后,可分别获得FgFhFv三组特征。将这些特征通过元素级求和进行融合如下:

Ffus=Fg+Fh+Fv

(1)

式中, FfusC/r×r表示融合后的特征,在本文实验中将C设置为15。因此,最终可得到MRC模型的融合特征图大小为5×7×7。

1.3 空洞卷积

为了学习更多的辨别特征,在MRCISAM的网络中,本文中使用空洞卷积DC代替Transformer中自注意模块的标准卷积。DC在过去也称为带有空洞滤波器的卷积,它在小波分解的átrous算法中起着关键作用[13]。随后,进一步采用语义分割的方法,在不损失图像分辨率的情况下聚合多尺度上下文特征。数学上,2个函数之间的卷积运算(*)可以表示如下:

式中: f为核大小为m的离散函数;g为大小为n的滤波器; r为感受野的大小。另外,DC表示为式(3),其中k表示膨胀率。

DC是基于卷积运算,不需要重建空洞滤波器。通过使用多个膨胀率,可以在不同的范围内应用相同滤波器来接受不同感受野。根据混合DC方案[14],在Transformer的SAM模块中,分别对和的冗余卷积进行1-和2-的膨胀。即,1-DC在感受野方面等于标准卷积,1-膨胀的卷积和2-膨胀的卷积的感受野与标准卷积一样,如图3所示。采用DC能够提供更大的接受域,并允许模型专注于局部特征信息。另外,DC的引入不但不会增加额外的计算量,而且还能够保证快速的卷积操作和有效的推理。

图3 空洞卷积概述

Fig.3 Overview of dilated convolution

1.4 SAM模型

为了突出有用区域和模型特征关系,进一步研究了Transformer在机器翻译中成功采用的SAM[15]。在Transformer的SAM单元中,输入分为查询(Q)、键(K)和值(V)3个组成部分,如图4(a)所示。首先计算所有键查询的点积,然后将SoftMax函数放在矩阵乘法的结果上,得到该值对应的权重,称其为SAM,也可以考虑和捕获上下文句子之间的长期依赖关系。本文中受Transformer中SAM单元的启发,将DC卷积引入到其中,设计了一种新的ISAM模块,并将其表述为建模特征关系的唯一注意机制。在图4(b)中,输入先被分别划分为qkv分支。接下来并行执行1-,2-,和5-膨胀率的3×3卷积,为了减少参数的瓶颈,对1-和2-膨胀卷积后的特征在进行一次1×1卷积,然后采用SoftMax函数计算激活概率。在ISAM输出之前,受文献[16]启发,采用的 Sigmoid注意特征融合方案能够更有效的融合注意特征。在DC卷积的帮助下,ISAM能够捕获全局特征,同时也关注局部语义信息。

图4 SAM的体系结构概述

Fig.4 Overview of architecture of self-attention module (SAM)

在数学上,所提出的ISAM可以用式(4)和式(5)表示。首先,通过线性尺度输入来表示qk个特征映射,并且v与输入保持相同的大小。这里用xs表示输入x在尺度因子s下的特征图,同时也表示滤波器与通道数量比输入的数量减少了s倍。为了简化模型和提高计算效率,本文中将s设置为分别指的是标准化卷积运算权重矩阵获得的自注意特征映射q(xs)和k(xs)。

在方程 (6)中,计算qkv特征映射之间的矩阵乘法,然后计算SoftMax函数。

att(q,k,v)=softmax(q(xs)k(xs)T)v(x)

(6)

在方程 (7)中,对方程(6)输出的注意特征映射取激活函数,可获得新的权重W, 然后在方程(8)中,利用权重W将多域卷积提取的输入特征Ffus和与注意特征映射进行加权融合,可获得最终输出Fout

W=sigmoid(att(q,k,v))(7)Fout=

att(q,k,v)⊗W+Ffus⊗(1-W)

(8)

如图4所示,ISAM被放置在4个MRC和2个全连接层(full connected layers,FC)之间,ISAM与非局部网络的扩展操作相比,ISAM是轻量级的,并且它可以用很少的计算成本有效的插入到其他架构中。更重要的是,它可以对全局特征关系进行建模,同时捕获局部上下文信息,优于简单的注意机制单元检测方法[17]

1.5 生成最终变化映射图

差异图像经过4层MRC模块和ISAM模块后,可以获得包含有全局上下文信息,且中心区域得到增强的特征矢量Vs,其长度为5×5×7=175。将特征矢量Vs输入到FC层后,差异图像中变化或未变化的概率就会通过SoftMax层生成输出。经过训后,类中的像素通过MRCISAM网络就可以进一步进行分类,并获得最终的变化映射图。

2 实验结果与分析

2.1 实验建立

为了证明所提MRCISAM算法的有效性,本文从https://github.com/summitgao/SAR_changed_Detection_Data.网址上获得大量的SAR图像数据集用于MRCISAM网络训练,并选用3种不同类型的SAR数据集进行测试。其中,第一种数据集为旧金山数据集(San Francisco),图像大小为256×256像素,它是由ERS-2SAR传感器在旧金山市上空捕获所得。第二种数据集为黄河数据集(Yellow River),图像大小为306×491像素,它显示了Radarset-2在中国黄河河口地区采集的一段SAR图像。第三种数据集为渥太华数据(Ottawa),图像大小为290×350像素,它提供了由RADARSATSAR传感器捕获的两幅SAR图像中的一部分。这些图像展示了曾经遭受洪水破坏的地区。需要提醒的是,以上介绍的这3种数据集都受到了不同特征噪声的污染。因此,用这些数据集进行CD是非常具有挑战性的。

为了进一步证明本文方法的优越性,选用了6种主流的CD方法与所提出的方法进行比较。这些方法分别为PCAKM[18]、GaborPCANet[19]、DBN[20]、DCNet[21]、ESCNet[22]和DDNet[23]。这些方法分别采用文献[18-23]中所提供的默认参数来实现。

在本文中,采用错检个数(FP),漏检个数(FN),总体误差(OE),正确分类百分比(PCC)和Kappa系数(KC)这5种常规客观指标评价SAR图像CD的性能[23]

2.2 参数分析

为了获得上下文信息,在每个样本的像素周围提取一个大小为r×r的图像块。参数r是影响SAR图像CD性能的关键参数。因此,本文中将r分别设置5、7、9、11、13和15。不同r值与PCC值之间的关系如图5所示。

图5 不同图像块大小和PCC间的关系

Fig.5 Relationship between different image patch size and the PCC

观察图5可以得出,在3种不同的SAR图像数据集上,r=7时PCC值达到最好。当r>7时,PCC的值有下降趋势,主要原因在于大的图像块不能代表中心像素,并且CD容易受到散斑噪声的影响。当r≤7时,PCC值相对较低,因为需要考虑更多的上下文信息。在接下来的实验中,r的值被设置成7。

2.3 消融实验

为了证明MRC模型和ISAM模型的有效性,本文中选用了3组不同的SAR数据集进行了消融实验。3种实验所用的方法分别为:① MRC网络不含SAM模块;② MRC与SAM模型结合,且SAM模块中不包含DC层;③ MRC与ISAM模型结合,且ISAM模块中加入了DC层。从表1中可以看出,MRC与ISAM模块能有效的提高CD的性能。ISAM在3组数据集上的PCC值分别提高0.37%、0.2%和0.28%,这足以说明,DC的引入能有效的保留辨别特征。

表1 MRC与ISAM方法的消融实验(PCC)

Table 1 Ablation experiment (PCC) of MRC and ISAM methods

方法San FranciscoYellowRiverOttawaMRC98.4295.3898.32MRC+SAM98.8298.8398.34MRCISAM99.1999.0398.62

2.4 结果与分析

本节将所提出MRCISAM方法与6种相关联的方法进行比较,所有方法的主观视觉评价和客观分析分别见图6和表2、图7和表3、图8和表4所示。

表2 不同方法在San Francisco数据集上的测试结果

Table 2 Test results of the different methods on the San Francisco dataset

方法San Francisco数据集FPFNOEPCC/%KC/%PCAKM1 618251 64397.4983.68GaborPCANet33334267598.9792.23DBN20447868298.9691.94DCNet27646874498.8691.28ESCNet55429084498.7190.54DDNet41933775698.8591.40MRCISAM25727152899.1993.89

表3 不同方法在Yellow River数据集上的测试结果

Table 3 Test results of the different methods on the Yellow River dataset

方法Yellow River数据集FPFNOEPCC/%KC/%PCAKM5 1581555 31394.0362.92GaborPCANet7451 1131 85897.9180.63DBN5616681 22998.6287.49DCNet4936581 15198.7188.33ESCNet3359161 25198.6086.70DDNet2268161 04298.8388.91MRCISAM8278286499.0390.71

表4 不同方法在Ottawa数据集上的测试结果

Table 4 Test results of the different methods on the Ottawa dataset

方法Ottawa数据集FPFNOEPCC/%KC/%PCAKM9551 5152 47097.5790.73GaborPCANet9539421 89598.1392.99DBN9957041 69998.3393.76DCNet6791 0511 73098.3093.54ESCNet102 2312 24197.7986.06DDNet6411 0271 66898.3693.77MRCISAM5846471 60598.9294.00

图6 不同CD方法在San Francisco数据集上的视觉对比结果

Fig.6 Visual contrast results of the different CD methods on the San Francisco datasets

图7 不同CD方法在Yellow River数据集上的视觉对比结果

Fig.7 Visual contrast results of the different CD methods on the Yellow River datasets

图8 不同CD方法在Ottawa数据集上的视觉对比结果

Fig.8 Visual contrast results of the different CD methods on the Ottawa datasets

在San Francisco数据集上,观察图6(d)—(i)所给出不同对比方法的变化图和其所对应于表2中的实验结果可知。PCAKM的方法错检了许多未发生变化的像素。导致PCAKM方法的FP值较高,CD的整体性能受到了影响。 DBN和DCNet方法在少量噪声下实现了较好的性能,但是变化像素丢失严重。对GaborPCANet方法,FP和FN值得到了平衡。但在变化图中仍存在一些白噪声,并且在左上角忽略了一些发生变化的区域。 更多可接受的视觉结果如图6(f)—(j)所示。比较图6(f)—(j),DCNet方法获得了变化区域的细节,而DBN方法抑制了噪声。此外,本文中所提的MRCISAM方法与前面的方法相比,MRCISAM方法获得了最好的PCC和KC值。很明显,ISAM模块提高了CD检测的性能。

在Yellow River数据集上,不同方法所产生变化图如图7所示。其相对应的客观评价标准如表3中所列。Yellow River数据集受到严重的噪声污染。因此,采用传统方法很难获得令人满意的结果。PCAKM和GaborPCANet方法的变化图显示出许多噪声区域。导致这2种方法的FP值很高。对于GaborPCANet方法,丢失了许多已变化的像素,获得了较高的FN值。尽管抑制了噪声干扰,但忽略了许多重要的变化信息,导致了较高的FN值。图7(f)—(j)性能较好,并且很明显,基于深度学习的方法可以更有效地探索上下文信息。特别是本文MRCISAM方法能有效抑制底部变化的噪声,不但实现了最好的视觉效果,而且也获得了更高的PCC和KC值。

在Ottawa数据集上,图8给出了不同方法所获得的变化图,表4列出了详细的评价标准。可以看出,PCAKM的方法丢失了许多小的变化区域。因此,该方法的FN值较高。GaborPCANet,DDNet和本文中所提出的MRCISAM方法实现了好的效果。从表4可以看出,MRCISAM方法优于GaborPCANet方法,PCC值高出了约0.79%。同时,MRCISAM方法的PCC值超出DDNet方法约%0.56。在ESCNet方法的结果中,FP值最低,而FN值最高。因为许多细微的变化区域作为噪声被消除了。此外,MRCISAM的PCC值略高于DBN和DCNet。这是因为MRCISAM具有更好的细节保护能力,从而导致FN值较低。根据PCC值和视觉效果,MRCISAM方法在Ottawa数据集上性能最好。

以上3种数据集的实验结果表明,所提出的MRCISAM方法,能够获得最好的性能。此外,本文所提出的MRCISAM方法与传统的基于CNNs方法相比的优势,就是分别采用MRC模块提取图像的上下文信息,采用ISAM模型来提高检测的精度。

3 结论

本文中提出了一种基于MRCISAM的SAR图像变化检测方法。该方法先通过MRC模型增强输入图像块的中心区域特征;再利用ISAM模型对MRC模型输出特征进行优化,来提高CD的精度。最后,采用3组不同类型的SAR图像进行实验,所得实验结果表明,本文提出的CD方法在性能上明显优于PCAKM、GaborPCANet、DBN、DCNet、ESCNet、DDNet和DDNet的方法。

参考文献:

[1] GIUSTARINI L,HOSTACHE R,MATGEN P,et al.A change detection approach to flood mapping in urban areas using Terra SAR-X[J].IEEE transactions on Geoscience and Remote Sensing,2012,51(4):2417-2430.

[2] 王平,王宜怀,刘长勇,等.基于改进邻域比和分类的SAR 图像变化检测[J].计算机应用与软件,2020,37(5):9.

WANG Ping,WANG Yihuai,LIU Changyong,et al.Change detection in SAR images based on improved neighborhood ratio and classification[J].Computer Applications and Software,2020,37(5):9.

[3] QUAN S,XIONG B,XIANG D,et al.Eigenvalue-based urban area extraction using polarimetric SAR data[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2018,11(2):458-471.

[4] ZANOTTA D C,HAERTEL V.Gradual land cover change detection based on multitemporal fraction images[J].Pattern Recognition,2012,45(8):2927-2937.

[5] WANG S,YANG S,JIAO L.Saliency-guided change detection for SAR imagery using a semi-supervised Laplacian SVM[J].Remote Sensing Letters,2016,7(11):1043-1052.

[6] JIA L,LI M,WU Y,et al.Semisupervised SAR image change detection using a cluster-neighborhood kernel[J].IEEE Geoscience and Remote Sensing Letters,2014,11(8):1443-1447.

[7] LI H C,CELIK T,Longbotham N,et al.Gabor feature based unsupervised change detection of multitemporal SAR images based on two-level clustering[J].IEEE Geoscience and Remote Sensing Letters,2015,12(12):2458-2462.

[8] GONG M,CAO Y,Wu Q.A neighborhood-based ratio approach for change detection in SAR images[J].IEEE Geoscience and Remote Sensing Letters,2011,9(2):307-311.

[9] GONG M,ZHAO J,LIU J,et al.Change detection in synthetic aperture radar images based on deep neural networks[J].IEEE transactions on neural networks and learning systems,2015,27(1):125-138.

[10] LIU F,JIAO L,TANG X,et al.Local restricted convolutional neural network for change detection in polarimetric SAR images[J].IEEE transactions on neuralnetworks and learning systems,2018,30(3):818-833.

[11] GAO F,WANG X,GAO Y,et al.Sea ice change detection in SAR images based on convolutional-waveletneural networks[J].IEEE Geoscience and Remote Sensing Letters,2019,16(8):1240-1244.

[12] WANG R,DING F,JIAO L,et al.Lightweight convolutional neural network for bitemporal SAR image change detection[J].Journal of Applied Remote Sensing,2020,14(3):036501.

[13] SHENSA M J.The discrete wavelet transform:wedding the a trous and Mallat algorithms[J].IEEE Transactions on signal processing,1992,40(10):2464-2482.

[14] WANG P,CHEN P,YUAN Y,et al.Understanding convolution for Semantic Segmentation[C]//Proceedings of 2018 IEEE Winter Conference on Applications of Computer Vision.USA.New York:IEEE,2018:1451-1460.

[15] VASWANI A,SHAZER N,PARMAR N,et al.Attention is all you need[C]//Proceedings of the 2017 International Conference on Neural Information Processing Systems.Long Beach California USA:2017:5998-6008.

[16] DAI Y,GIESEKE F,OEHMCKE S,et al.Attentional feature fusion[C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision.USA.New York:2021:3560-3569.

[17] YI J,WU P,METAXAS D N.ASSD:Attentive single shot multibox detector[J].Computer Vision and Image Understanding,2019,189(2):102827.

[18] CELIK T.Unsupervised change detection in satellite images using principal component analysis and k-means clustering[J].IEEE Geoscience and Remote Sensing Letters,2009,6(4):772-776.

[19] GAO F,DONG J,LI B,et al.Automatic change detection in synthetic aperture radar images based on PCANet[J].IEEE Geoscience and Remote Sensing Letters,2016,13(12):1792-1796.

[20] GONG M,ZHAO J,LIU J,et al.Change detection in synthetic aperture radar images based on deep neural networks[J].IEEE transactions on neural networks and learning systems,2015,27(1):125-138.

[21] GAO Y,GAO F,DONG J,et al.Change detection from synthetic aperture radar images based on channel weighting-based deep cascade network[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2019,12(11):4517-4529.

[22] ZHANG H,LIN M,YANG G,et al.Escnet:An end-to-end superpixel-enhanced change detection network for very-high-resolution remote sensing images[J].IEEE Transactions on Neural Networks and Learning Systems,2021.

[23] QU X,GAO F,DONG J,et al.Change detection in synthetic aperture radar images using a dual-domain network[J].IEEE Geoscience and Remote Sensing Letters,2021.

SAR image change detection based on multi-domain convolution and self-attention mechanism

WANG Feng1, CHENG Yongmei2

(1.Weinan Normal University, Weinan 714099, China; 2.Northwestern Polytechnical University, Xi’an 710072, China)

AbstractAs for the change detection methods of Synthetic Aperture Radar (SAR) images based on deep convolutional neural networks, it is easy to introduce noise to marginal areas in the process of using image blocks to analyze features, resulting in poor accuracy of SAR image change detection. To solve this problem, this paper presents a change detection method of SAR images based on multi-domain convolution and self-attention mechanism. Firstly, this method enhances the central region of the input SAR image blocks through a multi-domain convolutional model to reduce the influence of edge noise. Then, the improved self-attention mechanism model of the injected dilated convolution is used to fully excavate important spatial structure information of the SAR images to improve the performance of change detection. Finally, the experimental results on the three different types of the SAR datasets show that the proposed method can obtain a high detection accuracy and KC coefficient, which is better than various comparison methods.

Key wordssynthetic aperture radar (SAR) image; change detection; multi-domain convolution; dilated convolution; self-attention mechanism

收稿日期:2022-09-05;

修回日期:2022-10-20

基金项目:渭南市科技计划项目(ZDYF-JCYJ-196);渭南师范学院校级人才项目(2020RC11)

作者简介:王峰(1981—),男,博士,讲师,E-mail:wangfeng81113@163.com。

doi:10.11809/bqzbgcxb2023.07.038

本文引用格式:王峰,程咏梅.基于多域卷积与自注意机制的SAR图像变化检测[J].兵器装备工程学报,2023,44(7):281-288.

Citation format:WANG Feng, CHENG Yongmei.SAR image change detection based on multi-domain convolution and self-attention mechanism[J].Journal of Ordnance Equipment Engineering,2023,44(7):281-288.

中图分类号:TP391

文献标识码:A

文章编号:2096-2304(2023)07-0281-08

科学编辑 黄世奇 博士(西京学院教授)责任编辑 胡君德