基于增强型金字塔及图像超分辨率去雾网络

雾霾天气频繁出现,导致室外图像中物体的可见度明显降低,进而对完成计算机视觉高级任务(例如目标检测和人物姿态估计等)造成不良影响[1]。因此,雾霾图像清晰化研究在计算机视觉领域激起人们极大关注。从模糊的输入中获得清晰的输出是图像去雾的目标。精准、高效的去雾算法为图像处理后续任务奠定基础。雾霾天气的图像退化过程可以通过物理模型描述为[2]

式(1)中:x为图像中每个像素的位置信息;I(x)为输入雾图;J(x)为对应恢复出的去雾图像;A为全局大气光表示光照强度;t(x)为中间传输率。式(1)称为大气散射模型。

早期的去雾方法是基于清晰的图像统计数据,采用先验知识来估计传输图,然后用物理模型恢复去雾结果。如He等[3-4]使用暗通道对传输图进行预测。Zhu等[5]提出颜色衰减先验CAP模型,并对模糊图像场景进行建模。图像去雾问题具有高度不适定性,上述大气散射模型是一个典型的不适定方程,即只有在已知透射图和大气光照强度先验信息基础上才能够推算出清晰图像。然而,准确地估计先验信息很难实现,方程的解可能会积累误差,导致先验知识失效[6]。最近几年,深度神经网络(DNN)广泛应用于图像恢复领域。如图像超分辨率[7-8]和图像去雾[9-10]。大量基于深度学习的去雾方法不断被提出,如GCANet[9]使用门控子网络有效融合不同级别特征;FFANet[10]提出特征融合注意力网络,提高网络学习效率;GridDehazeNet[11]网络交换不同尺度图像的信息,有效缓解多尺度估计的瓶颈问题。以上方法不依赖于物理模型,只需输入雾霾图像,可直接得到去雾结果,无需预测大气光和传输图。

虽然上述基于深度学习的去雾算法效果显著,但随着图像特征提取层数的增加,深层卷积使特征边缘信息在传播过程中容易丢失。并且与清晰标签相比,去雾结果中出现对比度下降、特征细节模糊等问题影响图像观感。

图像去雾过程是典型的图像复原过程。其中,图像的高频信息对图像重建任务至关重要。高频信息通常包含在浅层特征图中,随着特征提取的程度不断加深,高频信息变得难以保留,从而导致去雾网络性能下降。经过深度分析特征提取过程,下采样(池化、跨步卷积)计算和上采样(插值、转置卷积)计算导致信息丢失。受图像超分辨率技术中亚像素卷积[7]的启发,该方法在下采样同时有效地保护原有特征,亚像素卷积层可代替跨步卷积下采样避免特征丢失。

因此,采用图像超分辨率技术对增强型金字塔[12]去雾网络进行优化。首先,融合使用较低层特征和较高层特征,构建特征金字塔。其次,将增强策略融入特征金字塔,提高网络的去雾能力。最后,利用超分辨率技术的特点,在不使用卷积下采样的条件下提取图像高频信息。既为去雾图像增加信息补充,又保护原图细节信息。网络结构创新主要包括以下2个部分:

1) 通过融合图像增强机制,有效地提高去雾后图像的性能指标,并充分利用原始信息,促进不同层次特征的高频信息融合。

2) 利用超分辨率技术补充高频特征,构造双分支的图像去雾网络,使去雾结果中的细节更接近清晰图像。与其他去雾方法相比,我们的模型具有更好的去雾效果。

1 基于增强特征金字塔及图像超分辨率去雾网络

1.1 网络总体结构

为了改善网络去雾效果,结合超分辨率技术和增强特征金字塔网络的优势,搭建双分支去雾网络。网络结构如图1所示。其中,增强型特征金字塔网络可分为特征提取、图像重建2个部分,分别采用Encoder、Decoder结构。为了提升网络去雾能力,采用特征图增强机制,实现有效信息增强。图像增强机制对编码器和解码器中相同大小的特征图进行融合,从而增强不同层次特征的互补性,提升图像重建能力。其次,图像超分辨率网络采用亚像素卷积与宽激活模块相结合提取雾图中的高频特征,对增强型金字塔网络重建图像补充细节信息。最后,2个网络的输出通道融合模块相连,输出清晰图像。

1.2 增强型特征金字塔网络

1.2.1 增强型金字塔网络

特征融合主要包含特征图拼接和按元素相加等2种方式。对于图像去雾任务来说,以上2种特征融合方式不满足研究需求。增强机制参与优化图像重建过程,增强机制按照增强公式对编码器特征图和解码器估计图进行图像融合,使融合后的图像包含更多有效信息,使其获得更高峰值信噪比。增强型金字塔特征提取网络选用Encoder-Decoder框架学习输入图像到重建图像的映射关系。网络结构如图2所示,Encoder模块包括4个特征提取层ResidualLayer1～4,用于提取不同尺度特征图。通道注意力对Encoder提取的特征加权后映射至Decoder以准备图像增强融合,注意力机制提高网络训练效率,并降低计算复杂度。

网络直接学习从特征提取到图像重建的映射过程,Encoder模块最后一层ResidualLayer4特征图经过注意力加权作为Decoder模块的输入,在清晰标签的指导下完成图像重建将特征映射转换为清晰图像。增强机制将上采样后的深层估计图作为被增强部分,以Encoder中相同尺寸特征图作为增强剂对其进行增强。此后重复估计图上采样与增强融合过程,直到增强机制输出与输入图片同尺寸。增强型特征金字塔网络重复利用浅层特征图,生成多尺度的强语义信息估计图,提高多尺度估计图的语义信息含量,获得更好的去雾效果。

1.2.2 图像增强机制

增强机制包括2个部分,即增强融合模块和通道注意力引导的特征映射。通道注意力对编码阶段到解码阶段特征映射过程进行优化,增强融合模块在逐步恢复无雾图像同时提升网络去雾能力。图像增强机制构成如图3所示。

1) 增强融合机制。

早期的增强机制利用残差(噪声图像与去噪估计图之差)反馈到估计图对其进行增强[13-15]。这种方法的本质是提取残差中有效信息提高估计图质量,得到信噪比更高的结果。然而,残差中也包含噪声信号对去噪结果产生不良影响。

为了进一步提高增强架构的性能,Romano和Elad提出新的增强机制[16]。以该机制为启发,图像重建过程对特征图质量有较高的需求,增强机制对重建的特征图实现信号增强,并逐步细化增强结果。通过消融实验验证增强模块有效性,加入增强机制后,去雾结果的峰值信噪比提高1.08 dB,证明增强机制同样适用于图像去雾。增强机制的工作原理可描述为:

式(2)中:

代表第n、n+1个解码器的估计图;y表示输入雾图;

表示经过y增强后的图像; f(·)是去雾过程。增强机制使用数据驱动的方法有效地解决图像去雾问题。其整体过程描述为:

式(3)中:Dn、Dn+1为第n、n+1个解码器重建的估计图;En+1为第n+1个编码器特征图;ResidualBlock(·)为去雾残差块;Up(·)为上采样操作。

增强融合过程如式(3)所示。首先,第n+1个编码器特征图经过通道注意力机制水平地映射到相应的解码器。其次,第n个解码器重建结果上采样后与水平映射结果按照增强公式像素融合,融合后的特征图被称为增强结果。最后,使用残差块再次细化增强的结果,为了保证增强结果可测试性,需要删除增强结果中的冗余信息。

2) 通道注意力引导的特征映射。

为了确保图像重建过程中准确地还原更多特征信息,网络使用通道注意力提高特征映射的质量和效率[17]。注意力机制对编码器特征图加权使映射过程更具针对性,获得更好的增强融合效果,以此输出还原度更高的估计图。映射过程利用高层特征中更丰富的语义信息,为特征映射解码器输出补充特征纹理和形状等。

1.3 超分辨率网络

通过输入低分辨率图片生成清晰的高分辨率图片,被称为图像超分辨率。在图像去雾任务中,首先需要对有雾图像下采样操作,提取图像粗糙特征。再由清晰标签引导特征图通过上采样重建得到去雾结果。然而,图像下采样过程中仅保留明显特征,可能忽略纹理、色彩等信息,也就是高频细节丢失,导致去雾图像细节模糊、对比度下降等问题。为了解决上述问题,研究使用超分辨率网络补充图像高频特征[18]。

Yu等推测非线性RELU阻碍了信息从浅层流向深层,并于RELU激活之前简单地扩展通道数,单图超分辨率残差网络中,在相同的参数量下,更宽的激活具有更好的性能。这种方法在未增加网络参数和计算量的情况下,显著提高图像超分辨率性能。

亚像素卷积是一种图像上采样方式,可替代反卷积实现r倍上采样。首先经过卷积得到r2个与输入图像尺寸一致的特征图。其次r2个特征图对应像素重新排列成一个r×r的区域,生成高分辨率图像中r×r大小的子块,子块按照像素位置依次排列。输入H×W低分辨率图像经过亚像素卷积输出rH×rW高分辨率图像。图像从低分辨率到高分辨率放大的过程中,插值被“藏”在通道扩大后的特征图中,插值由自动学习得到,只在最后一层做大小变换,因此亚像素卷积层上采样效率高。

超分辨率网络结构如图4所示,卷积将输入图像通道数扩大为16,使用逆亚像素卷积层实现4倍下采样。特征图依次经过第1个核为3的卷积,3个宽激活模块,第2个核为3的卷积捕获高频细节特征。此后,亚像素卷积层对特征上采样至与输入同尺寸,最后卷积层设置输出为三通道,以此得到图像的高频特征。宽激活块用来防止训练不稳定。超分辨率网络可以细化结果,使细节更加清晰。

1.4 损失函数

为了优化训练结果,训练过程中使用2种损失函数引导图像重建。分别是:均方差损失Loss_MSE和边缘损失Loss_Edge。训练损失随训练轮次变化情况如图5所示。

均方差损失Loss_MSE是一个像素级损失函数,均方差损失函数计算真实值与预测值之间的欧式距离。用来衡量清晰图像与网络去雾输出之间的差异,从像素维度上对网络的学习进行约束。均方差损失函数被定义为:

式(4)中:C、W、H分别为通道数、图片宽度和高度;Ic,(x,y)为清晰图像通道C定位在(x,y)的值;

为对应输出去雾图片的值。

引入边缘损失Loss_Edge,旨在恢复更多的边缘细节。首先,通过拉普拉斯滤波器处理去雾输出与清晰图像。其次,经过卷积运算可得到去雾输出与清晰图像的特征边缘信息。Tanh激活函数用于将边缘图像的值映射到区间[0,1]。最后,用清晰图像与去雾输出在激活函数的映射差值描述两者之间的差距。边缘损失公式为

式(5)中:k为拉普拉斯滤波器;I和

分别为清晰图像与去雾输出,并使用滤波后的权重作为卷积的参数;Conv(·)为卷积运算;Tanh为激活函数。网络总损失函数表达为:

2 实验与结果分析

在本节中,对提出的网络在合成数据集和真实世界数据集进行大量实验,以验证网络的去雾性能。实验由3部分组成。首先,以定性和定量2种角度与现有的先进去雾方法进行比较,这些方法包括DCP、GCANet、GridDehazeNet、FFANet、PCFAN[19]和4KDehazing[20]等6种。从主观和客观2个方面对去雾结果进行评价。峰值信噪比和结构相似度是2种主要评价指标,描述去雾结果与清晰标签之间的差异,从客观角度评价网络的去雾性能。

其次,为了证明网络的去雾能力,使用合成雾霾数据集RESIDE[21]、非均匀雾霾数据集及真实雾霾数据集对提出的方法进行实验。此外,进行消融实验证明超分辨率网络和增强策略在图像去雾过程中的有效性。

在实验过程中,输入雾图与清晰标签均设置为512×512像素。采用Adam[22]优化算法,Batchsize设置为1,第1次估计的指数衰减率β1和第2次估计的指数衰减率β2分别设置为0.5和0.999,学习率设置为0.000 1。提出的网络以PyTorch为框架。所有的训练和测试过程是在PyCharm 2019.3.4平台上进行的,整个实验过程在NVIDIA GeForce GTX 2080Ti的PC上运行。

2.1 数据集

由于收集大量的真实雾霾图像及其对应的清晰图像存在困难,因此,数据驱动的去雾方法使用合成的雾霾图像。在实验中,使用合成数据集RESIDE训练和测试提出的网络。RESIDE数据集包含5个部分,分别是:室内训练集(ITS),室外训练集(OTS),合成测试集(SOTS),真实世界测试集(RTTS)和混合测试集(HSTS)。使用ITS和SOTS分别作为训练集和测试集。ITS包含1 399张清晰图像及其生成的13 990张雾霾图像,SOTS包含500张室内雾霾图像和500张室外雾霾图像。此外,为了证实超分辨率金字塔去雾网络的泛化能力,使用真实世界数据集再次测试网络性能。选择I-HAZE、O-HAZE、NH-HAZE等3种真实数据集分别包含35幅室内雾霾图像、45幅室外雾霾图像和55幅非均匀室外雾霾图像及其相应的清晰图像。将上述3种数据集合并组成包含135幅雾霾图像的新数据集。首先,在新数据集中随机选取130组雾霾图像及对应的清晰图像作为训练集。其次,将剩余5组与训练集不重复的图像作为测试集。不同雾霾数据集的参数如表1所示。

2.2 RESIDE合成数据集实验结果

首先使用ITS集训练网络,其次分别在SOTS室内和室外测试集中进行测试,实验结果如图6所示。DCP算法处理后的图像整体偏暗,且出现偏色现象;FFA-Net算法处理后的图像含有少量雾残留;4KDehazing算法结果中有大量雾霾残留;GridDehazeNet算法和PCFAN算法处理后的图像中浮现黑色阴影;GCANet算法结果整体观感良好,但存在色彩偏差。本文中所提算法在较好地去除雾霾的同时对图像色彩饱和度恢复最接近清晰图像。

SOTS数据集测试结果的客观评价指标平均值如表2所示。

由表2可以看出,本文中所提算法去雾结果在室内和室外2种环境下,均取得最高的指标分数,证明算法对合成数据集具有较强去雾性能。其他6种算法指标得分偏低,与主观评价相符。

2.3 非均匀雾霾数据集实验结果

测试算法在非均匀雾霾数据集的去雾效果可体现算法面对不同雾霾场景去雾能力。合并I-HAZE、O-HAZE、NH-HAZE等3组数据集作为自建非均匀雾霾数据集进行对比实验。实验结果如图7所示。DCP算法处理非均匀雾图表现较差,图像出现巨大色差和大面积阴影;GCANet算法处理后图像整体变暗,植物、建筑物边缘被污染;GridDehazeNet算法不能还原浓雾区域、环境光较暗的图像色彩,并且有少量雾残留;PCFAN算法处理后图像色差偏大;FFA-Net算法处理光照较暗图像得到色彩饱和度偏低的结果,重建图像细节模糊;4KDehazing算法处理结果存在明显的色彩偏差,对比度较低。本文中所提算法在有效去雾的同时最大程度还原图像色彩与特征细节。

非均匀雾霾数据集实验结果评价指标的平均值如表3所示。不同算法指标得分差异巨大,本文中所提算法PSNR值为23.67 dB、SSIM为0.863 2,2项指标均为最高得分,证明算法对非均匀雾霾图像具有一定的去雾能力。其余6种算法指标得分较低,客观反映出非均匀雾图去雾是一项挑战性的任务。

2.4 真实雾霾数据集实验结果

测试算法在真实雾霾数据集的去雾效果可体现去雾算法的实用性以及泛化能力。各算法在真实数据集测试结果如图8所示。DCP算法处理效果整体偏暗,部分细节存在色差;GCANet算法具有良好的去雾能力,但经过处理后图像色彩还原度很低,尤其在强光区域失真明显;GridDehazeNet算法处理后图像中出现大量黑色残影,尤其是天空区域;FFA-Net处理结果观感很差其中残留大量雾霾;4KDehazing处理后图像不仅整体偏暗,而且图像周围被黑色阴影污染;PCFAN算法处理后仍有少量雾霾残留。相比之下,所提算法在有效去雾的同时最大程度还原图像色彩与特征细节。

真实雾霾数据集由不同方式获取的雾霾图像组成,没有与之配对的清晰图像作为标签。对真实雾霾数据集实验结果选用无参考图像评价指标。方差用来衡量像素灰度值相比均值的离散程度,方差越大,图像中灰度级别分离越高,图像质量越好。客观评价指标如表4所示。

2.5 消融实验

为了进一步展示超分辨率网络和增强策略提升网络去雾效果的有效性,通过消融实验证明网络中的每个模块有效性。使用SOTS测试集进行消融实验,对比分析实验结果。对比结果如图9所示,其中:模型Ⅰ仅包含去雾网络;模型Ⅱ是去雾网络与增强机制的组合;模型Ⅲ代表去雾网络与图像超分辨率网络的组合;模型Ⅳ表示去雾网络与增强机制、图像超分辨率网络三者组合。室内外消融实验结果对比如表5、表6所示。

由表5、表6客观指标对比可知,模型Ⅰ的2项指标均为最低值,室内室外环境模型Ⅳ的PSNR得分分别为29.44 dB和24.20 dB比模型Ⅰ高1.33 dB和1.50 dB;SSIM得分比模型Ⅰ高0.020 8和0.018 5。综上所述,模型Ⅳ去雾性能最佳,证明了算法有效性。

3 结论

1) 超分辨率技术对图像做下采样变换,使图像细节特征得以保留。结合超分辨率技术和图像去雾算法,为图像清晰化处理提供新思路、新方法。

2) 增强型特征金字塔在编码器-解码器架构上融入增强机制,同时引入注意力机制,使图像重建具有一定的针对性,提高图像去雾性能。

3) 基于增强型金字塔及图像超分辨率去雾算法可应用于多种雾霾图像数据集,对合成雾霾图像具备良好的处理效果,同时适用于更复杂的真实图像去雾,证明算法具有实用价值。

[1] 张俊林,石冬阳,贾兵,等．暗通道先验理论的绝缘子图像去雾算法[J].重庆理工大学学报(自然科学),2022,36(7):208-215．

ZHANG Junlin,SHI Dongyang,JIA Bing,et al.Insulator image defogging algorithm based on dark channel prior theory[J].Journal of Chongqing University of Technology( Natural Science) ,2022,36(7):208-215.

[2] 何立风,袁朴,周广彬,等.基于图像特征量和小波变换的去雾算法[J].激光与光电子学进展,2022,59(2):271-280.

HE Lifeng,YUAN Pu,ZHOU Guangbin,et al.Defogging algorithm based on image features and wavelet transform[J].Laser &Optoelectronics Progress,2022,59(2):271-280.

[3] HE K,SUN J,TANG X.Single image haze removal using dark channel prior[J].IEEE Transactions on pattern analysis and machine intelligence,2011,33(12):2341-2353.

[4] 张驰宇,贾银亮,梁康武.基于暗通道的单幅图像快速去雾算法[J].电子测量技术,2017,40(10):143-147.

ZHANG Chiyu,JIA Yinliang,LIANG Kangwu.Fast defogging algorithm for single image based on dark channel[J].Electronic Measurement Technology,2017,40(10):143-147.

[5] ZHU Q,MAI J,SHAO L.A fast single image haze removal algorithm using color attenuation prior[J].IEEE Transactions on image processing,2015,24(11):3522-3533.

[6] 齐城慧,张登银.基于感知融合机制的渐进式去雾网络[J].系统工程与电子技术.1-11.http://kns.cnki.net/kcms/detail/11.2422.TN.20220613.1318.026.html.

QI Chenghui,ZHANG Dengyin.Progressive image dehaze based on perceptual fusion[J].Systems Engineering and Electronics.1-11.http://kns.cnki.net/kcms/detail/11.2422.TN.20220613.1318.026.html.

[7] SHI W,CABALLERO J,HUSZAR F,et al.Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//IEEE Conference on computer vision and pattern recognition,2016:1874-1883.

[8] YU J,FAN Y,YANG J,et al.Wide activation for efficient and accurate image super-resolution[C]//IEEE Conference on computer vision and pattern recognition,2018.

[9] CHEN D,HE M,FAN Q,et al.Gated context aggregation network for image dehazing and deraining[C]//IEEE Winter conference on applications of computer vision,Jan 07-11,2019.

[10] QIN X,WANG Z L,BAI Y C,et al.FFA-Net:Feature fusion attention network for single image dehazing[C]//AAAI Conference on Artificial Intelligence,2020.

[11] LIU X H,MA Y R,SHI Z H,et al.GridDehazeNet:Attention-based multi-scale network for image dehazing[C]//IEEE/CVF International conference on computer vision,2019:7314-7323.

[12] LIN T Y,DOLLAR P,GIRSHICK R,et al.Feature pyramid networks for object detection[C]//IEEE Conference on computer vision and pattern recognition,2017:2117-2125.

[13] BUADES A,COLL B,MOREL J M.A review of image denoising algorithms,with a new one[J].Multiscale Modeling &Simulation,2005,4(2):490-530.

[14] CHAREST M R,ELAD M,MILANFAR P.A general iterative regularization framework for image denoising[C]//Conference on information sciences and systems,2007.

[15] OSHER S,BURGER M,GOLDFARB D,et al.An iterative regularization method for total variation-based image restoration[J].Multiscale Modeling &Simulation,2005,4(2):460-489.

[16] ROMANO Y,ELAD M.Boosting of image denoising algorithms[J].Siam journal on imaging sciences,2015,8(2):1187-1219.

[17] TIAN C W,XU Y,LI Z Y,et al.Attention-guided CNN for image denoising[J].Neural Networks,2020,124:117-129.

[18] YANG Z Y,PAN D,SHI P.Joint image dehazing and super-resolution:closed shared source residual attention fusion network[J].Ieee Access,2021,9:105477-105492.

[19] ZHANG X Q,WANG T,WANG J X,et al.Pyramid channel-based feature attention network for image dehazing[J].Computer vision and image understanding,2020,197-198:103003.

[20] ZHENG Z R,REN W Q,CAO X C,et al.Ultra-high-definition image dehazing via multi-guided bilateral learning[C]//IEEE/CVF conference on computer vision and pattern recognition,2021.

[21] LI B,REN W,FU D,et al.RESIDE:A benchmark for single image dehazing[EB/OL].[2017-12-12].https://arxiv.org/abs/1712.04143.

[22] ENCE M Z J C.ADADELTA:An adaptive learning rate method[EB/OL].[2012-12-22].http://arxiv.org/abs/1212.5701.