无人机作为目标检测的重要技术手段之一,可以对无人机航拍图像[1],分析被检测目标特征,已经被广泛采用。但是,无人机实施航拍过程中,一方面会因大雾或霾等气候因素的影响,导致能见度不高,影响无人机航拍成像效果[2-4],降低航拍图像的整体质量;另一方面,因目标距离远,视野扩展,导致目标区域图像分辨率降低,因此无法依据航拍较大“视野”下的图像提取所需“特定”目标的信息特征,势必影响后续目标识别工作。特别需要指出,云雾笼罩是成为影响图像清晰度的重要因素之一。这就需要人们关注无人机航拍图像去雾的技术方法问题的研究。即,为解除图像中“雾幕”对景物的影响,需要采用图像去雾的技术方法来恢复景物原貌。
以往图像去雾算法局限性很大,如:马文君等[5]提出结合Lab空间和单尺度Retinex的自适应去雾算法,虽然在解决景深突变引起Halo效应问题方面具有较好的优势,但计算过程过于复杂,导致图像去雾的运算速率较慢;陈长华等[6]提出结合饱和度运算和暗通道理论的去雾算法,利用加权四叉树法寻找全局光值来实现去雾。该算法不仅操作烦琐,而且还会导致去除“雾幕”的效果不佳。
鉴于已有的大气散射模型对图像降噪的实际技术状况,本文提出了一种基于大气散射模型的无人机航拍图像快速去雾算法,该算法不仅具有较好的“去噪”效果,而且在图像“去雾”技术领域也已取得实效。
大气散射模型表示雾化图像的退化过程,即采用一种无人机航拍获取的原图像描述函数I(x)表达如下:
I(x)=J(x)t(x)+F(x)
(1)
式(1)中,J(x)为复原图像描述函数;t(x)为介质传播描述函数;F(x)为大气耗散函数,且F(x)=A(1-t(x)),A(·)为环境大气光强描述函数(即“大气耗散函数”的另一层物理含义)。
t(x)可以由下式所示:
t(x) = e-αd(x)
(2)
式(2)中,d(x)为景深描述函数;α为散射系数。
无人机航拍图像去雾过程就是依据图像中环境大气光和介质传播函数得出复原图像[7-9]。
在式(1)中入射光衰减项为J(x)t(x),t(x)实际上表达了景深指数的衰减情况。
2.2.1 大气耗散函数的估计
大气耗散函数的约束条件为
1) 当各像素上“大气耗散”值≧0时,则F(x)的值为正;
2) 当F(x)≤I(x)时,则F(x)的极小颜色分量E(x)为
(3)
式中:Ic(x)为被采集图像的像素值描述函数;颜色通道用R、G、B描述;c为某一颜色通道。
因在灰度图像内E(x)=I(x),则约束条件为F(x)小于或等于图像极小颜色分量E(x)。
相关资料表明[10],图像极小颜色分量E(x)可估计大气耗散函数F(x),图像边缘数据与纹理特征都在E(x)内,而场景景深直接影响该函数取值,采用双边滤波器能够保留图像景深,双边滤波器用公式为
(4)
式中:R为值域模板尺寸; fr为灰度相似度;S为空域模板尺寸;δ为标准差;x为图像像素点位置; fs为空间邻近度;y为S内去除x像素点的剩余位置;ε为强度值。
通过值域与空间高斯函数相乘得出双边滤波的权值,此处用Bil()表示双边滤波,利用双边滤波处理极小颜色分量的纹理,确保图像景深边缘特征[11-12],大气耗散函数初始估计为经滤波处理的结果,如式(5)所示:
Fb(x)=Bil(E(x))
(5)
通过式(2)与式(3)的运算,大气耗散函数F(x)又可以表达为
F(x)=A(1-e-αd(x))
(6)
式(6)表明,F(x)取值和景深有直接联系,景深远近与F(x)取值大小成正比。在实际操作中,对图像景深和成像设备距离的确定至关重要[13],尤其是雾化图像,因受环境光影响大,导致图像对比度较低,因此可通过双边滤波求解图像局部对比度,使用E(x)替换雾化图像如下:
(7)
式(7)表明,场景到成像设备的距离用δ(x)描述,δ(x)大小与场景对比度成正比,则大气耗散函数的值也随之改变。
当图像处于无穷远时,对比度等于0,大气光强的估计函数B(x)为
(8)
式中,A的值为大气耗散函数F(x)值,即F(x)=A(·)=A(u)=A,系通过可调系数u求解;像素点x的相对亮度值通过获得。
根据大气耗散函数的约束条件,通过式(8)推导出:
F(x)=max(min(ωB(x),F(x)),0)
(9)
其中,调整因子用ω描述,且0<ω<1,可以通过ω提高图像真实感。
2.2.2 图像增强方法
因大雾导致无人机航拍图像局部背景昏暗,通过可迭代运行的多向自相关(iterable multidirectional autocorrelation,IMA)增强方法,有效利用图像中背景环境和景物的灰度分布特征间联系,提高图像质量。因此,在大气散射模型中结合IMA算法,改进大气散射模型,使图像处理效果更佳。IMA算法流程(图1)。
图1 IMA算法流程框图
Fig.1 IMA algorithm flow
从图1可知,IMA算法在输入无人机航拍图像后,为去除图像内噪声,通过高斯滤波实施去除,二维高斯滤波如公式如下:
(10)
其中,图像内横坐标用x描述;滤波模板宽、长的二分之一用s描述;图像内纵坐标用y描述,移动位置用u、v描述。Q(u,v)满足下式:
(11)
其中:图像平面用Z描述,标准差用Q(u,v)描述,u、v方向标准差一致。
为提高图像清晰度,图像通过灰度直方图拉伸处理,灰度拉伸表达式为
(12)
其中:图像经灰度拉伸处理后,结果用H(x,y)描述;灰度拉伸开始、结束值分别用a、b描述;经处理后灰度值用S(x,y)描述,取值范围在0~255;图像规格分别用m、n描述。
图像经过计算求出各向滤波结果后,采用自相关增强方法,提取清晰图像特征,无人机航拍图像的增强公式如下:
(13)
式中:ε为增强系数;g为角度;N为滤波器总数;H为灰度拉伸后图像;T为滤波模板;W(x,y)为增强结果函数;(x,y)为图像内点坐标。当N数量较大时,则W(x,y)在[0,1]间取值。
通过上式的增强后,使图像幅值变大,待全局效果增强后实施归一化处理[14]。有时因受波模板的限制会使图像发生明暗不均的现象,此刻可以通过累积情况的Radon变换公式来解决,即
(14)
式中:t为夹角;L(r,t)为累积结果;δ为标准差函数;r为直线与原点的垂直距离;I(x,y)为图像上的点函数。
2.2.3 弱化局部区域的去雾
传统的大气散射模型由于无人机航拍离场景更远时[15],雾对图像的成像影响较大,因此,必需弱化局部区域的去雾来确保天空区域的颜色,进而去除噪声,进一步改进大气散射模型。
大气光强度A(亦即,大气耗散函数值)和像素I(x)接近程度用参数R(x)描述,即
(15)
设置阈值R0,当R(x)<R0时,需保持t(x)的值不变;当R(x)≥R0时,则为明亮区域,可增大t(x)的值。
弱化因子(即“景深指数”)公式如下:
(16)
式中,α为可调系数;为弱化分量,通过该分量可规避颜色失真。
复原图像如公式如下:
(17)
通过弱化局部区域的去雾算法能够使无人机航拍图像明亮区域越来越接近真实[16-17]。
本文算法与文献[5-6]算法进行实验效果比较。
为验证本文算法的有效性,通过Matlab 2018b软件实施实验,实验对象为某无人机航拍图像数据库中包含大量雾的航拍图像,实验对比算法为文献[5]结合Lab空间和单尺度Retinex的自适应图像去雾算法、文献[6]结合饱和度运算和暗通道理论的遥感图像去雾算法。
随机选取实验对象中一幅明亮图像,采用3种算法实施局部区域去雾,其效果如图2所示。
图2 明亮区域弱化效果图
Fig.2 Weakening effect of bright area
分析图2可知,对于明亮图像局部去雾效果,其他2种算法虽然达到去雾效果,但文献[5]算法对局部区域去雾效果较差,处理后的图像纹理粗糙,文献[6]算法处理后图像会出现曝光现象,导致部分景物缺失;而本文算法通过弱化处理去雾图像,海平面周围景观颜色变得真实,完整体现景观全局细节,说明本文算法对明亮图像处理效果较好。
在实验对象中随机挑选2张无人机航拍图像,采用3种算法对其实施去雾,对比3种方法去雾效果见图3、图4。
通过图3和图4可知,在无人机航拍的原始图像中,因大雾天气导致原始图像中有大量雾,画质模糊、色彩昏暗,而采用本文算法去雾效果明显优于其他2种算法,符合图像复原基本要求,可有效去除无人机航拍图像中雾,图像经处理后图像中噪声得到抑制,使图像的清晰度得到提高,景物颜色真实。
图3 3种算法去雾效果图(一)
Fig.3 Comparison (I) of defogging effects of three algorithms
图4 3种算法去雾效果图(二)
Fig.4 Comparison (2) of defogging effects of three algorithms
3.2.1 评价指标
客观评价指标为均值、标准差、信息熵,用来作为判断图像视觉质量的标准。其中,“均值”表示亮度,并和均值成正比。
图像细节数据通过标准差表示,图像色彩与标准差成正相关,标准差为
(18)
式中,M为图像总行数;G(i, j)为像素值;κ为平均值;N为图像总列数。
3.2.2 信息熵
信息熵表示图像包含平均数据量,假设随机事件用法χ表示,该事件出现概率用P(χ)描述,信息量计算如公式如下:
K(χ)=-logP(χ)
(19)
因信源输出为随机变量,信源符号集用Z描述,全部符合集为Z={zi},{zi}出现概率用P{zi}描述,即χ=zi,i=1,2,3,…。
因此,图像平均信息量可以表达如下:
(20)
联立式(19)、式(20)得:
(21)
确保信息熵最大化需要满足同等概率分布,信息熵值越高,表示图像数据量大,细节数据越全面。
采用3种算法处理后无人机航拍去雾图像的客观质量评价结果见表1。
表1 3种算法的质量评价结果
Table 1 Quality evaluation
Table of three algorithms
无人机航拍图像图像1图像2图像3图像4原图均值171.29165.82151.59162.36标准差41.6541.6863.7142.59信息熵6.317.256.295.68文献[5]算法均值120.64128.86124.86123.64方差47.8747.5465.5451.55信息熵6.187.366.325.08文献[6]算法均值126.35127.75129.43132.76标准差52.6852.6865.7857.45信息熵6.417.46.446.12本文算法均值135.43141.84136.46137.53标准差53.4555.8690.8466.75信息熵6.827.886.546.18
分析表1数据可知,相较于原图像,3种算法处理后图像均值均下降,原因在于雾的成像像素值高,去雾处理会降低其均值,但本文算法处理后的均值高于2种对比算法,同时标准差、信息熵的值也高出对比方法。表明本文算法可提取原始图像的边缘信息,有效复原图像,经处理后图像亮度高、色彩丰富、信息量大,无人机航拍图像去雾效果最好。
将ϑ、e、γ作为复原图像评价指标,其中,复原图像后饱和像素点比例用ϑ描述;去雾后复原图像可见边个数和原始图像可见边个数的比值用e描述;可见边梯度平均比率用γ描述。当ϑ越小、e越大、γ越大时,图像去雾效果最佳。复原图像评价指标计算,如式(22)~式(25)所示:
(22)
(23)
ϑ
(24)
∑=dimx×dimy
(25)
其中,可见边像素点用Pi描述;图像全部像素点总数用∑描述;其中Ic表达复原图像可见强度;I为原图像可见强度;dimy为图像高度;Er为可见边集合;nr为复原图像可见边数;n0为原始图像的可见边数;dimx为图像宽度;WB为饱和总像素点。
分别采用3种算法对实验对象实施图像复原,以达到去雾的效果,对比3种算法评价指标值,如图5所示。
图5 图像复原中的3种算法评价指标直方图
Fig.5 Evaluation indexes of three algorithms in image restoration
由图5可知,文献[5]算法、文献[6]算法的e、γ评价值都低于本文算法的e、γ评价值,ϑ评价值高于本文算法的评价值,因图像去雾效果由3个评价指标实施判断,当ϑ越小、e越大、γ越大时,此时说明算法去雾效果最佳,经分析得出本文算法的e、γ评价值最大、ϑ评价值最小,表明本文算法可得到较好的复原图像,而且去雾效果好。
实验设置在相同分辨率、不同分辨率的不同图片下,测试本文算法在不同调整因子ω下的图像处理耗时,结果如图6所示。
分析图6可知,本文算法在不同ω下的图像处理耗时情况,在相同分辨率下,ω=0.5时的平均图像处理时间低于30 ms,分别比ω=0.6和ω=0.7时的平均图像处理时间快25 ms、65 ms。在不相同分辨率下,随着图像尺寸的增加,不同调整因子ω下的图像处理耗时也随着增加,当ω=0.5时运行时间明显优于ω=0.6和ω=0.7时,说明本文算法在调整因子取值为0.5时的图像处理性能优良,执行效率高,实时性好。
图6 图像3种处理算法的耗时直方图
Fig.6 Time consuming comparison of three image processing algorithms
提出基于大气散射模型的无人机航拍图像快速去雾算法。在分析大气耗散函数的基础上,对大气散射模型进行改进,结合IMA算法和去雾算法,增强了明亮区域弱化效果,降低了图像处理的时耗和图像噪声,充分体现本文算法运算效率高,去雾后画质清晰。
[1] 沈先耿,杨勇,刘晓阳,等.基于卷积神经网络的无人机侦察图像去雨算法[J].火力与指挥控制,2020,45(04):125-130.
Shen X G,Yang Y,Liu X Y, et al. Unmanned aerial vehicle reconnaissance image rain removal algorithm based on convolutional neural network[J].Fire Control & Command Control,2020,45(04):125-130.
[2] 汪贵平,宋京,杜晶晶,等.基于改进梯度相似度核的交通图像去雾算法[J].中国公路学报,2018,31(06):264-271,280.
Wang G P,Song J,Du J J,et al.Haze defogging algorithm for traffic images based on improved gradient similarity kernel[J].China Journal of Highway and Transport,2018,31(06):264-271,280.
[3] 黄鹤,宋京,杜晶晶,等.一种含雾交通图像梯度双边滤波算法[J].哈尔滨工程大学学报,2018,39(10):1709-1714.
Huang H,Song J,Du J J,et al.A gradient bilateral filtering algorithm for traffic image in haze weather[J].Journal of Harbin Engineering University,2018,39(10):1709-1714.
[4] 魏明强,冯一箪,王伟明,等.基于区间梯度的联合双边滤波图像纹理去除方法[J].计算机科学,2018,45(03):29-34.
Wei M Q,Feng Y L,Wang W M,et al.Interval gradient based joint bilateral filtering for image texture removal[J].Computer Science,2018,45(03):29-34.
[5] 马文君,刘金虎,王小鹏,等.结合Lab空间和单尺度Retinex的自适应图像去雾算法[J].应用光学,2020,41(01):100-106.
Ma W J,Liu J H,Wang X P,et al.Adaptive image defogging algorithm combined with lab space and single-scale Retinex[J].Journal of Applied Optics,2020,41(01):100-106.
[6] 陈长华,刘煜,崔强.结合饱和度运算和暗通道理论的遥感图像去雾算法[J].计算机工程与应用,2018,054(005):174-179.
Chen C H,Liu Y,Cui Q.Remote sensing image defog algorithm based on saturation operation and dark channel theory[J].Computer Engineering and Applications,2018,54(05):174-179.
[7] 梅康,刘小勤,沐超,等.基于自适应指数加权移动平均滤波的快速去雾算法[J].中国激光,2020,47(01):250-259.
Mei K,Liu X Q,Mu C,et al.Fast defogging algorithm based on adaptive exponentially weighted moving average filtering[J].Chinese Journal of Lasers,2020,47(01):250-259.
[8] 范新南,冶舒悦,史朋飞,等.改进大气散射模型实现的图像去雾算法[J].计算机辅助设计与图形学学报,2019,031(07):1148-1155.
Fan X N,Ye S Y,Shi P F,et al.An image dehazing algorithm based on improved atmospheric scattering model[J].Journal of Computer-Aided Design & Computer Graphics,2019,31(07):1148-1155.
[9] 董浩伟,陈洁.一种基于大气散射模型和Retinex的红外图像去雾算法[J].红外技术,2019,41(04):347-356.
Dong H W,Chen J.Infrared image defogging algorithm based on atmospheric scattering model and retinex[J].Infrared Technology,2019,41(04):347-356.
[10] 白晓东,舒勤,杜小燕,等.改进型自适应双边滤波算法[J].激光与光电子学进展,2020,57(04):62-67.
Bai X D,Shu Q,Du X Y,et al.Improved adaptive bilateral filtering algorithm[J].Laser & Optoelectronics Progress,2020,57(04):62-67.
[11] 王殿伟,闫伟超,刘颖,等.基于暗原色先验的快速单幅图像去雾算法[J].计算机应用研究,2019,35(12):322-326.
Wang D W,Yan W C,Liu Y,et al.Fast single image dehazing algorithm based on dark channel prior[J].Application Research of Computers,2019,35(12):322-326.
[12] 谢伟,余瑾,涂志刚,等.消除光晕效应和保持细节信息的图像快速去雾算法[J].计算机应用研究,2019,36(04):1228-1231.
Xie W,Yu J,Tu Z G,et al.Fast algorithm for image defogging by eliminating halo effect and preserving details[J].Application Research of Computers,2019,36(04):1228-1231.
[13] 杨燕,王志伟.基于均值不等关系优化的自适应图像去雾算法[J].电子与信息学报,2020,042(003):755-763.
Yang Y,Wang Z W.Adaptive image dehazing algorithm based on mean unequal relation optimization[J].Journal of Electronics & Information Technology,2020,42(03):755-763.
[14] 寇大磊,钱敏,权冀川,等.基于多尺度卷积网络的快速图像去雾算法[J].计算机工程与应用,2020,56(20):191-198.
Kou D L,Qian M,Quan J C,et al.Fast image dehazing algorithm based on multi-scale convolutional network[J].Computer Engineering and Applications,2020,56(20):191-198.
[15] 常戬,贺春泽,董育理,等.改进双边滤波和阈值函数的图像增强算法[J].计算机工程与应用,2020,56(03):207-213.
Chang J,He C Z,Dong Y L,et al.Improved image enhancement algorithm for bilateral filtering and threshold function[J].Computer Engineering and Applications,2020,56(03):207-213.
[16] 郭瑞,党建武,沈瑜,等.基于多尺度几何分析的雾天图像清晰化算法[J].激光与光电子学进展,2018,055(011):199-207.
Guo R,Dang J W,Shen Y,et al.Foggy image sharpening algorithm based on multi-scale geometric analysis[J].Laser & Optoelectronics Progress,2018,55(11):199-207.
[17] 冯相辉.一种改进的同态滤波图像增强算法[J].重庆邮电大学学报(自然科学版),2020,32(01):138-145.
Feng X H.An improved homomorphic filtering image enhancement algorithm[J].Journal of Chongqing University of Posts and Telecommunications(Natural Science Edition),2020,32(01):138-145.
Citation format:CHEN Lili,GUO Hongjun.A fast defogging algorithm for UAV aerial images based on atmospheric scattering model[J].Journal of Ordnance Equipment Engineering,2022,43(10):234-240.