0 引言
焊缝结构因其装卡精度不足、加工误差以及焊接工作时操作失误等原因,内部产生的未焊透、未熔合、气孔、夹渣等缺陷将减少使用寿命甚至引发灾难性事故。因此,如何无破坏且精准地对焊缝结构缺陷定量分析已成为亟待解决的关键问题[1]。
目前国内外对缺陷的检测及定量分析已经有一些应用研究。曹富强等[2]针对工业铸件内部缺陷分割精度低的问题提出了一种基于改进DeepLabv3+的工业铸件内部缺陷检测算法Effi-DeepLab,但是其网络结构不够轻量化且耗时较长。Radi等[3]在对焊缝缺陷进行分割时应用水平集算法,该法性能优越、简单快速,但是对垂直缺陷的分割并不理想。沈文超等[4]在为烟草企业提供剔除异物的解决方案中,采用基于烟叶颜色模型的判定以辅助烟草图像的完整分割以识别其中的异物。然后,通过对预处理的二维图像基于Matlab编程重建三维图像,由赋予三维图的视角任何值,来实现对重建结果旋转多个角度[5]。最后,在对缺陷进行定量分析时,张荣繁等[6]提出了一种基于激光超声信号的金属表面缺陷定量检测方法,实现了对缺陷深度和宽度的定量研究,提高了缺陷深度检测的精确度。Narpdoni等[7]对图像进行基于超声相控阵扇形扫查的定量、定性研究。张思思等[8]提出了一种基于六自由度工业机器人的螺旋C扫描检测方法,实现了对复杂型面镁合金构件的全覆盖扫描成像检测,并对其内部缺陷进行精准的定量和定位分析。这些对缺陷定量分析的研究仅仅是对其某种物理尺寸进行研究,而不能对缺陷进行全面且精准地分析,无法为后续的焊缝安全评估提供高准确度的数据。
首先,针对传统算法易导致缺陷分割效果差、耗时长以及适用范围有限等问题,提出了基于图像的颜色分割算法,其可精准地将各类缺陷作为前景区域快速提取出,为后续准确构造缺陷三维可视化模型做图像准备;其次,为实现对缺陷更精准、直观的定量研究,采用Canny算子与3次样条插值相结合的亚像素边缘提取算法获取高精度边缘信息,并应用连通域标记算法准确获取缺陷面积信息;最后,为对缺陷进行多维度且全面的定量研究,使用累加法对厚度为0.1 mm的切片进行体积信息的获取。对所提的方法进行验证,实验结果表明,所提方法具有较好的应用价值。
1 理论与方法
1.1 基于颜色分割的图像处理
焊缝结构进行缺陷检测时,彩色图像中携带着亮度参数、色调参数和饱和度参数等信息,其数据量相对高,因此常由计算机依靠高维度的彩色空间模型来进行彩色图像处理[9]。RGB空间模型使用红色(Red)、绿色(Green)和蓝色(Blue)来对颜色进行编码。这是一种采用了人眼功能的原理,即视网膜中3种类型的视锥对特定光谱的敏感性的加法配色方案。因此,可以通过添加各种强度的红光、绿光和蓝光来再现可见颜色[10-11]。针对缺陷的二维RGB图像中存在图像模糊和缺陷不易分割的问题,本文采用基于图像颜色分割算法获取将缺陷作为前景区域并用于构造三维模型的二维切片。具体分割缺陷的过程如下:① 对二维RGB图像进行边缘整齐处理以消除图像坐标轴对获取缺陷的影响;② 对转换为unit8数据类型的缺陷图像计算像素,若红色分量与绿、蓝色分量差值均大于阈值15,则将其视为缺陷部分赋值为1即白色,否则均视为背景赋值0即黑色,实现对二维图像的缺陷分割。其中阈值15的选取:首先需要对二维缺陷图谱各像素点的R、G、B分量进行统计;然后将R分量为255的边界像素点进行坐标获取;最后通过对比边界像素点的3个通道数据值可知阈值取15。
1.2 三维重构算法
由于缺陷二维图谱无法直观地将焊缝结构内部中缺陷的空间位置和分布形态等信息表现出,不利于对缺陷进行精准的评估。由此对构造缺陷的三维模型研究具有重要意义。三维重构即将焊缝结构不同截面的二维图谱按一定的空间次序排列和叠加,最终形成缺陷的三维图像[12]。具体构造三维模型的过程:① 对一系列基于图像颜色分割算法处理的二维缺陷图谱进行边缘整齐处理,为构造三维模型做图像准备;② 依次对相邻缺陷切片选取体素并进行等值面绘制,再对缺陷图像空间位置信息进行坐标标注,以实现对缺陷的三维成像。
1.3 基于canny算子与三次样条插值结合的亚像素边缘提取方法
边缘是图像最基本的特征之一。目前获取被检测物体的几何参数大多是通过检测图像边缘来获得,因此边缘检测算法的精度将直接影响最终结果。现在已经开发的边缘检测方法大多数可分为像素级和亚像素级。像素级的边缘检测只能判断一个像素中的边缘位置无法对这个像素进行细分,即只能快速但低精度地检测边缘,由此为提高检测精度,使用亚像素级检测方法[13]。本文采用Canny[14]算子与3次样条插值法结合获取缺陷图像的亚像素边缘检测信息。首先利用Canny算子对缺陷边缘进行粗定位,获取像素边缘,再对获取的由离散化像素构成的各缺陷边缘进行3次样条插值法获取其亚像素边缘,获得各缺陷更连续、平滑且精确的边缘。
1.4 基于连通域及累加法的缺陷定量研究
针对形状、边缘不规则的缺陷,使用一种基于缺陷边缘的缺陷区域连通标记法。应用连通区域标记算法即首先按照一定的标号规则扫描图像,得到一定数量的连通区域,然后针对同一区域内标号情况进行处理分析来获取各个缺陷的面积值[15]。本文采用对缺陷二维图谱进行2次扫描以获取缺陷亚像素边缘内部的连通区域,遍历每个连通域获得各自包含的像素数目。本文为将像素尺寸转化为实际物理尺寸应用缺陷像素与切片总像素的比例将缺陷的物理尺寸表达出来,由于切片厚度为0.1 mm,所以缺陷体积可由式(1)得到。
(1)
式(1)中:n为各缺陷切片数;Si、Si+1为各缺陷面积。
2 实验过程与结果
2.1 实验系统
本实验应用基于连接了一维线阵探头的超声相控阵设备mlti2000对编号为JMHS-152157和JMHS-162023的焊缝自然缺陷实验试块如图1所示,其中超声相控阵参数如表1所示,焊缝自然缺陷试块参数如表2所示,搭建焊缝超声检测实验台如图2所示,对焊缝结构内部缺陷进行检测和记录。
表1 超声相控阵参数
Table 1 Parameters of ultrasonic phased array
阵列参数阵元数目阵元宽度/mm阵元间距/mm采样频率/MHz阵元中心频率/MHz数值640.50.110010
表2 焊缝自然缺陷试块参数
Table 2 Parameters of natural defects test blocks for welds mm
编号夹渣长度气孔长度未熔合长度未焊透长度JMHS-15215726点状30JMHS-16202333
图1 实验试块
Fig.1 Experimental test block
图2 焊缝超声检测实验台
Fig.2 Ultrasonic testing test bench for welds
2.2 实验结果与分析
将待检测试块如图2所示放置于水平平台上,使用64阵元的一维带楔块线阵探头与高精度编码器组合,将其放置在试块待测焊缝缺陷附近并在耦合剂的作用下,探头从左到右对试块焊缝结构进行超声相控阵检测,探头依次激发每个阵元同时所有阵元接收回波信号并将采集的数据导入计算机中,应用Matlab软件绘制其B显图谱,焊缝缺陷的TFM B扫图像如图3所示,图3(a)为未焊透缺陷B显图谱,图3(b)为未熔合缺陷B显图谱,图3(c)为气孔缺陷B显图谱,图3(d)为夹渣缺陷B显图谱。
图3 焊缝缺陷的TFM B扫图像
Fig.3 TFM B-scan image of weld defects
应用基于图像颜色分割算法将未焊透缺陷二维图谱中缺陷作为前景区域进行分割,一定程度上避免了因过分割、欠分割现象导致焊缝结构内部缺陷细节表现较差的情况,进而提高了分割精度。缺陷二维分割图谱组如图4所示,图4(a)为未焊透缺陷二维分割图谱组,图4(b)为未熔合缺陷二维分割图谱组,图4(c)为气孔缺陷二维分割图谱组,图4(d)为夹渣缺陷二维分割图谱组。
图4 缺陷二维分割图谱组
Fig.4 Two-dimensional defect segmentation atlas group
由于缺陷二维图谱无法清晰且直观地表征焊缝结构内部缺陷的形貌及位置,因此对分割后的各缺陷二维图谱组基于Matlab软件构造其三维模型以完全展示缺陷立体相貌并根据重构模型空间位置信息的坐标获取其长度信息。各缺陷三维重构模型及试块RT检测图谱如图5所示,图5(a)为未焊透缺陷三维可视化模型及与试块RT检测图谱长度对比,图5(b)为未熔合缺陷三维可视化模型及与试块RT检测图谱长度对比,图5(c)为气孔缺陷三维可视化模型及与试块RT检测图谱长度对比,图5(c)为夹渣缺陷三维可视化模型及与试块RT检测图谱长度对比。
图5 缺陷三维重构模型及试块RT检测图谱
Fig.5 Defects 3D reconstruction model and test block RT detection map
通过图2中焊缝结构内部各缺陷三维重构模型的长度信息与实验试块RT检测图谱长度进行对比,焊缝缺陷长度误差如表3所示。结果表明:对各缺陷二维图谱组采用基于图像颜色分割算法进行预处理构造基于体素的三维重构模型可较精确实现对各缺陷形貌及位置的重现。
表3 焊缝缺陷长度误差
Table 3 Weld defect length error
实际长度/mm三维模型长度/mm误差/%未焊透3330.38.18未熔合3028.55气孔点状夹渣2623.59.62
为更全面且准确地对焊缝结构内部缺陷进行定量分析,对缺陷作为前景区域的二维切片组应用Canny算子与3次样条插值相结合的算法以获取各缺陷亚像素边缘,结合连通域标记算法与累加法求得二维切片组中缺陷的面积和体积信息。
在获取各缺陷切片面积时,缺陷边缘的提取精度尤为重要。通过对未焊透某一分割图谱分别与其像素边缘提取和亚像素边缘提取图像进行对比,如图6(a)所示。在纵向选取3个对比点,横向选取2个对比点,如图6(b)所示。分别得到像素边缘提取和亚像素边缘提取与分割图像的偏差散点图,如图6(c)所示。不难看出,亚像素边缘提取与未焊透缺陷分割图谱的偏差值较像素边缘提取小几个像素,因此应用亚像素的边缘提取算法更能将缺陷精准表征出以提高各缺陷定量分析质量。之后对缺陷亚像素边缘图像进行2次扫描,获取亚像素边缘内缺陷占有的像素数目,如图7所示。图7(a)为未焊透缺陷的亚像素边缘提取和面积切片,图7(b)为未熔合缺陷的亚像素边缘提取和面积切片,图7(c)为气孔缺陷的亚像素边缘提取和面积切片,图7(d)为夹渣缺陷的亚像素边缘提取和面积切片。
图6 像素、亚像素边缘提取偏差图
Fig.6 Pixel and subpixel edge extraction deviation diagram
图7 亚像素边缘提取及面积切片组合
Fig.7 Combination of subpixel edge extraction and area slicing
为方便对各缺陷面积及体积的定量研究,根据比例关系将各缺陷面积的像素尺寸转换为物理尺寸,由于切片厚度为0.1 mm,所以各缺陷物理尺寸如表4所示。
表4 各缺陷物理尺寸
Table 4 Physical dimensions of defects
像素尺寸面积/mm2体积/mm3未焊透缺陷8210.26318.88未熔合缺陷12215.20394.72气孔缺陷253.1011.16夹渣缺陷313.8690.19
通过缺陷的三维重构模型结合表4的各缺陷面积体积可以更完整且全面地描述各个缺陷形态并对其进行准确的定量分析。
3 结论
针对构造缺陷三维重构模型时缺陷图谱的过分割和欠分割导致定量分析不够精确的问题,提出了一种基于图谱颜色分割的新算法。通过研究得出以下结论:
1) 提出基于图像颜色的分割算法,获取的缺陷二维图谱组在构造基于体素的三维重构模型时,其中各缺陷长度误差率均小于9.7%,可用于实现各缺陷的形貌及位置重现。
2) 对于各缺陷的精确定量分析,采用对缺陷亚像素边缘图谱进行连通域标记算法,获取缺陷面积和体积,实现对缺陷直观且全面的定量研究。
[1]张勇.汽车中厚板结构件激光焊缝质量超声检测及相控阵成像研究[D].武汉:武汉理工大学,2019.
ZHANG Yong.Ultrasonic testing and phased array imaging of laser welded seam quality for automotive plate structures[D].Wuhan:Wuhan University of Technology,2019.
[2]曹富强,王明泉,张俊生,等.基于深度学习的铸件X射线图像分割研究[J].应用光学,2021,42(6):1025-1033.
CAO Fuqiang,WANG Mingquan,ZHANG Junsheng,et al.Research on X-ray image segmentation of castings based on deep learning[J].Applied Optics,2021,42(6):1025-1033.
[3]RADI D,ABO-ELSOUD M E A,KHALIFA F.Accurate segmentation of weld defects with horizontal shapes[J].NDT &E International,2022,126:102599.
[4]沈文超.基于颜色模型的烟草异物识别算法研究[D].南京:南京航空航天大学,2018.
SHEN Wenchao.Research on Tobacco Foreign Matter Recognition Algorithm Based on Color Model[D].Nanjing:Nanjing University of Aeronautics and Astronautics,2018.
[5]SUN C L,GANG T,WANG C X,et al.Three dimensional imaging based on ultrasonic linear phased array probe[C]//Nondestructive Evaluation/Testing (FENDT),2014 IEEE Far East Forum on.[S.l.]:[s.n.],2014:98-101.
[6]张荣繁,倪培君,李红伟,等.镁合金构件内部缺陷的超声波精确检测方法[J].兵器装备工程学报,2022,43(10):249-256.
ZHANG Rongfan,NI Peijun,LI Hongwei,et al.Accurate ultrasonic testing method for internal defects of magnesium alloy components[J].Journal of Ordnance Equipment Engineering,2022,43(10):249-256.
[7]NARDONI G,CERTO M.Sizing the height of dis continuities,their characterization in planar/volumetric by phased array techniques based on diffraction echoes[Z].2011.
[8]张思思,郑宾,郭华玲,等.激光超声信号与缺陷定量检测机理研究[J].兵器装备工程学报,2019,40(2):174-178.
ZHANG Sisi,ZHENG Bin,GUO Hualing,et al.Study on the mechanism of laser ultrasonic signal and defect quantitative detection[J].Journal of Ordnance Equipment Engineering,2019,40(2):174-178.
[9]刘海涛,狄岚,梁久祯.一种新的局部分水岭模型在图像分割中的应用[J].数据采集与处理,2018,33(2):259-269.
LIU Haitao,DI Lan,LIANG Jiuzhen.Application of a new local watershed model in image segmentation[J].Data Acquisition and Processing,2018,33(2):259-269.
[10]POYNTON C A.A guided tour of color space[C]//The SMPTE Advanced Television and Electronic Imaging Conference.San Francisco,CA,USA:.IEEE,1995:167-180.
[11]CHERNOV V,ALANDER J,BOCHKO V.Integer-based accurate conversion between RGB and HSV color spaces[J].Computers &Electrical Engineering,2015,46:328-337.
[12]王博,戴灵豪,王林燕,等.连续切片三维重构技术在细胞超微结构研究中的应用[J].电子显微学报,2022,41(1):92-97.
WANG Bo,DAI Linghao,WANG Linyan,et al.The application of three-dimensional reconstruction technology in continuous sectioning in the study of cell ultrastructure[J].Journal of Electronic Microscopy,2022,41 (1):92-97.
[13]SUN Q C,HOU Y Q,TAN Q C,et al.A robust edge detection method with sub-pixel accuracy[J].Optik-International Journal for Light and Electron Optics,2014,125(14):3449-3453.
[14]CANNY J.A computational approach to edge detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1986(6):679-698.
[15]FAN S H,HUANG G P.Subpixel accuracy artificial target location using canny operator[J].Journal of Zhengzhou Institute of Surveying and Mapping,2006,23(1):76-78.