0 引言
近年来,引信[1-2]对于军工行业十分重要,人们对其装配正确性检测[3-6]的准确度问题的研究也越来越多。引信装配的方式分为空间分布式、平面分布式2种[7-9]。空间分布式指的是引信内部零部件不在同一个平面,零部件之间具有空间位置关系。而平面分布式指的是引信内部零部件在同一个平面可以完全呈现,互不影响。平面分布式零部件的检测仅需要判断是否存在该零件,而空间分布式零部件的检测则由于互相遮挡重叠的问题,仅通过简单的目标检测是无法全部检测到的。
现有的装配正确性检测方法主要都是针对平面分布式的装配方式进行检测的。其中,韩跃平等[10]设计了一种自动检测系统,通过采集待测物的全方位的X射线图像,对全方位图像进行特征提取,再通过神经网络进行产品的识别。同时针对检测过程中待检测物体的倾斜问题,加入了三点定位的方法实现对待测物的快速定位。虽然检测效果很好,但由于现实中零件装配的误差和错位,鲁棒性较差。随着研究的逐步深入,2018年吴桐等[11]通过卷积神经网络的方法,全方位等间隔采集待检测物体的多张射线图像,自动检测出零件内部的各个零部件,达到检测的目的。除此之外,赵耀霞等[12]在深度神经网络的基础上,结合CT系统的正弦特性进行匹配,同时加入RPN网络,提高了零部件移位换位的检测,检测速度和效率大幅度提高。罗又文等[13]将快速区域卷积网络(Faster R-CNN)用于零件的检测,对卷积网络反向传播进行模型调整,实现对零件的分类识别。任永强等[14]将面积和周长的比值作为检测弹簧轮廓的依据,同时利用弹簧的双耳圆孔的圆形轮廓来计算圆心之间的距离,通过轮廓和圆心来判断弹簧是否装配正确。肖敏等[15]提出了一种结合Canny算子检测直线边缘的方法,先用霍夫变换进行大致定位,再进行细定位到直线附近的点集,来检测液晶显示屏和外壳的距离。
从现有的文献来看,目前采取的火药引信装配检测方式[16]都只能检测图像中平面分布式的目标,对于空间分布式的零部件无法精确的检测到每个零部件,即对于相互重叠比较严重的零部件无法检测到。这类装配而成的复杂产品均由不透明的外壳包裹,无法通过激光扫描、CCD相机等常规设备实现检测,而可穿透产品外壳获取内部结构信息的X射线[17]投射成像是一种高效的复杂产品内部零件检查的可视化方法。基于合成孔径成像的原理,针对火药引信中钢球投影图像重叠现象严重的问题,展开对空间分布式的重叠严重图像的研究,提出基于X射线直线扫描的方式,对重叠目标的投影图像序列进行分层成像检测,为火药引信装配正确性检测提供服务。
1 合成孔径成像
合成孔径成像最初是在20世纪50年代为雷达系统设想的,最初是在20世纪70年代末使用数字计算机实现的,更先进的技术是在20世纪80年代末引入的,现在已成为国际研究的前沿领域。合成孔径成像技术是一个利用多个小孔径生成高分辨率图像的技术[18]。如图1所示,如果多个孔径合成的系统和单个大圆孔的截止频率相同,可以将分开的光学部件组合来形成一个比较大的孔径[19]。合成孔径成像系统中的光瞳结构是指每个分开的光学部件在光瞳平面的分布排列形式。这种分布排列形式包含了分开的光学部件的大小和位置。
图1 合成孔径示意图
Fig.1 Schematic diagram of synthetic aperture
合成孔径的成像方式主要分为直接成像和干涉成像2种[20-21]。直接成像和干涉成像的表示方式为周期冲激序列,其傅里叶变换(Fourier Transform)是周期冲激序列。而只有一个孔径的成像是使用冲激函数表示的,它的傅式变换是1。单一孔径成像时,可以同时获得不同频率下的信息,但是由于存在截止频率,高于这个截止频率的信息就会被截断。当合成孔径直接成像时,同样也可以获取不同频率下的信息,但由于孔径比单一孔径的范围大,所以截止频率比单一孔径的大,这就导致所得到的频率范围比单一孔径的广,即单一孔径的截止频率比合成孔径的截止频率小。而合成孔径间接成像需要通过改变孔径之间的大小和位置信息,来改变截止频率的大小,进而改变频率的范围,获得不同频率下的图像。
在装配正确性检测过程中,不同视角的图像可以获取到物体不同角度的信息,可以形成对待测零件的三维感知,将不同视角的图像等效为小孔径,利用合成孔径成像的原理,可以获取不同深度层的物体的像,实现对混叠目标的分层成像。
2 分层成像检测算法
在X射线成像的过程中,不同方向角下所获得的射线投影图像可以同时得到角度和位置信息,因此可以通过不同方向的射线图像来实现对待检测物体的三维感知。当从不同的角度对待检测物体上某一个物点进行成像时,同一个物点在不同角度的图像中所在的位置不同。本文所提出的分层成像算法就是利用合成孔径的原理,将多个角度的射线投影图像模拟为多个分开的光学部件,并合成等效为一个聚焦在某一个深度下的图像。通过多个角度的图像和基于合成孔径的分层成像方法,从不同的方向上获取待检测零件的深度、角度、位置信息,合成一个虚拟的大孔径来聚焦在不同的景深上。本质是将多视角子图像进行平移并叠加,将多个角度下同一物点的信息进行融合,最终通过等效为虚拟的大孔径来实现虚化其他景深下的物像,增强聚焦景深下物像的效果。具体原理如图2所示。
图2 分层成像原理
Fig.2 Principle of layered imaging
假设给定平行于孔径平面α的成像平面α1和参考平面α2,其相对于孔径平面的距离分别为D和d。给定n个小孔径,分别为C1,…,Cn,选取中心小孔径Cm作为参考孔径和参考角度。Cm孔径所对应的成像平面为α2。Qi为Ci孔径中的一张子图像。Ii,m为Ci孔径中的子图像Qi通过校正矩阵Hi, i=1,…,n,校正到中心孔径Cm所对应的参考平面α2上的校正图像。其可由式(1) 校准到参考孔径对应的参考平面上。
Ii,m=Qi·Hi
(1)
其中: Ii,m定义为由孔径Ci到孔径Cm的校正图像。各孔径之间的平移矩阵ΔX=[Δx1…Δxi…Δxn]T。所有小孔径通过校正矩阵Hi初始成像在参考平面上,p0为所有的子图像通过校正后的各视角图像Ii,m相同位置上的像素,校正后的每张子图像对应像素点经过求和再取平均融合成一张图,此时p0像素点经过多张子图像的融合后变得非常清晰。
对于成像平面α1上的点pD,它对应于小孔径Ci和小孔径Cm的子图像校准后在参考平面α2上的pi和pm,由于同一点在不同孔径下所对应的像点不在同一位置,即pi和pm没有重合,致使成像平面上的点pD称为二者的叠加,会出现模糊不清的现象,因此为了解决这一问题,需要将Ci孔径所对应的校正后子图像中的pi平移ΔpiD来去除像素平移的差别。其公式为
ΔpiD=pi-pm
(2)
根据相似三角形定理,可得
ΔpiD=Δxi·(D-d)/D
(3)
式(3)中: ΔpiD为同一点在孔径Ci和参考孔径Cm下,不同像点之间的平移差,令Δd=(D-d)/D则
ΔpiD=Δxi·Δd
(4)
Δd表示相对距离,考虑将所有的孔径合成在成像平面α1上,不同孔径角度下的像点相对于参考孔径的像差
[Δp1m,…,Δpim,…,Δpnm]T=[Δx1,…,Δxi,…,Δxn]T·Δd
(5)
为使所有小孔径合成之后成像在目标距离所在的平面,则只需对校正后参考平面上的子图像经过平移后,每个像素点进行叠加求和再取平均值。例如如果通过多个孔径合成后成像在任意一个平面W上,则需要将校正后的图像Ii,m平移Δpi,w使其成像在深度为W的平面上,但是由于本文待检测物体是直线平移通过待检测区域,因此只需要对平移方向消除像差
Ii,w(s′,t)=Ii,w(s+Δpiw(s),t)=Ii,m(s,t)
(6)
将式(3)代入可得:
Ii,w(s′,t)=Ii,w(s+Δxi·(D-d)/D,t)=Ii,m(s,t)
(7)
令D=λ·d,
Ii,w(s′,t)=Ii,w(s+Δxi(1-1/λ),t)=Ii,m(s,t)
(8)
其中:λ为距离系数; Ii,m为校正后的子图像;Ii,w为成像到W平面上的子图像,(s,t)为校正后的子视角图像坐标;(s′,t′)为成像到W深度上的坐标。距离系数λ控制着成像的距离深度,通过调整λ的值来改变成像的范围,对消除平移方向的像差后的各视角下的图像进行加和后求平均,可得距离为W处的平面合成孔径后的图像Mw
(9)
对于产生的聚焦成像图,利用卷积神经网络对其进行检测,进一步判断物体的空间位置,从而对目标零件进行定位和检测,判断引信内部的钢球是否有脱落的情况。
3 试验及验证
本研究中的试验对象火药引信实物图如图3所示。在装配正确的情况下,每个引信含有5个钢球,每个钢球大小相同,半径为2.381 mm,等间隔放置在引信顶部的圆周上。采用所提出的算法用来判断其内部的零部件钢球的装配正确性。
图3 火药引信实物图
Fig.3 Physical picture of gunpowder fuse
由于基于深度学习的零件检测方法不能完全识别火药引信中的小球,会产生漏检的情况,因此本文针对引信的局部进行研究。其局部射线投影图如图4所示。
图4 火药引信局部射线投影图
Fig.4 Local X-ray projection of powder fuse
在图像采集的过程中,使用射线采集设备进行数据采集,如图5所示,根据等间隔空间采样准则及X射线成像原理,在水平方向上以15 mm为平移步长,从左向右平移载物台和待测零件,并依次采集每个位置的旋转投影数据。通过将待检测的火药引信沿着水平方向平移通过照射区域,等间隔采集投影序列,如图6所示,得到7张不同视角的火药引信局部图。
图5 直线扫描示意图
Fig.5 Schematic diagram of linear scanning
图6 7个视角的引信局部投影图
Fig.6 Fuze partial projection from seven perspectives
本文以第四视角的图像作为参考角度进行分层成像。对水平直线移动待测物体采集到的数据进行融合,由于距离系数λ控制着成像的平面距离,通过调整λ的值来改变成像聚焦的深度。将所成像分成前景和后景2种图像,对前景和后景的定义:以中心点为原点,将y轴负半轴的物体所在的投影平面称为前景,y轴正半轴的物体所在的投影平面称为后景,利用分层成像检测算法将8张不同视角的图像进行分层成像,得到y轴正半轴和负半轴2个景深的图像。对于球心在中心线上的情况,将中心线上的钢球划分到前景的投影平面上。
在钢球之间的遮挡严重的情况下,如图7所示,以引信的截面图中心为原点,根据余弦定理,小球A在y轴上投影点A′和最远端小球B在y轴上投影点B′,得到聚焦前景的深度范围A′和B′之间。同样地,根据余弦定理求出小球C在y轴上投影点C′和小球D在y轴上的投影点D′,得到聚焦后景的深度范围为C′和D′之间。
图7 遮挡严重示意图
Fig.7 Schematic diagram of severe occlusion
在遮挡不严重的情况下,如图8所示,根据余弦定理,小球A在y轴上投影点A′和小球B在y轴上投影点B′,得到聚焦前景的深度范围A′和B′之间。同样地,根据余弦定理求出小球C在y轴上投影点C′,得到聚焦后景的深度范围为C′和O之间。
图8 遮挡较轻示意图
Fig.8 Schematic diagram of light shielding
根据上述方法,通过距离系数控制着聚焦深度,得到不同成像距离下的结果,如图9所示,当聚焦的深度不在上述计算得到的范围内时,成像结果表现为模糊,当聚焦的深度在计算的范围内时,成像结果逐渐清晰。根据成像距离不同,成像结果的清晰度不同,选取成像结果锐利且清晰的作为检测图像,检测引信中装配钢球的个数。选取的检测图像如图10(a)、图10(b)所示,当引信中有5个小球时,图10(a)图聚焦在y轴负半轴,虚化了y轴正半轴的物像,经过神经网络检测到前景具有2个钢球,图10(b)图聚焦在y轴正半轴,虚化了y轴负半轴的物像,经过神经网络检测到后景具有3个钢球。通过10(b)可以看出钢球之间仍然存在遮挡,是由于钢球具有一定的厚度,在该深度下的横切面上钢球之间存在重叠,在成像结果中呈现为存在遮挡,通过神经网络对分层成像的结果进行训练得到对应的模型,从而检测到后景具有3个钢球。
图9 不同深度距离下成像的结果
Fig.9 Imaging results at different depths and distances
图10 钢球个数依次递减情况下的结果
Fig.10 The result of decreasing the number of steel balls in sequence
由分层成像的结果可以看出,当聚焦到前景时,对前景中的2个小球进行了成像,而虚化了其他深度距离的小球的成像。当聚焦到后景时,对后景中的3个小球进行了成像,而虚化了前景距离下的小球的成像。因此从前景和后景2层成像结果可以分析得到该引信内共装配有5个钢球。
为了验证算法的正确性和适用性,对引信中的钢球的数量进行变化,每次逐次减少一个钢球,对减少后的零件进行分层成像并进行定位检测,结果如图10所示,图10(c)和图10(d)是装有4个钢球的结果,其中图10(c)图聚焦在y轴负半轴,虚化了y轴正半轴的物像;图10(d)图聚焦在y轴正半轴,虚化了y轴负半轴的物像。图10(e)和图10(f)是装有3个钢球的结果,其中图10(e)图聚焦在y轴负半轴,虚化了y轴正半轴的物像;图10(f)图聚焦在y轴正半轴,虚化了y轴负半轴的物像。图10(g)和图10(h)是装有2个钢球的结果,其中图10(g)图聚焦在y轴负半轴,虚化了y轴正半轴的物像;图10(h)图聚焦在y轴正半轴,虚化了y轴负半轴的物像。
由分层成像及定位的结果可以看出,当引信中装有4个钢球时,如图10(c)所示当聚焦到前景时,对前景中的一个小球进行了成像检测,而虚化了其他深度距离的小球的成像。如图10(d)所示当聚焦到后景时,对后景中的3个小球进行了成像,而虚化了前景距离下的小球的成像。因此从前景和后景2层成像结果可以分析得到该引信内共装配有4个钢球。当引信中装有3个钢球时,如图10(e)所示当聚焦到前景时,对前景中的2个小球进行了成像检测,而虚化了其他深度距离的小球的成像。如图10(f)所示当聚焦到后景时,对后景中的一个小球进行了成像,而虚化了前景距离下的小球的成像。因此从前景和后景2层成像结果可以分析得到该引信内共装配有3个钢球。当引信中装有2个钢球时,如图10(g)、图10(h)所示,分别对前景和后景中的1个小球进行了成像检测,而虚化了其他深度距离的小球的成像。因此从前景和后景2层成像结果可以分析得到该引信内共装配有2个钢球。本试验所用的引信最多可以装5个钢球,检测到的钢球个数小于5时,说明该引信零件有漏装,从而可以对引信装配正确性进行检测。
4 结论
现有的Faster R-CNN检测方法主要适用于平面分布式的物体。互相遮挡的空间分布式的物体用Faster R-CNN网络模型进行检测会出现漏检问题,针对该问题结合光学合成孔径技术,提出了一种火药引信内钢球分层成像再检测的方法。通过对装配正确和漏装2种情况下的引信射线投影图像进行分层成像并检测,试验结果表明,通过将不同景深下的目标进行成像,再进行检测的方法可以解决空间分布式下网络模型无法全部检测到的问题,为火药引信装配正确性检测提供服务。
[1]宫雪峰,李豪杰,陈志鹏,等.基于空间域特征的引信安全控制方法[J].弹道学报,2023,35(3):39-46.
GONG Xuefeng,LI Haojie,CHEN Zhipeng,et al.Fuze safety control-method based on spatial domain charactristics[J].Journal of Ballistics,2023,35(3):39-46.
[2]郭天吉,史文卿.侵彻引信的技术特点、现状及发展趋势[J].兵器装备工程学报,2020,41(S2):26-29.
GUO Tianji,SHI Wenqing.Technical characteristics,current status and development trend of penetration fuze[J].Journal of Ordnance Equipment Engineering,2020,41(S2):26-29.
[3]YOU J K,HSU C C J,WANG W Y,et al.Object pose estimation incorporating projection loss and discriminative refinement[J].IEEE Access,2021,9:18597-18606.
[4]WANG J,YANG X.Auto-detect of machine vision and its application in assembling inspection[C]//2011 9th World Congress on Intelligent Control and Automation.Taipei,Taiwan,2011:18-22.
[5]HUANG H,WEI Z,YAO L.A novel approach to component assembly inspection based on mask R-CNN and support vector machines[J].Information,2019,10(9):282.
[6]王新华,高洪林,穆连运.智能引信在水雷武器中的应用[J].四川兵工学报,2009,30(7):31-33,63.
WANG Xinhua,GAO Honglin,MU Lianyun.Application of intelligent fuze in mine weapons[J].Journal of Sichuan Military Engineering,2009,30(7):31-33,63.
[7]GUO J,MA S,ZHANG X.Research status and development trend of advanced manufacturing technology for fuze[C]//Journal of Physics:Conference Series.IOP Publishing,2020,1653(1):012018.
[8]MU J,LIU J,YANG H,et al.Research on intelligent recognition technology of automatic charging and pressing for fuze initiating explosive device[C]//2020 International Conference on Intelligent Computing,Automation and Systems (ICICAS).Chongqing,China,2020:445-449.
[9]HETTLER C.Challenges in hard target fuze design and critical technology development[R].Sandia National Lab.(SNL-NM),Albuquerque,NM (United States),2010.
[10]韩跃平,韩焱,王黎明,等.复杂产品内部结构装配正确性X射线自动检测系统的研究[J].兵工学报,2012,33(7):881-885.
HAN Yueping,HAN Yan,WANG Liming,et al.Development of X-Ray digital radiography automatic inspection system for testing the interior structure of complex product[J].Acta Armamentarii,2012,33(7):881-885.
[11]吴桐,陈平.基于X射线的复杂结构件内部零件装配正确性检测[J].激光与光电子学进展,2018,55(4):174-182.
WU Tong,CHEN Ping.Assembly correctness identification of internal part of complex component based on X-Ray[J].Laser &Optoelectronics Progress,2018,55(4):174-182.
[12]赵耀霞,吴桐,韩焱.基于卷积神经网络的复杂构件内部零件装配正确性识别[J].电子学报,2018,46(8):1983-1988.
ZHAO Yaoxia,WU Tong,HAN Yan.Identifying the correctness of fit of internal components based on a convolutional neural network[J].Acta Electronica Sinica,2018,46(8):1983-1988.
[13]罗又文,王崴,瞿珏.基于 Faster R-CNN 的诱导维修自动交互设计[J].计算机工程与应用,2019,55(12):181-187.
LUO Youwen,WANG Wei,QU Jue.Automatic induced maintenance process interaction design based on faster R-CNN[J].Computer Engineering and Applications,2019,55(12):181-187.
[14]任永强,杜瑞,李军.基于机器视觉的差速器卡簧装配防错检测研究[J].制造技术与机床,2018(1):30-34.
REN Yongqiang,DU Rui,LI Jun.Differential snap ring assembly error proofing detection research based on machine vision[J].Manufacturing Technology &Machine Tool,2018(1):30-34.
[15]肖敏,庄春刚,熊振华.基于机器视觉的液晶显示屏装配尺寸检测算法的研究[J].中国机械工程,2014,25(1):7-11.
XIAO Min,ZHUANG Chungang,XIONG Zhenhua.Measurement algorithm of LCD mounting dimension based on machine vision[J].China Mechanical Engineering,2014,25(1):7-11.
[16]赵驰盟,兀伟,杨银芳.磁探测引信目标识别算法研究[J].国外电子测量技术,2020,39(9):47-52.
ZHAO Chimeng,WU Wei,YANG Yinfang.Research on target recognition algorithm of magnetic detection fuze[J].Foreign Electronic Measurement Technology,2020,39(9):47-52.
[17]高正明,赵娟.激光和射线检测特种部件的安全性分析方法[J].兵器装备工程学报,2019,40(1):188-191.
GAO Zhengming,ZHAO Juan.Safety evaluation method of lasers measuring and radiographic technologies applied in specific components[J].Journal of Ordnance Equipment Engineering,2019,40(1):188-191.
[18]王治乐,陈旗海,张伟.空间光学合成孔径成像系统原理与关键技术分析[J].光电工程,2006(4):39-43.
WANG Zhile,CHEN Qihai,ZHANG Wei.Theory and key technology for space optical synthetic aperture imaging system[J].Opto-Electronic Engineering,2006(4):39-43.
[19]FENDER J S.Synthetic apertures:An overview[J].Synthetic Aperture Systems I,1984,440:2-7.
[20]CASSAING F,SORRENTE B,FLEURY B,et al.Optical design of a Michelson wide-field multiple-aperture telescope[C]//Optical Design and Engineering.SPIE,2004,5249:220-229.
[21]KNIGHT J S,LIGHTSEY P,BARTO A.Predicted JWST imaging performance[C]//Space Telescopes and Instrumentation 2012:Optical,Infrared,and Millimeter Wave.SPIE,2012,8442:864.