0 引言
飞控计算机[1]是飞机飞行控制系统[2]的重要组成部件,对飞机的飞行安全有着重要影响。在飞机飞行控制系统维修和检测过程中,需要对电传计算机面板上的每个电传电位计进行多次调试,直至电传电位计反馈电压符合要求。目前工厂中对电传电位计[3]的中心位置及角度检测仍依靠人工对比检测,这样的方式存在着工作强度大、效率低和自动化程度低等问题,严重制约飞机维修效率的提升。
近年来,随着机器视觉[4]在检测车牌[5-6]、判断齿轮误差[7]等工业领域上的不断发展,学者们也提出了一些检测工件中心位置及角度的方法。王燕等[8]通过图像掩膜ROI提取、改进双阈值Otsu图像分割技术提高了在线检测的精度。彭锐涛等[9]提出应用阈值分割、基于Canny算子和亚像素的边缘检测方法建立刀具磨损边界,提取刀具磨损量,具有较高的检测精度。周峰等[10]提出应用Hough变换与最小二乘法拟合工件角度,提高了角度检测精度。吴雅莎等[11]提出通过BLOB分析和亚像素提取等方法取平均值得到检测弯曲角度,实现了亚像素精度的角度检测。周靖等[12]提出通过形状特征筛选机制、Rammer算法及质心点云法旋转角度,在检测不同特征零件上得到了较好应用。
目前视觉领域的专家学者们对于检测工件的中心坐标及角度大小已经有了一定的研究,但由于电传电位计及支架在制造、安装等方面存在误差,相机只能以一定倾斜角度拍摄电传电位计。经过实验发现,当镜头轴线与电传电位计垂线相差超过3.2度时,现有的方法对检测倾斜角度拍摄的电传电位计图像的圆心坐标及凹槽角度存在较大的位置误差与角度误差,无法满足实际的使用需求。因此本文中提出了倾斜角度拍摄电传电位计时对圆心坐标及凹槽角度的自适应检测方法。
1 电传电位计调试工艺分析
电传电位计面板如图1所示,面板尺寸为 150 mm×90 mm,面板由4个M4×20定位螺栓及30余个尺寸为Φ10 mm×10 mm或Φ20 mm×10 mm的电传电位计组成。单个电传电位计图像如图2所示,电传电位计上表面为金属平面,金属面中心存在塑胶材质的圆柱体,圆柱体上表面存在尺寸为0.8 mm×3.6 mm的条形凹槽。在调节电传电位计电压的过程中,通过识别面板中电传电位计的圆心坐标及条形凹槽角度信息,使机械臂去控制平口螺丝刀插入凹槽中,转动螺丝刀得到需要的反馈电压。
图1 电传电位计结构图
Fig.1 Electric potentiometer structure
图2 单个电传电位计图
Fig.2 Single electric potentiometer
平口螺丝刀末端尺寸为0.3 mm×3.0 mm,其末端与条形凹槽的极限位置关系如图3(a)所示,故平口螺丝刀中心点O1(x,y)最大中心活动距离为
(1)
图3 平口螺丝刀极限位置与极限角度图
Fig.3 Ultimate position of a flat mouth screwdriver
末端与条形凹槽的极限角度关系如图3(b)所示,由图3(b)可知:
wsinθ+hcosθ=H
(2)
故
(3)
平方化简得:
h2-h2(sinθ)2=H2-2Hwsinθ+w2(sinθ)2
(4)
故由求根公式知:
(5)
平口螺丝刀在电传电位计中最大旋转角度为
(6)
将中心条形凹槽与平口螺丝刀尺寸代入公式中可知,平口螺丝刀插入条形凹槽的极限位置为x∈(-0.30 mm,0.30 mm),y∈(-0.25 mm,0.25 mm),极限角度θ∈(-9.21°,9.21°)。当中心条形凹槽的检测误差超过极限位置时,平口螺丝刀无法插入条形凹槽完成预期调试。
2 重要算法及流程
2.1 图像预处理
预处理算法主要分为利用导向滤波去除图像中部分无关信息干扰和利用图像增强算法增加图像对比度2个部分。去除干扰部分采用导向滤波函数,去除细小噪声干扰并保持图像边缘平滑。假设输出图像q和导向图像I在小范围滤波窗口wk(ak,bk)上存在局部线性关系,即:
qi=akIi+bk, ∀i∈wk
(7)
当采用输入图像p为导向图像I时,引入∈正则化参数以防止ak过大,故:
(8)
(9)
式(8)、式(9)中:ak、bk为滤波窗口系数;
为滤波窗口中灰度图像与导向图像的灰度值方差。在导向图像灰度变化缓和区域,输出图像与输入图像较相近;在导向图像灰度变化陡峭区域,输出图像随导向图像变化而与输入图像不同。在最小二乘法意义上的最优解为
(10)
(11)
用滤波函数去除无关干扰后,图像边缘也会被模糊掉,故使用图像增强函数,通过增强对比度部分,使图像看起来更清晰。对输入图像q(i, j)的梯度为
(12)
取T为非负的阈值,当使用膜宽度较大时能增强图像边缘对比度,使用掩膜较小时能增强图像拐角对比度。输出结果为
(13)
2.2 单应性变换
在倾斜角度的图像采集中,检测目标平面与相机镜头轴线不垂直,采集得到的图像出现形变。为矫正电传电位计面板的形状大小,采用单应性变换[13]的方法初步调整图像形状位置。
单应性变换采集原理如图4所示,图中Q1、Q2为2个不同的相机观测点,ABCD为待观测物品,从Q1点观测物品ABCD投影到S1的形状为A1B1C1D1,从Q2点观测物品ABCD投影到S2的形状为A11B11C11D11。
图4 单应性变换示意图
Fig.4 Schematic of homography algorithm
根据视野变换关系,可设单应性变换关系为
(14)
式(14)中:A2×2代表Q1到Q2的仿射变换参数;T2×1代表Q1到Q2的平移变换参数;VT代表变换边缘关系;s代表缩放因子。故从A1B1C1D1到A11B11C11D11的坐标变换公式为
(15)
式(15)中:X1、Y1为A11B11C11D11坐标值;X、Y为A1B1C1D1坐标值。化简得:
(16)
2.3 圆心偏移矫正
由于电传电位计及支架在制造、安装等方面存在误差,此时计算得到的圆心坐标与实际圆心坐标存在一定位置偏移,需要通过圆心偏移矫正对电传电位计圆心坐标进行矫正。
如图5所示,当视线从S1方向垂直看向电传电位计时,看到电传电位计上表面为完整的圆,此时测量的圆心坐标为电传电位计底部真实坐标;当视线从S2方向倾斜看向电传电位计时,看到电传电位计上表面为椭圆,此时测量的圆心坐标值相对于理论圆心坐标存在大小为OSH,角度为OSA的偏移量。
图5 圆心坐标变换示意图
Fig.5 Schematic of circle center coordinate transformation
已知H为电传电位计的高,W为电传电位计的直径,故:
(17)
式(17)中:w为视线从S2方向看向电传电位计上表面时的宽度;OSH为视线从S2方向看向电传电位计时看到侧边的宽度,即电传电位计上表面圆心偏移距离。又存在:
2r=w, 2R=W
(18)
式(18)中:r为视线从S2方向看向上表面时得到椭圆短轴长度;R为上表面圆的半径,也为视线从S2方向看向上表面时得到椭圆短轴长度。故得:
(19)
(20)
因此可算得矫正后电传电位计圆心坐标为
X′=X+OSHsinOSA
(21)
Y′=Y+OSHcosOSA
(22)
式(21)、式(22)中:X′、Y′为矫正后圆心横坐标与纵坐标;X、Y为图像识别的圆心横坐标与纵坐标。
2.4 角度偏移矫正
条形凹槽角度偏差主要体现在电传电位计上表面由圆变成了椭圆后,凹槽角度随着椭圆边界的变化而变化,故对条形凹槽角度进行偏移矫正也是十分有必要的。
如图6所示,x轴为图像坐标系中的横轴,x′轴为视线从斜上方看向电位计面板时其视野坐标系的横轴,x轴与x′轴的偏移量为OSA。在视野偏移过程中椭圆的长轴始终等于偏移前圆的半径R,且长轴位置位于x′轴上,与x轴呈OSA夹角。直线I代表椭圆中得到的测量得到的电传电位计凹槽中位线,直线I′代表矫正后圆中电传电位计的凹槽中位线。通过图像处理方法可以得到圆的半径R以及直线I与椭圆的交点到x′的距离。
图6 凹槽角度变换示意图
Fig.6 Schematic of indentation angle transformation
对于x′-y′坐标系,存在:
(23)
式(23)中:w、h为直线I与椭圆边界交点到x′轴、y′轴的距离;axy2_A为矫正前凹槽在x′-y′坐标系下的角度;lxy2_A为矫正后凹槽在x′-y′坐标系下的角度,化简得:
(24)
2个坐标系只有角度偏移,没有位置偏移,由角度偏移关系得:
axy1_A=axy2_A-OSA
(25)
lxy1_A=lxy2_A-OSA
(26)
式(25)、式(26)中:axy1_A为矫正前凹槽在x-y坐标系下的角度;lxy1_A为矫正后凹槽在x-y坐标系下的角度,故:
(27)
3 实验结果与分析
3.1 实验系统
文中测量系统主要由计算机、机械臂、相机、镜头、光源、支架和连接线组成,实验平台如图7所示。为完整拍摄电传电位计面板图像并准确测量出中心坐标及凹槽角度选择CMOS相机,为避免电位计金属表面在点状光源照射下产生镜面反射选择面状光源形成暗场照明。为完成电传电位计的调试动作,选择能高重复定位精度的六自由度机械臂UR5。各仪器设备主要参数如表1所示。
表1 重要设备参数
Table 1 Important equipment parameters
仪器名称参数相机水平/垂直分辨率/px5 472×3 648像素尺寸/μm2.4×2.4最大帧率/fps5镜头焦距/mm12光圈范围F2.4-16工作距离/mm>100接口C光源发光尺寸/mm250×250类型环形面光机械臂自由度6个旋转关节有效工作半径/mm850重复定位精度/mm±0.03
图7 测量实验平台图
Fig.7 Measurement experiment platform
3.2 评价指标
为验证本文中算法检测圆心坐标及凹槽角度的准确度,在相同的实验条件下拍摄5张电传电位计图片,取每张照片中央的22枚电传电位计为检测目标。用单应性变换算法与本文矫正后的算法对圆心坐标及凹槽角度进行计算,联立机械臂、工件末端与相机标定,C#窗口界面如图8所示。将得到的图像像素坐标系转换成世界坐标系,得到世界坐标系下的实验数据与对比数据。再对选定的电传电位计进行多次重复测量,取测量平均值为参考值,得到对应的参考数据。故在5张电传电位计的图片拍摄后,得到110组对比数据。
图8 实验过程图
Fig.8 Experimentation of measurement
在实验处理过程中,将实验数据与参考数据或对比数据与参考数据的圆心坐标均方差[14]作为第1个评价参数;凹槽角度的绝对误差为第2个评价参数。2个评价参数的综合结果即为单个电传电位计准确度的评价指标。故可知参考数据与对比数据的绝对差值为单应性变换法的误差,参考数据与实验数据的绝对差值为矫正后算法的误差。得到实验误差后,通过电传电位计调试工艺分析中得到的极限误差值确定平口螺丝刀插入电传电位计的中心凹槽的成功率。
平均绝对误差(EMAE)为
(28)
均方根误差(ERMSE)为
(29)
式(28)、式(29)中:M为样本个数;L为参考值;L1为测量值。
3.3 实验过程分析
电传电位计上表面圆心提取与条形凹槽角度计算为视觉检测中的重要部分。主要分为筛选目标区域、动态阈值分割、拟合区域圆、得到圆心坐标、选择凹槽区域进行分割、边缘检测[15]、拟合直线、求取直线平均值8个部分。
首先通过电位计排列顺序确定需要检测的电位计目标区域,如图9(b)所示,筛选出第25号电传电位计所在区域。然后根据灰度值的不同通过动态阈值分割法筛选出电位计上表面区域,如图9(c)所示,此时除了电传电位计上表面区域外还存在部分干扰区域。故通过面积、圆度等标准分别筛选出电传电位计上表面最大区域,并使用最小二乘法对上表面最小外接圆进行拟合,如图9(d)所示为得到的拟合圆,根据拟合圆可求得其圆心。再根据得到的电传电位计圆心坐标确定凹槽区域圆,所选区域直径略小于凹槽长边,如图9(e)所示。对目标区域进行分割,如图9(f)所示。通过边缘检测法检测凹槽边缘线段如图9(g)所示,检测得到4条线段。再通过拟合直线法将检测到的线段拟合成直线,如图9(h)所示为最终得到的凹槽边缘直线。求取凹槽边缘平均值,即为所求凹槽角度。最后对求取的圆心坐标及凹槽角度进行矫正,即得最终目标信息。
图9 图像处理图
Fig.9 Image processing
圆心坐标与凹槽角度的实验误差与对比实验误差如图10、图11所示。图中可知,单应性变换法的圆心距离误差最大为0.48 mm,最小为0.08 mm,其中大多在0.15～0.25 mm之间,凹槽角度误差最大为1.25°,最小为0.02°,其中大多在0.3～1.0°之间。本文中算法的圆心距离误差最大为0.21 mm,最小为0.03 mm,其中大多在0.08～0.15 mm之间,凹槽弧度误差最大为0.27°,最小为0.07°,其中大多在0.1～0.25°之间。矫正后的算法相比于单应性变换法在圆心平均误差下降了0.09 mm,角度平均误差下降了0.38°。
图10 圆心位置误差结果图
Fig.10 Measurement result of circle center error
图11 凹槽角度误差结果图
Fig.11 Measurement result of indentation angle error
4 结论
针对相机倾斜角度拍摄电传电位计时测量的圆心坐标与凹槽角度出现偏移的问题,提出了一种倾斜角度拍摄电传电位计时对圆心坐标及凹槽角度的自适应检测方法。其中图像增强算法可以保证在去除细小噪声的同时可保留重要边界,筛选目标区域、动态阈值分割、拟合区域圆、得到圆心坐标、选择凹槽区域进行分割、边缘检测、拟合直线、求取直线平均值等步骤可初步算出电传电位计的圆心位置及角度信息,圆心偏移矫正算法及角度偏移矫正算法进一步提高了电传电位计的检测精度。结果表明,圆心距离误差最大为0.21 mm,最小为0.03 mm,其中大多在0.08～0.15 mm之间,凹槽弧度误差最大为0.27°,最小为0.07°,其中大多在 0.1～0.25°之间。矫正后的算法相比于单应性变换法在圆心平均误差下降了0.09 mm,角度平均误差下降了0.38°。误差值均低于极限位置范围,满足实际使用要求。
[1]王鑫玮.飞控计算机交流26 V 800 Hz无输出故障分析[J].航空维修与工程,2022(12):92-93.WANG Xinwei.Fault analysis of flight control computer ac 26 V 800 Hz no output[J].Aviation Maintenance and Engineering,2022 (12):92-93.
[2]杨绚,魏小勇,崔德龙.舰载机飞行控制系统总线接口策略[J].航空学报,2019,40(4):67-75.YANG Xuan,WEI Xiaoyong,CUI Delong.Bus interface strategy in flight control system for carrier-based aircraft[J].Journal of Aeronautics and Astronautics,2019,40(4):67-75.
[3]朱志玲,周志峰,赵勇,等.融合边缘检测与深度网络的旋钮位姿测量方法[J].电子测量技术,2021,44(17):26-32.ZHU Zhiling,ZHOU Zhifeng,ZHAO Yong,et al.Measurement method of knob pose based on edge detection and deep network[J].Electronic Measurement Technology,2021,44(17):26-32.
[4]钟伦超,朵英贤,王建中.基于电位计式位移传感器的无人机电传操纵系统的设计与实现[J].传感技术学报,2013,26(8):1163-1167.ZHONG Lunchao,DUO Yingxian,WANG Jianzhong.The design and implementation of UAV-FBW system based-on potentiometer as displacement sensor[J].Journal of Sensing Technology,2013,26(8):1163-1167.
[5]伍明,贾豪杰,何文斌,等.透明件表面缺陷的机器视觉检测综述[J].机械科学与技术,2021,40(1):116-124.WU Ming,JIA Haojie,HE Wenbin,et al.A review of machine vision detection of surface defects in transparent parts[J].Mechanical Science and Technology,2021,40(1):116-124.
[6]赵媛劼,魏朗,田山山,等.一种基于车牌特征的前车视觉测距方法[J].电子测量技术,2019,42(13):70-74.ZHAO Yuanjie,WEI Lang,TIAN Shanshan,et al.Front vehicle visual ranging method based on license plate[J].Electronic Measurement Technology,2019,42(13):70-74.
[7]林家春,滕辰,李晗晓,等.基于粗糙度轮廓仪的圆柱齿轮齿廓形状偏差测量[J].仪器仪表学报,2020,41(12):15-22.LIN Jiachun,TENG Chen,LI Hanxiao,et al.Tooth profile deviation measurement of cylindrical gears based on a roughness profilometer[J].Journal of Instrumentation,2020,41(12):15-22.
[8]张伟,韩宗旺,程祥,等.基于机器视觉零件轴线直线度误差测量的研究[J].光学精密工程,2021,29(9):2168-2177.ZHANG Wei,HAN Zongwang,CHENG Xiang,et al.Research on straightness error measurement of part axis based on machine vision[J].Optical Precision Engineering,2021,29(9):2168-2177.
[9]武星,李林慧,陈智强,等.太阳能硅片焊接质量参数在线视觉测量[J].机械科学与技术,2019,38(6):922-929.WU Xing,LI Linhui,CHEN Zhiqiang,et al.Online visual measurement of welding quality parameters for solar silicon wafers[J].Mechanical Science and Technology,2019,38(6):922-929.
[10]彭锐涛,降皓鉴,徐莹,等.刀具磨损的机器视觉监测研究[J].机械科学与技术,2019,38(8):1257-1263.PENG Ruitao,JIANG Haojian,XU Ying,et al.Research on machine vision monitoring of tool wear[J].Mechanical Science and Technology,2019,38 (8):1257-1263.
[11]吴雅莎,肖小亭,陈康,等.基于机器视觉的弯曲角度检测[J].锻压技术,2018,43(8):184-189.WU Yasha,XIAO Xiaoting,CHEN Kang,et al.Bending angle detection based on machine vision[J].Forging Technology,2018,43(8):184-189.
[12]周靖,刘煜,霍林生.基于机器视觉的螺栓松动旋转角度测量[J].机械设计与研究,2021,37(4):159-162,175.ZHOU Jing,LIU Yu,HUO Linsheng.Machine vision-based rotation angle measurement of bolt looseness[J].Mechanical Design and Research,2021,37(4):159-162,175.
[13]李井元,方黎勇,胡栋材,等.基于变换矩阵的BGA X-ray图像倾斜识别及校正方法[J].强激光与粒子束,2018,30(10):149-154.LI Jingyuan,FANG Liyong,HU Dongcai,et al.BGA X-ray image tilt recognition and correction method based on transformation matrix[J].Intense Laser and Particle Beam,2018,30(10):149-154.
[14]周钰,孙力,陈思蓉,等.基于机器视觉的芯片偏移检测系统[J].电子测量与仪器学报,2022,36(12):229-236.ZHOU Yu,SUN Li,CHEN Sirong,et al.Die position offset detection system based on machine vision[J].Journal of Electronic Measurement and Instrumentation,2022,36(12):229-236.
[15]李宝志,倪洪启,林思雨,等.基于图像识别的波纹补偿器轴向尺寸检测方法[J].工程设计学报,2022,29(1):10-19.LI Baozhi,NI Hongqi,LIN Siyu,et al.Axial size detection method for corrugated compensators based on image recognition[J].Journal of Engineering Design,2022,29(1):10-19.