1 引言
装备关键结构长期运行中，易产生疲劳裂纹、冲击损伤等缺陷，影响装备使用性能。因此，定期对关键结构进行检测，对于掌握装备健康状态意义重大。红外热像检测具有快速、直观、效率高的优势，已经在工业中得到应用[1]。
国内外对红外检测图像的分类识别方法进行了大量研究，主要包括两大类，即：传统的图像处理后人工观察识别和基于浅层学习的机器学习方法。传统的图像处理方法利用图像的局部异常来检测和分割缺陷，可以进一步分为结构方法、阈值方法、频谱方法[2]。结构方法包括边缘[3]、骨架[4]、形态学操作[5]等；阈值方法包括迭代最优阈值[6]、OTSU阈值[5]、分水岭方法[7]等；频谱方法包括傅里叶变换、小波变换、Gabor变换等[8]。基于机器学习的方法通常包括特征提取和图像分类两个阶段，通过分析红外检测图像的特征，设计描述缺陷信息的特征向量，然后将特征向量放入预先训练的分类器模型中，以确定输入图像是否有缺陷[9]。传统的图像处理方法劳动强度大、准确率低，人工依赖性强；而基于机器学习的分类方法需要人工提取特征，难以全面反映缺陷类别，缺乏适应性和鲁棒性[10]。
近年来，随着人工智能的发展，深度学习方法在缺陷检测领域得到初步应用，只需要将预处理后的数据输入到深度学习模型中，特征提取过程由模型自动完成，具有更好的识别效果[11]。卷积神经网络源于对视觉模型的研究，在2012年的ImageNet图像分类竞赛中获得冠军，从此在计算机视觉方面得到广泛应用[12]。
本文将卷积神经网络应用到金属结构缺陷检测中，采集红外热波检测图像，将金属结构缺陷检测建模为红外热波图像的分类问题。通过构建小型结构的CNN网络，实现图像特征的自动提取，在经过红外热波检测专业人员识别后的数据集上训练和测试，测试合格的模型能够对红外热波图像自动分类识别[13]。
2 卷积神经网络基本理论
卷积神经网络是由哺乳动物视觉皮层细胞感受野启发而建立的一种前馈神经网络，能够提取图像的局部特征，具有网络参数量较少、不易过拟合等优点，已经在图像相关任务中得到广泛应用。
2.1 卷积神经网络结构
卷积神经网络主要由卷积层、池化层和全连接层组成，其一般结构如图1所示，其中M是卷积层数量，N是池化层数量，K是全连接层数量，P是CNN层组数量。各层之间通过相互连接形成网络结构，将图像特征提取、特征降维和分类识别集成到一个学习框架中。由于卷积神经网络具有局部连接和权值共享的特点，相比较其他深度学习模型具有更加高效提取特征的能力，减少了训练及分类识别消耗的时间，也使得训练出的模型具有更强的泛化能力。
图1 卷积神经网络的一般结构框图
Fig.1 General structure of CNN
卷积层用于提取输入图像的特征，卷积核沿着该层输入图像以固定的步长移动，在每个位置与图像对应位置作卷积运算，运算结果放置在卷积核中央位置对应的输出特征图上。卷积运算是一种线性运算，将卷积核与输入图像对应位置的值相乘之后求和：
(1)
式中：
中的表示第l层； j表示该层的第j个特征图； Mj表示整个输入特征图； 
表示第l-1层的特征图的第i个选择区域； 
表示第l-1层的第i个选择区域与第l层的第j个特征图像连接的卷积核； f 表示非线性变换函数； 
表示偏置[14]。
卷积运算只具有线性映射能力，无法满足特征提取需求，常在卷积运算之后加入非线性函数运算，称为激活函数。常见的激活函数主要有图2所示的Sigmoid函数、Tanh函数、ReLU函数，其中，应用最广泛的是ReLU函数：
图2 非线性函数曲线
Fig.2 Non-linear function curve
(2)
ReLU函数的主要优点有：① 当x>0时，梯度为1，不存在梯度饱和问题，收敛速度快；② 当x<0时，输出为0，增加网络稀疏性，提高了泛化能力[14]。
池化层也称下采样层，可以在保留有用信息的基础上减少数据量，从而减少训练参数量和加快训练速度。池化操作是将池化核沿特征图像滑动，每移动一次即在对应位置进行一次池化运算。常用的池化方式有最大池化和平均池化，最大池化是取对应区域的最大值作为输出值，平均池化是取对应区域的平均值作为输出值[14]。
全连接层起到分类器的作用，位于卷积层和池化层之后，用于对提取的特征进行组织综合。其中，第一个全连接层的输入是经过卷积和池化进行特征提取得到的特征图像；最后一层输出层是一个分类器，可以采用逻辑回归、Softmax回归甚至支持向量机对样本进行分类，输出需要的最终结果。
在图像分类问题中，全连接层的输出值范围不确定，但样本数据的真实标签是离散值，最后由Softmax回归层将网络输出值映射到(0，1)区间内，使得网络输出转化为关于类别的概率分布，通过概率值的大小判断图像类别。假设有类的分类问题，Softmax回归的输出[15]：
(3)
式中：W是权重矩阵；b是偏置值；O是最终输出。
2.2 训练过程
卷积神经网络通过卷积、池化、激活函数等一系列操作，将高层语义信息逐层由输入图像抽取出来，然后经过全连接层得到图片类别信息，该过程称为前向传播。在网络训练阶段，计算预测值与真实值之间的误差，利用反向传播算法将误差由最后一层逐层向前反馈，并更新每一层的参数使误差减小。随后，重复前馈运算和反向传播直到网络模型收敛。
3 基于CNN的金属结构缺陷检测
基于卷积神经网络的结构缺陷检测流程如图3所示，主要包括3个阶段：红外图像采集、图像预处理、图像分类。这里先对前两部分作简要介绍，之后重点研究基于卷积神经网络的红外图像分类。
图3 基于CNN的缺陷检测流程框图
Fig.3 CNN-based defect detection process
3.1 数据准备
为了获取足够的金属结构红外热波图像样本，实验搭建了红外热像检测系统，采集红外热波检测图像，并进行预处理后作为样本数据。
3.1.1 红外热波图像的采集
红外热像检测技术是通过施加主动式受控激励源，引起被测结构件缺陷区域表面温度场变化的差异，并使用红外热像仪采集记录温度场变化，然后利用红外图像来识别被测结构中缺陷信息[16]。该技术具有快速、直观、效率高等优势。
为了满足实验需求，设计如图4所示的超声红外热像检测装置，主要部件包括超声电源、超声枪、红外热像仪等。其中，超声电源将220 V/50 Hz的交流电调制为高频直流脉冲；超声枪将高频直流脉冲转换为高频振动并输出，缺陷区域因界面摩擦、塑性变形等产生热量；热量向试件表面传导，缺陷区域温度明显升高。红外热像仪型号为FLIR SC7000，采样频率为30 Hz，像素为256×320，用于采集被测对象表面温度场信息。
图4 超声红外热像检测装置示意图
Fig.4 Ultrasonic infrared thermal imaging detection system
为了获得实际应用中常见的缺陷裂纹，以200 mm×100 mm×3.95 mm的金属平板为对象，如图5所示。在其一侧预制一个贯穿裂纹；固定夹具通过螺栓夹持被测平板四角实现固定；激励位置偏离中心20 mm，在被测平板和固定支架之间放置100 mm×20 mm×2 mm的硬纸板作为隔振材料。实验时，采用双层遮光布料构建一个红外暗室，以屏蔽外界辐射源和空气流动的影响，并在被测平板的表面喷涂黑色哑光漆以提高表面发射率[17]。
图5 被测平板示意图
Fig.5 Schematic diagram of the tested panel
研究中充分考虑了数据的多样性，共设计10个试件，并在不同的激励时间、预紧力、激励强度条件下采集红外图像序列，之后利用热像仪配套的FLIR Research软件将图像序列每间隔10帧输出一张图像，最终获得像素为256×320的单帧红外图像。
3.1.2 红外图像的预处理
红外图像的预处理包括灰度化和减背景。红外图像包含的是每个像素点的温度信息，本质是一个二维矩阵。将其转换为灰度图像，可以在保留信息量的基础上显著缩小存储空间，减小计算量。
减背景的目的主要是为了消除环境噪声、仪器设备系统自身误差的影响。选择初始帧为背景图像，而图像序列中的任意帧为目标图像，用目标图像减去背景图像得到的就是减背景图像，预处理效果如图6所示。
图6 预处理效果图
Fig.6 Data preprocessing effect
3.1.3 红外图像样本集
在不同检测条件下，共采集3 600幅金属平板的红外图像，按照有裂纹和无裂纹2种情况对样本图像进行分类并设置标签，样本示例如图7所示。
图7 样本示例
Fig.7 Sample sample
其中，图像(a)、图像(b)、图像(c)分别为3个含裂纹试件在主动激励施加1 s时的图像，图像(e)、图像(f)、图像(g)分别为一个无裂纹试件在主动激励施加0 s、0.5 s、1 s时的图像。将3 600幅图像按比例将样本图像分为训练集、验证集和测试集，最终得到训练集2 268幅图像，验证集252幅图像，测试集1 080幅图像，具体数量分配如表1所示。
表1 图像样本情况(张)
Table 1 Image sample situation
样本含裂纹无裂纹总数量训练样本数量1 1131 1552 268验证样本数量119133252测试样本数量5685121 080图像总数量1 8001 8003 600
3.2 模型搭建
3.2.1 环境介绍
实验的硬件环境为：Intel Core i5-7300 CPU，NVIDIA GeForce GTX 1050 GPU；软件环境为：Windows 10操作系统，Python 3.6，深度学习开源框架Keras，以及图像相关的第三方库。
3.2.2 CNN模型建立
本文采用的卷积神经网络结构如图8所示，主要包括输入层、卷积层、池化层、全连接层以及Softmax层。输入图像为预处理后图像，所有图像尺寸相同；图像经过卷积层提取特征，得到一定数量的特征图，然后将特征图输入池化层进行下采样，使特征图泛化；每个卷积层的后面都采用ReLU函数作为激活函数，使得函数具有非线性。
图8 卷积神经网络结构示意图
Fig.8 CNN structure diagram
第1层卷积层选用32个3×3卷积核卷积，步长为1；池化层采用2×2卷积核池化，步长为2。
第2层卷积层选用64个3×3卷积核卷积，步长为1；池化层采用2×2卷积核池化，步长为2。
第3层卷积层选用128个3×3卷积核卷积，步长为1；池化层采用2×2卷积核池化，步长为2。
经过卷积之后维度为15×15×128，转化成28 800个结点作为全连接层的输入，全连接层一共两层，均采用512个神经元。
输出层为2个神经元，使用Softmax函数将所有单元完全连接到各类的输出概率。
此外，在全连接层中采用Droput技术以防止模型过拟合，即在每次循环中按照一定比例随机选择一定比例的单元将其暂时隐藏，然后再进行网络的训练和优化。
4 实验结果分析
4.1 超参数调试结果
卷积神经网络训练的目的是为了使最终的损失达到最小，模型最终采用的损失函数是交叉熵函数，函数表达式为：
(4)
式中：m表示样本个数； y(i)表示第i个样本标签值；
表示第i个样本神经网络输出值。
实验采用分批次进行训练，最终选取参数如下：batch size的大小设置为32； Dropout神经元的随即失活概率设置为0.3；优化算法选取学习率自适应的Adam算法；采用学习率衰减策略进行学习，当验证准确率不再提升时，减少2倍的学习率，学习率下限设置为0.000 01。
4.2 神经网络模型训练
训练迭代次数100次，训练过程中模型损失值随迭代次数变化曲线如图9所示，训练集和测试集的预测准确率随迭代次数变化曲线如图10所示。
图9 损失值变化曲线
Fig.9 Change of loss value
图10 准确率变化曲线
Fig.10 Accuracy rate change graph
实验结果表明，在训练前20次，模型的损失值迅速下降，准确率迅速上升；在训练35次左右，模型开始收敛；最终训练到40次时，模型损失值已经趋于稳定。可以看出，最终选取的参数设置比较合适，准确率和损失值变化趋势表现良好。
4.3 模型性能评估
通过在测试集上做预测来评估训练得到的神经网络模型的性能，首先要定义两个评价指标：
1) 召回率：正确检测出某一类别的数量占测试集中该类别总数的比例，反映模型寻找缺陷的能力；
2) 准确率：在检测结果为某一类别的样本中，有多大比例预测结果正确，反映出检测的准确性。
本文测试集中有568幅含裂纹图片，512幅无裂纹图像，利用经过训练的模型对测试样本作出预测，测试结果如表2所示。
表2 模型测试结果
Table 2 Model test results
含裂纹无裂纹所有测试样本数量5685121 080检出的个数5525281 080正确检测到的数量5495051 050未检测到的数量23326召回率/%95.9598.6397.22准确率/%99.4695.6497.22
测试结果表明，该模型能够较准确的识别出含裂纹红外热波检测图像，对含裂纹图像的分类识别准确率能够达到99.46%，综合分类识别准确率达到97.22%。存在小部分分类错误的主要原因是含微小裂纹金属试件的红外图像特征不明显，被误识别为无裂纹。
为提高识别准确率，可以从两方面作出改进，一是增加含裂纹试件的多样性，使样本集中包含更多微小裂纹试件的红外图像；二是构建更大型的卷积神经网络，会在训练和测试效果上表现更加优异。
5 结论
本文红外热像检测与深度学习结合，验证了基于卷积神经网络的金属结构缺陷检测的可行性和有效性。使用超声红外热像检测系统采集金属平板的红外图像并作预处理；通过搭建卷积神经网络对图片进行训练，实现金属缺陷的自动识别。测试结果表明样本识别准确率达97.22%，验证了方法的有效性。下一步将研究使用神经网络模型实现对缺陷大小、形状、位置的检测识别，提高红外热像检测水平。
[1] 郑凯，江海军，陈力.红外热波无损检测技术的研究现状与进展[J].红外技术，2018，40(05)：401-411.
Zheng K，Jiang H J，Chen L.Infrared thermography NDT and Its development[J].Infrared Technology，2018，40(05)：401-411.
[2] Ren R，Hung T，Tan K C.A generic deep-learning-based approach for automated surface inspection[J].IEEE Transactions on Cybernetics.2018，48，929-940.
[3] 唐庆菊，刘俊岩，王扬，等.基于模糊C均值聚类和Canny算子的红外图像边缘识别与缺陷定量检测[J].红外与激光工程，2016，45(09)：281-285.
Tang Q J，Liu J Y，Wang Y，et al.Infrared image edge recognition and defect quantitative determination based on the algorithm of fuzzy C-means clustering and canny operator[J].Infrared and Laser Engineering，2016，45(09)：281-285.
[4] Tastimur C，Karakose M，Akin E，et al.Rail defect detection with real time image processing technique[C]//IEEE International Conference on Industrial Informatics.IEEE，2016，5，283.
[5] 徐超，冯辅周，闵庆旭，等.基于形态学和OTSU算法的红外图像降噪及分割[J].红外技术，2017，39(06)：512-516.
Xu C，Feng F Z，Min Q X，et al.Infrared image denoising and segmentation based on morphology and OTSU method[J].Infrared Technology，2017，39(06)：512-516.
[6] Li X，Gao B，Woo W L，et al.Quantitative surface crack evaluation based on eddy current pulsed thermography[J].IEEE Sensors Journal，2016：1-1.
[7] Wang L，Zhao Y，Zhou Y，Hao J.Calculation of flexible printed circuit boards global and local defect detection based on computer vision[J].Circ World，2016，42： 49-54.
[8] Borwankar R，Ludwig R.An optical surface inspection and automatic classification technique using the rotated wavelet transform[J].IEEE Transactions on Instrumentation and Measurement，2018，67(3)：690-697.
[9] 汤勃，孔建益，伍世虔.机器视觉表面缺陷检测综述[J].中国图象图形学报，2017，22(12)：1640-1663.
Tang B，Kong J Y，Wu S Q.Review of surface defect detection based on machine vision[J].Journal of Image and Graphics，2017，22(12)：1640-1663.
[10] 王丽苹，高瑞贞，张京军，等.基于卷积神经网络的混凝土路面裂缝检测[J].计算机科学，2019，46(S2)：584-589.
Wang L P，Gao R Z，Zhang J J，et al.Crack detection of concrete pavement based on convolutional neural network[J].Computer Science，2019，46(S2)：584-589.
[11] Xian Tao，Dapeng Zhang，Wenzhi Ma，et al.Automatic metallic surface defect detection and recognition with convolutional neural networks[J].Applied Sciences.2018，8(1575)：1-15.
[12] 周飞燕，金林鹏，董军.卷积神经网络研究综述[J].计算机学报，2017，40(06)：1229-1251.
Zhou F Y，Jin L P，Dong J.Review of convolutional neural network[J].Chinese Journal of Computers，2017，40(06)：1229-1251.
[13] Wang T，Chen Y，Qiao M，et al.A fast and robust convolutional neural network-based defect detection model in product quality control[J].The International Journal of Advanced Manufacturing Technology，2017.
[14] 魏秀参.解析深度学习：卷积神经网络原理与视觉实践[M].北京：电子工业出版社，2018：31-42.
Wei X S.Analyze deep learning：principles of convolutional neural networks and visual practice[M].Beijing：Publishing House of Electronics Industry，2018：31-42.
[15] Jing L，Zhao M，Li P，et al.A convolutional neural network based feature learning and fault diagnosis method for the condition monitoring of gearbox[J].Measurement，2017，111：1-10.
[16] 冯辅周，张超省，江鹏程，等.超声红外热像技术中缺陷的自动识别[J].激光与红外，2012，42(10)：1149-1153.
Feng F Z，Zhang C S，Jiang P C，et al.Automatic identification of crack in ultrasonic infrared imaging technology[J].Laser and Infrared，2012，42(10)：1149-1153.
[17] 张超省，宋爱斌，冯辅周，等.超声红外热像检测条件的优化方法研究[J].红外与激光工程，2016，45(02)：85-92.
Zhang C S，Song A B，Feng F Z，et al.Research on optimization method of conditions in sonic infrared imaging[J].Infrared and Laser Engineering，2016，45(02)：85-92.