0 引言
滚动轴承在一些机械装备中是极其重要的零部件,对其安全可靠性要求非常高。约有30%的故障是由滚动轴承引起的[1],因此对滚动轴承剩余寿命预测(RUL)方法的研究也就非常必要了。通过轴承剩余寿命预测,可以更好地帮助设备使用者判断其使用安全性,并作出相应决策,意义重大。
国内外学者对于滚动轴承的剩余寿命预测已经做了大量的研究工作。目前,轴承的剩余寿命预测算法大致分为3类:物理模型方法、统计学方法、数据驱动方法。常见的物理模型[2]有:Keer-Bryant裂纹扩展模型、Hanson-Keer裂纹扩展模型、Zhou-Cheng-Mura模型。统计预测模型主要有:Wiener模型建模[3]、灰色预测模型[4]、指数模型[5]、比例风险模型[6]等。常用的数据驱动方法有:支持向量机(SVM)[7]、深度置信网络(DBN)[8]、卷积神经网络(CNN)[9-10]、深度自编码器(SAE)[11]、循环神经网络(RNN)以及在这些基础上的变种网络[12-15]。与物理模型和统计模型相比,基于数据驱动的轴承寿命预测方法的使用更加广泛。研究人员更是提出了针对变工况的迁移学习的方法,通过调整原始域与目标域的关系实现变工况的寿命预测[16-17]。
上述轴承寿命预测方法都是在完整的轴承测试数据下建立的轴承剩余寿命模型。然而,在实际工作中,总会因为人为或偶然的因素,无法得到完整的数据。比如在高铁的运行过程中,可能会由于天气、路况等各种因素,导致信息传输不充分,传感器漏采等原因引起轴承振动数据的缺失。数据缺失会使得对轴承退化信息提取分析困难,降低模型的预测精度。因此在轴承测试数据缺失下开展数据插补并建立滚动轴承剩余使用寿命预测模型是一道必须解决的难题。
解决数据缺失的方法主要有删除法和插补法。虽然删除法很方便,但是直接删除了包含缺失信息的样本数据,容易引起关键信息的丢失,从而影响预测精度[18]。对于插补算法,许多学者已经从统计学和机器学习等方面进行了研究。统计学插补方法主要有均值插补、回归插补等[19],适用于数据量较小且分布简单的数据插补情况。对于大量或海量数据的插补,机器学习插补更加的合适。其常用方法有MICE多重插补、KNN最近邻插补、MissForest随机森林插补等[20-22]。生成对抗插补网络(generative adversarial imputation network,GAIN)[23]是最近几年提出的一种能够直接学习缺失数据集且能给出较完整数据分布的插补方法,插补更加高效。但是GAIN在学习训练的过程中,是不稳定的,而且需要大量的数据。因此需要更多的改进、完善。
综上,为了能在数据缺失条件下较准确地预测滚动轴承使用寿命,本文中给出了一种精简生成对抗插补网络(slim generative adversarial imputation network,SGAIN)融合时间卷积网络(temporal convolutional network,TCN)的滚动轴承剩余寿命预测方法。通过SGAIN网络分析学习轴承缺失数据集的分布规律,掌握已有数据与缺失数据的关联,对缺失数据进行插补,再运用TCN构建轴承剩余寿命预测模型,并通过公开数据集验证其有效性。
1 寿命模型构建方法理
1.1 数据插补方法
SGAIN网络是基于改进生成对抗插补网络的一种精简网络,在GAIN体系的基础上做出了精简与更改。图1是SGAIN的基本原理图。
图1 SGAIN插补流程
Fig.1 Interpolation process of SGAIN
如图1所示,SGAIN的框架结构主要包括生成器(G)和判别器(D);其基本框架体系与GAIN相同,通过生成器与判别器之间的对抗生成与真实数据相同分布的样本数据,最终完成数据的插补。与GAIN不同的是,SGAIN更改了生成器与判别器的神经网络层数,并且舍弃了提示矩阵H,提高了模型的训练速度和精度。在激活函数的选择上,选择了使得优化器能更快收敛的Tanh函数。
1.1.1 轴承测试数据生成方法
测试数据生成器(G)是通过缺失状态下的数据集学习完整的数据分布规律,从而生成与原数据集分布相同的数据对缺失部分进行插补。生成器的输入主要包括:缺失数据矩阵X(x1,x2,x3,…,xi, i∈N*),随机噪声Z(z1,z2,z3,…,zi, i∈N*) 以及掩码矩阵M。
不完整数据矩阵由测量数据以及NAN数据组成,掩码矩阵由0、1组成,用掩码矩阵表示测量数据和缺失数据的分布,测量数据对应的掩码矩阵的值为1,缺失数据对应的掩码矩阵值为0。首先通过公式(1)获取轴承振动数据的分布矩阵
然后结合掩码矩阵M利用公式(2)生成插补矩阵
具体公式如下所示:
(1)
(2)
数据输入到生成器中,通过全连接层输出分布矩阵,生成器的全连接层公式为
(3)
式(3)中:Wii表示权重系数, f表示激活函数包括ReLU、tanh。
1.1.2 轴承测试数据判别方法
测试数据判别器(D)的输入有2个,一个是原始数据矩阵,另一个是生成器生成的插补数据矩阵,判别器通过比较非缺失部分的生成值是否与原始数据相同,若判别器判断为假,则生成器继续生成插补数据矩阵,并且通过反向传播进行优化,直到判别器判定为真。与GAIN不同的是,SGAIN判别器的输入没有提示矩阵H,提示矩阵H的存在可以限制生成器只生成一种概率分布,而且增加了网络的层数,使得运算速度减慢。
判别器的神经网络也通过全连接层输出,判别器的全连接层公式如下所示:
(4)
式(4)中:
表示判别器的输出,Wii表示权重系数, f表示激活函数包括ReLU、tanh。
1.1.3 损失函数Loss
在SGAIN框架中,判别器D的目标是使预测M矩阵的概率最大化,生成器G的目标是使预测M矩阵的概率最小化,因此,损失是由判别器和生成器共同决定的。具体的损失函数如下所示:
(5)
(6)
式(5)和式(6)中:X表示缺失数据矩阵,
表示生成的插补矩阵,M表示掩码矩阵,α表示超参数在建立模型时设置。通过损失函数,可以对网络模型进行优化。
1.2 寿命预测模型构建方法
时间卷积网络(TCN) 是一种用于解决时间序列问题的网络,在传统一维卷积神经网络上,融合了因果卷积(causal convolutions),膨胀卷积(dilated convolution),和残差连接(residual connections),具体结构如图2所示。图2中1×1卷积代表残差连接,用以实现对输入数据的恒等映射,模块中还应用了ReLU函数作为激活函数,Dropout以防止过拟合及权重归一化(weight norm)用以加快训练速度。
图2 TCN残差块模型
Fig.2 TCN residual block model
膨胀卷积通过跳过部分输入的方式将卷积核作用于更大的区域,改变膨胀系数可以调整感受野的大小。膨胀因子的存在,可以使得网络获取任意长度的时间序列并映射到相同长度的输出序列,不会遗忘或泄露未来的数据信息,且不会因为网络的加深出现梯度爆炸或梯度消失的情况。与RNN相比因果卷积没有采用递归连接,处理时间序列数据时可以采用并行输入的方法,使得训练速度比RNN更快。在TCN中,对与一维的卷积输入x∈Rn,卷积核 f:{0,…,k-1}→R,序列元素s的膨胀卷积运算公式为
(7)
式(7)中: d为膨胀系数;s-d·i为输入序列中的历史数据;k为滤波器系数。
膨胀因果卷积如图3所示,在第一层隐藏层中,膨胀因子为1,使得在选定的神经元集合中省略了一个神经元,在第2个隐层中,膨胀因子为2,所选神经元之间省略了3个神经元。TCN的每一层都是一个残差块,每个残差块中卷积神经元的扩展因子由浅入深以(2n-1)的速率递增,保证了记忆历史信息的良好性能。
图3 膨胀因果卷积网络
Fig.3 Dilated causal convolutional networks
1.3 模型构建
在1.1和1.2的基础上,一种SGAIN融合TCN的轴承剩余寿命预测方法得以实现。即在利用SGAIN模型对缺失的数据插补完成后,通过构建健康指标,利用TCN模型对健康指标进行预测,从而实现轴承的RUL预测,流程如图4所示。
图4 数据缺失下轴承寿命预测流程
Fig.4 Process of bearing life prediction with missing data
具体步骤如下:
步骤1：对轴承的振动信号进行预处理、检测原始数据中缺失或异常的值,并为所有数据打上标签。未缺失的值标签为1,缺失或异常值标签为0。并进行标准化处理消除量纲影响。
步骤2：将已处理的数据和标签输入SGAIN模型中,通过初始化网络参数和已经预设的损失函数,对缺失数据进行插补填充。
步骤3：构建轴承全寿命周期的健康度指标(HI),模型的训练数据集是全寿命周期的数据集。设轴承的全寿命周期的时间为T,在时刻为t的训练样本的健康度指标为:
(8)
通过上式的计算,将轴承的寿命标签分布到0～100%内,轴承最开始未运行时为HI为100%,轴承运行到失效时为HI为0。
步骤4：将训练集及其标签输入到TCN模型中,选择合适的超参数对模型进行训练并利用Adam优化器自适应地调整学习率。待网络模型训练完成后,输入测试集数据,通过RUL模块得到测试集的剩余寿命。
2 模型验证方法
2.1 验证数据描述
本实验数据采用由IEEE提供的PHM2012挑战赛的数据集。实验的采样频率为25.6 kHz,采样间隔为10 s,一次采样2 560个点,即0.1 s。实验包含3种工况,共采集了17套轴承的全寿命周期数据,其中6套训练集,11套测试集,工况1和工况2各有7套轴承的全寿命周期数据,工况3有3套,如表1所示。实验采集了水平和竖直2个方向的振动信号,本文中选用水平方向的振动信号进行验证。
表1 轴承数据集
Table 1 Bearing data set
数据集1数据集2数据集3负载/N4 0004 2005 000转速/(r·min-1)1 8001 6501 500训练集Bearing1_1Bearing1_2Bearing2_1Bearing2_2Bearing3_1Bearing3_2测试集Bearing1_3Bearing1_4Bearing1_5Bearing1_6Bearing1_7Bearing2_3Bearing2_4Bearing2_5Bearing2_6Bearing2_7Bearing3_3
2.2 缺失数据插补
由于本文中方法需要用到含有缺失值的数据,而PHM2012的轴承数据集是全寿命周期的数据。为验证文本方法的有效性,对轴承全寿命周期数据集进行随机去除,缺失值设为NaN并为其打上缺失标签获得数据集对应的掩码矩阵M。由于轴承全寿命周期数据量过大,并且每个样本之间的数据分布并不相同,因此选择对每个样本单独做随机缺失与插补。为了更加直观的展示模型的插补效果,随机抽取Bearing1_3中的一些样本并展示其插补结果,在其他条件不变的情况下,将SGAIN模型与原始GAIN模型、随机森林模型(missForest)的插补结果相对比。
将缺失数据的原始数据xi与插补数据值
的均方根误差(RMSE)和平均绝对误差(MAE)作为两个评价指标,公式如下:
(9)
(10)
Q代表缺失数据的数量,上述2个指标反应插补值与真实值之间的偏差。2个指标数值越低,表示插补数据与原始数据误差越小,模型的插补能力越强。
SGAIN的程序编写基于python语言。SGAIN模型的参数取值如表2所示,GAIN模型参数与其相同。采用人为随机去除的方法,得到10%、20%、30%、40%的缺失数据集。通过公式(9)(10)计算各个方法的插补误差指标,进而验证插补方法对轴承振动数据插补的有效性。
表2 SGAIN模型参数
Table 2 Model parameters of SGAIN
参数名称内容生成器(G)网络层数2激活函数relu、tanh优化器Adam学习率1E-3判别器(D)网络层数2激活函数relu、tanh优化器Adam学习率1E-3其他超参数α100迭代次数(epochs)10 000批大小(batch_size)128
图5(a)(b)是不同缺失率下,不同插补方法插补数据结果的误差值。两幅图中横坐标表示缺失率大小,纵坐标分别表示RMSE、MAE的值。
图5 不同缺失率下插补数据误差对比
Fig.5 Comparison of interpolation data errors at different missing rates
由图5可知,随着缺失率的增加,插补的误差大体呈上升趋势,但是在不同缺失率下,SGAIN模型的2个误差指标都是最小的,在缺失率10%时RMSE指标最小可达到0.123相比其他2种方法分别减小了33.35%、16.93%,MAE指标为0.083,相比其他2种方法分别减小了40.78%、23.59%。
由此可见,改进过后的SGAIN模型相比较原始GAIN和missForest的填补性能更加的优越。
2.3 寿命预测及分析
对数据进行插补是为了更好的进行滚动轴承剩余寿命的预测。采用SGAIN模型进行数据插补后,使用TCN算法建立滚动轴承的剩余寿命预测模型。选择PHM挑战赛数据集中工况一的轴承作为验证对象,将除Bearing1_3之外的所有轴承的全寿命周期,水平方向上的振动数据作为训练集,训练完成后,分别对Bearing1_3的原始振动信号、已缺失已插补的振动信号、已缺失未插补的振动信号进行预测,并将其结果进行分析对比。
为了评价预测结果的好坏,采用一种改进的Score函数作为评价指标[24],计算公式如下:
(11)
(12)
(13)
式(11)—式(13)中: yi为轴承实际寿命;
为寿命预测值;Ei为第i个样本的误差;n为总样本个数;m为轴承早期寿命的百分比;ω1和ω2分别为早期和晚期寿命的权重;本文中m=n/2,ω1=0.35,ω2=0.65;S为Score函数值,S的值越大,说明得分越高,预测的精度越高。
在搭建网络时,选择合适的超参数可以增加模型的预测精度和预测速度。TCN模型基于python的Tensorflow 2.0,keras 2.3.1环境搭建,本文中选择的超参数如表3所示。在网络模型训练完成后,分别输入3个测试集,预测出来的结果,将RMSE、MAE、Score作为评价指标来检验本文中所提的方法。
表3 TCN模型参数
Table 3 Model parameters of TCN
参数名称内容卷积核卷积核个数32卷积核大小12步长4残差模块模块1膨胀因子12、3、1模块2膨胀因子6、3、2模块3膨胀因子4、3、4其他超参数迭代次数(epochs)300批大小(batch_size)128Dropout0.3优化器Adam学习率1×10-3
选用20%缺失率下的缺失与插补数据,图6(a)—(c)分别是Bearing1_3轴承原始数据、缺失已插补数据、缺失未插补数据通过TCN模型的预测结果。经过平滑化之后可以看出,缺失未插补的数据与原始数据和插补完成的数据相比预测效果相对较差,这说明数据缺失的数据集丢失了一部分的有用信息。
图6 Bearing1_3三种状态下预测结果曲线
Fig.6 Prediction result curves for the three states of Bearing1_3
表4为3种情况下的预测结果评价指标,可知缺失未插补的数据预测结果与实际结果的均方根误差和绝对平均误差最大,分别为16.289 4、14.067 2,Score得分函数最低为0.542 5。经过SGAIN模型插补后的数据,数据预测结果与实际结果的均方根误差和绝对平均误差明显减小,分别为8.883、7.515 4,Score得分函数为0.722 2,这样的预测结果误差更小且更加的接近未缺失数据预测的结果,充分说明SGAIN可以有效的捕捉轴承缺失数据的分布规律,能够有效的对缺失数据进行插补填充,并用于寿命预测,提高了缺失数据下预测轴承剩余寿命的精度。
表4 预测结果评价指标
Table 4 Indicators for evaluation of prediction results
RMSEMAEScore原始数据7.802 46.581 90.755 220%缺失16.289 414.067 20.542 5插补后数据8.883 07.515 40.722 2
3 结论
针对轴承振动信号缺失的情况,给出了一种SGAIN融合TCN的轴承剩余寿命预测方法。
1) 采用SGAIN网络学习了缺失数据集的分布规律,掌握已有数据和缺失数据的关联,可对缺失数据进行插补填充;通过对生成对抗插补网络的网络结构和激活函数的改进,提高了网络的泛化性,使得模型插补速度更快,插补精度更高。
2) 将SGAIN与TCN相结合,完成数据缺失下的滚动轴承剩余寿命预测。通过数据集验证发现,所给出方法的预测结果比数据缺失状态下直接预测的结果误差更小,且更加的接近未缺失数据的预测结果。说明该方法可以有效地预测数据缺失下的轴承剩余寿命。
[1]MOGHADDASS R,ZUO M J.An integrated framework for online diagnostic and prognostic health monitoring using a multistate deterioration process[J].Reliability Engineering &System Safety,2014,124:92-104.
[2]张小丽,王保建,马猛,等.滚动轴承寿命预测综述[J].机械设计与制造,2015(10):221-224.ZHANG Xiaoli,WANG Baojian,MA Meng,et al.A Review of life prediction for roller bearing[J].Machinery Design &Manufacture,2015(10):221-224..
[3]杨志凌,刘俊华.基于数据融合和Wiener过程的风电轴承剩余寿命预测[J].太阳能学报,2021,42(10):189-194.YANG Zhiling,LIU Junhua.Remaining life prediction od wind turbine bearings based on data fusion and Wiener processes[J].Acta Energiae Solaris Sinica,2021,42(10):189-194.
[4]MENG Z,LI J,YIN N,et al.Remaining useful life prediction of rolling bearing using fractal theory[J].Measurement,2020,156:107572.
[5]LI N,LEI Y,LIN J,et al.An improved exponential model for predicting remaining useful life of rolling element bearings[J].IEEE Transactions on Industrial Electronics,2015,62(12):7762-7773.
[6]张媛,秦勇,杜艳平,等.基于比例风险模型的列车滚动轴承剩余寿命预测[J].济南大学学报(自然科学版),2016,30(5):347-352.ZHANG Yuan,QIN Yong,DU Yanping,et al,Residual life prediction of rolling bearings on rail vehicles based on proportional hazard model[J].Journal of University of Jinan (Science and Technology),2016,30(5):347-352.
[7]邹旺,江伟,冯俊杰,等.基于ANN和SVM的轴承剩余使用寿命预测[J].组合机床与自动化加工技术,2021(1):32-35.ZOU Wang,JANG Wei,FENG Junjie,et al.Bearing remaining useful life prediction based on artificial neural network and support vector machine[J].Modular Machine Tool &Automatic Manufacturing Technique,2021(1):32-35.
[8]杨宇,张娜,程军圣.全参数动态学习深度信念网络在滚动轴承寿命预测中的应用[J].振动与冲击,2019,38(10):199-205,249.YANG Yu,ZHANG Na,CHENG Junsheng.Global parameters dynamic learning deep belief networks and its application in rolling bearing life prediction[J].Journal of Vibration and Shock,2019,38(10):199-205,249.
[9]蔡勇.基于CNN-GRU的滚动轴承寿命预测[J].机械工程与自动化,2023(1):143-145,148.CAI Yong.Rolling bearing life prediction based on CNN-GRU[J].Mechanical Engineering &Automation,2023(1):143-145,148.
[10]张继冬,邹益胜,邓佳林,等.基于全卷积层神经网络的轴承剩余寿命预测[J].中国机械工程,2019,30(18):2231-2235.ZHANG Jidong,ZOU Yisheng,DENG Jialin,et al.Bearing remaining life prediction based on full convolutional layer neural networks[J].China Mechanical Engineering,2019,30(18):2231-2235.
[11]康守强,周月,王玉静,等.基于改进SAE和双向LSTM的滚动轴承RUL预测方法[J].自动化学报,2022,48(9):2327-2336.KANG Shouqiang,ZHOU Yue,WANG Yujing,et al.RUL prediction method of a rolling bearing based on improved SAE and Bi-LSTM[J],Acta Automatica Sinica,2022,48(9):2327-2336.
[12]姚德臣,李博阳,刘恒畅,等.基于注意力GRU算法的滚动轴承剩余寿命预测[J].振动与冲击,2021,40(17):116-123.YAO Dechen,LI Boyang,LIU Hengchang,et al.Residual life prediction of rolling bearing based on attention GRU algorithm[J].Journal of Vibration and Shock,2021,40(17):116-123.
[13]曾大懿,杨基宏,邹益胜等.基于并行多通道卷积长短时记忆网络的轴承寿命预测方法[J].中国机械工程,2020,31(20):2454-2462,2471.ZENG Dayi,YANG Jihong,ZOU Yisheng,et al.Bearing life prediction method based on PMCCNN-LSTM[J].China Mechanical Engineering,2020,31(20):2454-2462,2471.
[14]ZUO T,ZHANG K,ZHENG Q,et al.A hybrid attention-based multi-wavelet coefficient fusion method in RUL progno-sis of rolling bearings[J].Reliability Engineering &System Safety,2023,237:109337..
[15]DING W,LI J,MAO W,et al.Rolling bearing remaining useful life prediction based on dilated causal convolutional DenseNet and an exponential model[J].Reliability Engineering &System Safety,2023,232:109072..
[16]王新刚,韩凯忠,王超,等.基于迁移学习的轴承剩余使用寿命预测方法[J].东北大学学报(自然科学版),2021,42(5):665-672.WANG Xingang,HAN Kaizhong,WANG Chao,et al.Bearing remaining useful life prediction method based on transfer learning[J].Journal of Northeastern University(Natural Science),2021,42(5):665-672.
[17]李达.基于模型迁移和维纳过程的滚动轴承剩余寿命预测方法研究[D].哈尔滨:哈尔滨理工大学,2022.LI Da.Research on prediction method of remaining using life of rolling bearing based on model transfer and wiener process[D].Harbin:Harbin University of Science and Technology,2022.
[18]AFIFI A A,ELASHOFF R M.Missing observations in multi-variate statistics I.Review of the literature[J].Journal of the American Statistical Association,1966,61(315):595-604.
[19]易茜,柳淳,李聪波,等.数据缺失下基于改进生成对抗填补网络的碳耗预测方法[J].机械工程学报,2023,59(11):264-275.YI Qian,LIU Chun,LI Congbo,et al.Prediction method of hobbing carbon consumption based on improved generative adversarial imputation net with missing data[J].Journal of Mechanical Engineering,2023,59(11):264-275.
[20]刘露诗.基于机器学习与缺失值插补技术的海底硫化物成矿定量预测[D].长春:吉林大学,2022.LIU Lushi.Prospectivity mapping for seafloor massive sulfide based on machine learning and missing valueimputation techniques[D].Changchun:Jilin University,2022.
[21]乔永坚,刘晓琳,白亮.面向高维特征缺失数据的K最近邻插补子空间聚类算法[J].计算机应用,2022,42(11):3322-3329.QIAO Yongjian,LIU Xiaolin,BAI Liang.K-nearest neighbor imputation subspace clustering algorithm for high-dimensional data with feature missing[J].Journal of Computer Applications,2022,42(11):3322-3329.
[22]姚迎乐,李建,孙滨.拟合化处理不完整数据缺失序列插补算法仿真[J].计算机仿真,2023,40(1):523-527.YAO Yingle,LI Jian,SUN Bin.Simulation of interpolation algorithm for fitting incomplete data missing sequences[J].Computer Simulation,2023,40(1):523-527.
[23]YOON J,JORDON J,SCHAAR M.Gain:Missing data imputation using generative adversarial nets[C]//International conference on machine learning.PMLR,2018:5689-5698.
[24]WANG Y,DENG L,ZHENG L,et al.Temporal convolutional network with soft thresholding and attention mechanism for machinery prognostics[J].Journal of Manufacturing Systems,2021,60:512-526.