基于多维指标关联的物联网装备异常预测方法

随着我国科学技术水平与经济实力不断提升,装备发展呈现出更加多元化趋势,在现代化的装备保障体系中,装备类型多样且同类型装备的特征要素繁杂,要素间关联关系极为复杂。特别是在瞬息万变的环境下,装备状态动态变化导致多状态特征提取与相似特征要素关联实现变得异常困难,装备异常检测的精确度与状态感知可靠性低下。因此,研究人员研发了面向物联网装备状态的感知和评估技术来满足高动态的装备保障业务需求。在对装备状态的感知预测方面,根据文献[1],可划分为基于物理模型、基于统计模型和基于计算智能的预测。基于物理模型的方法出现在早期的实验中,现在由于装备系统故障模式越发繁杂,其应用范围和效果受到限制。基于统计模型的预测,例如灰色模型[2-3]和ARIMA[4-5],其对数据的要求比较严格且依赖于模型的参数。因此,近年来,基于计算智能预测中的机器学习方法成为装备状态感知与预测的主流。机器学习方法可分为浅层和深层,对于浅层机器学习方法,文献[6]结合锂电池的容量增量分析和BP神经网络预测了不同温度下锂电池的健康状态,但浅层机器学习方法需要人工抽取样本特征,依赖更多的先验知识,对海量数据处理能力有限。为解决浅层机器学习问题,深层机器学习方法卷积神经网络(CNN) 、循环神经网络(RNN)、长短期记忆神经网络(LSTM)等得到广泛应用,文献[7]不需要事先具备信号处理的专业知识,利用CNN对采用时间窗准备数据进行寿命状态的预测。文献[8]利用RNN实时分析油的参数,从而感知燃气轮机发动机的状态。RNN虽在CNN上添加了记忆功能,但无法适配长期序列,在更长的时间序列上,LSTM则有更好的表现。文献[9]结合聚类和LSTM对风力发电机健康状态实现了故障预测。文献[10]通过模糊处理得到变压器装备各指标的相对恶化程度与变压器状态之间的关系,然后通过LSTM网络,提取变压器状态的演变过程,构建了装备状态预测模型。但这些对LSTM的使用方法仅考虑机器状态指标较少情况,在多维指标关联复杂的装备情况下,难以实现高精度预测。在对装备状态的评估方面,文献[11]提出一种深度迁移学习的自编码网络提取轴承异常特征,利用离线轴承正常状态的排列熵值构建报警阈值,有效识别轴承异常状态。但该方法专注于异常的在线检测,只能在异常已经发生时检测到,无法有效地提前预测和响应异常。在文献[12-13]中,作者利用支持向量机(SVM)技术,能够辨识核电系统中的异常并对核电设备中的多个异常进行分类检测。文献[14]利用深度神经网络(DNN)实现了高精度的滚动轴承故障状态识别。文献[15]也利用了DNN对装备中的异常振动实现了检测。由于带有异常标签的数据在真实物联网装备环境很少见,这些类似于SVM、DNN等有监督的状态评估方法难以实现。

针对上述方法的不足,结合物联网装备状态中数据具备时序性、指标繁多且关联复杂、标签缺失等特点,提出一种基于多维指标关联的物联网装备异常预测方法。该方法通过构建基于多维指标关联分析的LSTM神经网络感知模型和基于密度空间聚类的状态评估模型,实现了物联网装备未来异常的高精度预测。

1 装备状态感知模型

1.1 多维指标关联分析

物联网的装备在运行过程中会产生大量的历史状态信息,通过装备数据收集模块(例如传感器等)采集这些状态信息,并将这些状态信息存储在装备的存储单元。这些历史状态信息中会含有多种指标数据,例如:温度、振动、功率等数据。

多种指标数据相关分析在物联网装备维修异常检测中非常重要。一方面,物联网装备有很多设备状态指标和服务指标。当我们要对物联网装备的某个指标A进行监控或预测时,可能无法获得有效的历史数据或实时数据。这时,我们可以选择物联网设备中与该指标关联度较高的指标B进行预测,并保证该指标B有足够的历史数据或实时数据。另一方面,采用单一指标检测分析在物联网设备异常检测中往往无法取得良好的效果。我们需要充分利用物联网设备中的多指标数据对物联网设备中状态进行实时检测。

在统计学中,斯皮尔曼等级相关系数是分析相关性的重要方法之一。它不需要检查变量的样本量或总体分布特征。斯皮尔曼系数通过提取数据的排序特征来计算变量的相关性。通过评价2个指标之间的关联度,找出在装备历史状态信息中和目的指标相关性较强的其余指标。2个指标间的关联度计算表达式为

式(1)中:X和Y表示2个指标数据集合;Xi和Yi分别是2个集合中的元素值(1≤i≤N),xi表示Xi在X中的秩,yi表示Yi在Y中的秩,同时这些秩都是升序或者降序排列的。

如果所有N排的数据都是不同的整数,用di表示xi和yi之间的差,其中。di=xi-yi。则2个指标间的相关性可以表示为:

当计算得到的相关系数结果为正时,表示各指标之间的单调性相同;当计算得到的相关系数结果为负时,表示各指标之间的单调性相反。系数绝对值越接近1,说明2个指标的相关性越强。通过斯皮尔曼计算指标之间的相关性后,可以得到与目的指标相关性较强的其他指标。

接着对与目的指标相关性较强的其他指标进行主成分分析(principal component analysis,PCA)降维,其目的是将高维度的数据(指标太多)保留下最重要的一些特征,去除噪声和不重要的特征,从而提升数据处理速度。计算各指标的相关系数矩阵的特征值λ和特征向量α,计算主成分贡献率

以及累计贡献率

其中P是与目的指标相关性较强的其他指标的个数,一般选取累计贡献率超过80%的特征值对应的第1、第2、…、第m(m≤p)个主成分。第i个主成分: Fi=α1iX1+α2iX2+…+αpiXp, i=1,2,…,m。

1.2 基于LSTM神经网络的指标预测

由于装备的历史状态信息所包含的各个指标数据具有很强的时间序列特征,因此我们采用LSTM神经网络来对装备的状态进行精准感知。LSTM神经网络不仅适合时间序列特征的数据处理,而且同其他机器学习方法相比,LSTM神经网络可以通过计算隐藏层的相关权重系数自动调整和学习时间序列之间的隐式关系,达到更高的效率。LSTM神经网络的标准结构如图1所示,采用3门结构控制时间序列信息的传输过程。

遗忘门的状态用于确定有多少信息可以从上一时刻的单元状态转移到当前时刻的单元状态。如果输出为0,表示丢弃上一时刻的信息;如果输出为1,表示保留上一时刻的信息。遗忘门的状态的计算公式为

式(3)中: ft为遗忘门的状态;σ为激活函数;xt为输入值;ht-1为隐藏层的最后一次输出值;Wxf为遗忘门和输入层之间的权重;Whf为遗忘门和隐藏层之间的权重; bf为偏置向量。

输入门由2个部分组成,可以决定哪些新的输入信息可以添加到单元格结构中。具体的计算公式为

式(4)—式(5)中:it表示哪些新的输入信息可以添加到单元格结构中;tanh函数用于生成当前时刻新的单元格候选状态

为激活函数;xt为输入值;ht-1为隐藏层的最后一次输出值;Wxi为输入门和输入层之间的权重;Whi为输入门和隐藏层之间的权重;bi和bc为偏置向量;Wxc为候选值和输入门之间的权重;Whc为候选值和隐藏层之间的权重。

由遗忘门和输入门结果,我们可以更新单元格状态。新的单元格状态由2个部分组成,其中一部分是遗忘门输出ft与上一次旧单元状态Ct-1的乘积,另一部分是输入门输出it与候选状态

的乘积。将这2部分加在一起得到新的单元格状态,这也是丢弃不必要的状态信息并添加新的状态信息的过程。新的单元格状态Ct的计算公式为

输出门Ot控制整个LSTM网络的当前输出值ht,它决定了之前更新的单元格状态Ct能输出多少信息。具体的计算公式为

式(7)—式(8)中:σ为激活函数;xt为输入值;ht-1为隐藏层的最后一次输出值;Wxo为输出门和输入层之间的权重;Who为输入层和隐藏层之间的权重;bo为偏置向量。

经过对模型进行分析后,开始搭建基于LSTM神经网络的装备状态感知和预测模型。本预测模型包含一个LSTM神经网络层和一个全连接层,2层之间顺序连接。LSTM 层是该预测模型的核心,该层可接收经过模型输入数据格式处理后的装备历史状态信息数据,对其进行分析和结果预测;连接 LSTM层的下一层为一个全连接层,负责输出计算结果。首先设置LSTM神经网络层,包括输入数据维度设置、时间步长设置和循环神经网络结构中3个 sigmoid层和1个tanh层的神经元数量设置。LSTM神经网络属于有监督学习的神经网络,因此用于模型训练的样本需要同时包含特征和标签等2类数据。在装备的历史状态序列数据中只包含目的指标数据集和与其相关的指标数据集,并没有特征和标签的区分,需要按照有监督学习模型的样本需求将序列数据改造为特征与标签的一一对应形式。例如,依据搭建完成的模型训练要求,将装备历史状态信息数据中1-5 d的各项指标数据作为模型输入数据的特征,第6 d的目的指标数据作为标签;再以装备历史状态信息数据中第2～6 d的各项指标数据作为模型输入数据的特征,第7 d的目的指标数据作为标签,依次类推。模型的学习为连续的过程,通过连续学习样本数据中的特征和标签数据达到有监督的学习目的。

模型训练的目的为通过学习有标签的样本数据调整自身网络权重,使模型的计算结果能够最大限度的接近实际值,来减少偏差达到理想状态。在模型训练的过程中,不同网络权重值的设置使模型产生不同程度的偏差,可以采用一种损失函数来描述在设置不同网络权重情况下的不同预测偏差。本模型采用均方误差作为模型的损失函数,既有利于求导计算梯度,又可较好地反应优化过程中不同网络权重对应的不同模型损失情况。通过寻找模型设置的网络权重值与预测损失的关系,可以在优化过程中训练得出出使损失值最小的网络权重集合。由于Adam优化算法为每一个网络权重都保持独立的自适应的学习速率,具有很好的收敛效果,因此本模型采用Adam优化算法作为模型优化器。

模型采用迭代的方式进行预测,首先将装备的历史状态数据经过有监督学习模式转化后,输入模型进行结果预测,得出未来一天的目的指标数据并记录;然后将实际输出结果加入下一次模型训练的输入特征中,与其他输入特征共同作为训练样本再次预测未来一天的目的指标数据,依次类推,得到预测结果。应用LSTM神经网络对物联网的装备进行状态感知和预测,通过使用装备的历史目的状态指标数据和几个与其强相关性指标数据的主成分,经过LSTM神经网络的处理和分析,预测装备状态可能发生的变化。

2 装备状态评估模型

带有异常标签的数据在物联网装备的真实环境中是很少见。因此为了提高检测的准确性和定位未来可能发生的异常,采用无监督聚类算法对LSTM的结果进行分析。对装备的状态预测数据集进行聚类,筛选出异常数据,完成对装备状态的异常检测,实现装备状态的有效评估。

无监督学习聚类的算法非常多样,DBSCAN算法是一个优秀的基于密度的聚类算法,可以发现任意形状的聚类,能有效发现噪声点和离群点,十分适合于处理不规则的数据样本。因此我们采用DBSCAN算法进行数据集的聚类与异常数据标记。

DBSCAN 算法最重要的2个参数是Eps(半径阈值)和Minpts(密度阈值)。首先以每个数据点为圆心,计算以Eps为半径的圈包含数据点的个数为该点密度值。然后选取一个密度阈值Minpts,圈内点数小于Minpts的圆心点为低密度的点,而大于或等于Minpts的圆心点记为高密度的点。如果有一个高密度的点在另一个高密度的点的圈内,就把这2点连接起来,从而不断地串联数据点。如果有低密度的点在高密度的点的圈内,把它连到最近的高密度点上作为边界点。所有连到一起的点形成一个簇,不在任何簇内的低密度点即标记为异常点。如图2所示,点A、B、C、D、E、F均为高密度点,P、Q为边界点,M为异常点。取Minpts为3,以高密度点为圆心,Eps为半径的圆中包含的数据点数均大于等于3。

为了确定2个参数值,首先获取之前预处理后的装备历史状态信息数据集,其中含有N个数据点,先在该数据集中任意选择一个数据点,计算该点与数据集中其余点的欧氏距离D。在具体的实例分析中,DBSCAN算法中的2个参数Eps(半径阈值)和Minpts(密度阈值)需要另外确定。欧氏距离D计算公式为:

检查从数据点xi密度可达的所有点,形成聚类,将数据点xi称为核心点。如果数据点xj满足条件|Eps(xj)|=Minpts,则称为边界点,该状态数据集中的其余点称为异常点或者噪声点。

利用DBSCAN算法对LSTM神经网络输出的目的指标进行聚类,可以对LSTM神经网络输出的各个目的指标的发展趋势提供量化度量,能够更加准确地预测装备未来可能的状态情况,从而实现面向多维指标关联的装备状态的评估,为装备维修保障决策提供科学合理的客观分析依据。

3 仿真分析

实验平台是一台包括16个2.6 GHz Intel核心和NVIDIA Tesla V100 GPU的服务器,服务器的RAM为64 GB。

我们的异常数据集是通过传感器/射频识别/二维码等技术收集物联网通信装备不同时刻的状态信息组成,该数据集记录了60个物联网通信装备单元的数据,每个单元有3 000多条数据,包括通信数据平均往返时间(AvgRtt)、通信数据最短往返时间(MinRtt)、通信数据最长往返时间(MaxRtt)、装备处理通信数据的时间(Process)、功率(Power)、电压(U)、电流(I)、温度(Temp)、振动信息(Vibration)、加速度(Acceleration)。

3.1 关联分析与降维

在实验分析之前,首先对数据集进行去噪和归一化处理,然后计算物联网通信装备中指标之间的斯皮尔曼相关系数。相关分析的结果如图3所示。每个方格都标有系数的值,每个方格用不同的颜色标记。颜色越深,计算结果越接近1,代表2个指标具有很强的正相关性;颜色越浅,计算越接近-1,代表2个指标具有很强的负相关性。为使图片简明扼要,各指标均使用简称。

由图3可知,物联网通信装备中一些指标具有很强的相关性,例如通信数据平均往返时间(AvgRtt)和装备处理通信数据的时间(Process)间的相关系数为0.88。将通信数据平均往返时间(AvgRtt)作为实验的目的指标,把与其强相关的指标进行PCA降维,经过计算,相关系数矩阵的特征值、相应的特征向量以及贡献率列于表1。

从表1中可以看到,前3个主成分的累计贡献率达84.23%,因此可以考虑只取前面3个主成分,它们能够很好地概括原始变量。Fi=α1iX1+α2iX2+…+α9iX9, i=1,2,…,m。

3.2 目的指标预测

在本文中使用的数据集里,每个时间点的采样间隔为15 min,因此每天有96个时间点。我们选取前5 d的平均数据往返时间自身数据和上阶段降维后的3个相关联主成分数据作为LSTM神经网络的输入,输出第6 d的平均数据往返时间数据。随着时间窗的移动,会不断产生新的真实数据放入时间窗中。例如,将第2～6 d的数据作为神经网络的输入,输出第7 d的平均数据往返时间预测数据。将装备的历史数据分为训练集和测试集,利用训练集的数据多次训练LSTM模型,调整好参数之后,对测试集的目的指标进行预测。多维LSTM预测效果图如图4所示。

图4中,黑色实线代表平均数据往返时间的真实值,红色虚线代表平均数据往返时间的预测值。可以看出,基于多维指标关联分析的LSTM神经网络模型可以准确地预测装备指标的未来趋势。

为了进一步衡量装备感知模型的预测效果,我们在不同的物联网通信装备单元中,计算了几种常见模型——单指标LSTM(只使用目的指标自身的历史数据进行预测)、RNN循环神经网络的预测结果平均绝对百分比误差(mean absolute percentage error,MAPE),并与多维LSTM预测结果的MAPE值作对比。其中MAPE值表示预测结果与真实数据之间的偏差程度,较小 MAPE 代表较高的预测精度。

算法对比如图5所示,对比结果表明,多维LSTM模型具有更好的预测效果。这是因为装备中指标——平均数据往返时间,是具有潮汐效应等时序特征的长期时间序列,并且平均数据往返时间的变化趋势会受到与其强相关指标的影响。因此基于多维指标关联分析的LSTM神经网络模型能更好地感知预测平均数据往返时间的变化。

3.3 异常检测

利用基于多维指标关联分析的LSTM神经网络模型预测出装备指标——平均数据往返时间未来的400个数据点。然后针对实际应用中缺乏物联网通信装备异常标签的情况,我们使用无监督学习的基于密度空间聚类的DBSCAN算法,来对基于多维指标关联分析的LSTM模型预测出来的400个数据点进行聚类,将所有点划分到不同的簇中。最后将异常点用黑色圆圈进行标注,红色点表示正常的数据点。异常检测图如图6所示。

由图6可以看出,DBSCAN算法有效地分离了指标——平均数据往返时间在未来中的正常值和异常值。我们标记了目的指标在未来时间中的异常点,实现了物联网通信装备状态的评估。

4 结论

针对缺乏异常标签的物联网装备,本文中提出了一种基于多维指标关联的物联网装备异常预测方法。结论如下:

1) 构建基于多维指标关联分析的LSTM神经网络感知模型。通过计算斯皮尔曼系数来分析不同指标之间的相关性,使用主成分分析方法来将与目的检测指标相关性强的指标降维成几个保留原始数据重要特征的主成分,将目的检测指标历史数据和关联的主成分数据作为 LSTM神经网络的输入,LSTM神经网络的输出为目的检测指标的未来预测数据。实现了物联网装备状态的精准感知。

2) 构建基于密度空间聚类的状态评估模型。对基于多维指标关联分析的LSTM神经网络感知模型预测出的目的指标未来数据,利用DBSCAN聚类算法,进行了异常情况标记。实现了物联网装备状态的有效评估。

本文中提出的基于多维指标关联的物联网装备异常预测方法构建了物联网装备状态感知与评估模型,能够提前预测物联网装备状态的异常情况,并对未来一段时间内可能发生的异常情况进行标记,从而提高了物联网装备的安全性和服务质量。

[1] 陈兴玉,张红旗,黄魁,等.面向预测性维修的工程装备故障预测方法研究综述[J].智能制造,2022(2):50-55.

CHEN Xingyu,ZHANG Hongqi,HUANG Kui,et al.Research review of predictive maintenance methods for engineering equipment faults[J].Intelligent Manufacturing,2022(2):50-55.

[2] 郭忠义,李永华,李关辉,等.装备系统剩余使用寿命预测技术研究进展[J].南京航空航天大学学报,2022,54(3):341-364.

GUO Zhongyi,LI Yonghua,LI Guanhui,et al.Research progress on remaining useful life prediction techniques for equipment systems[J].Journal of Nanjing University of Aeronautics and Astronautics,2022,54(3):341-364.

[3] 赵爱罡,葛春,钟建强,等.智能分布式武器装备系统寿命估计方法研究[J].兵器装备工程学报,2022,43(9):53-59.

ZHAO Aigang,GE Chun,ZHONG Jianqiang,et al.Research on life estimation method of intelligent distributed weapon and equipment system[J].Journal of Ordnance Equipment Engineering,2022,43(9):53-59.

[4] YAN C,ZHANG Y K,ZHONG W Y,et al.A truncated SVD-based ARIMA model for multiple QoS prediction in mobile edge computing[J].Tsinghua Science and Technology,2021,27(2):315-324.

[5] CHEN Y,YU C H,LIU M L.Failure prediction of circular sawing machines based on condition evaluation and ARIMA model[J].Journal of Physics:Conference Series.IOP Publishing,2020,1544(1):012144.

[6] WEN J P,CHEN X,LI X H,et al.SOH prediction of lithium battery based on IC curve feature and BP neural network[J].Energy,2022,261:125234.

[7] LI X,DING Q,SUN J Q.Remaining useful life estimation in prognostics using deep convolution neural networks[J].Reliability Engineering &System Safety,2018,172:1-11.

[8] NUGROHO F,ROESTAM R.Online monitoring and analysis of lube oil degradation for gas turbine engine using recurrent neural network (RNN)[J].JISA (Jurnal Informatika dan Sains),2022,5(1):50-53.

[9] ZHOU Y Q,WANG J,ZHENG H F.The health status prediction of the wind turbine based on the anomaly analysis and the LSTM prediction[C]//Proc.of the 2020 3rd International Conference on Advanced Electronic Materials,Computers and Software Engineering (AEMCSE).IEEE,2020:666-671.

[10]SONG H,DAI J J,LUO L G,et al.Power transformer operating state prediction method based on an LSTM network[J].Energies,2018,11(4):914.

[11]毛文涛,田思雨,窦智,等.一种基于深度迁移学习的滚动轴承早期故障在线检测方法[J].自动化学报,2022,48(1):302-314.

MAO Wentao,TIAN Siyu,DOU Zhi,et al.A new deep transfer learning-based online detection method of rolling bearing early fault [J].Acta Automatica Sinica,2022,48(1):302-314.

[12]AYODEJI A,LIU Y K.Support vector ensemble for incipient fault diagnosis in nuclear plant components[J].Nuclear Engineering and Technology,2018,50(8):1306-1313.

[13]WANG H,PENG M J,HINES J W,et al.A hybrid fault diagnosis methodology with support vector machine and improved particle swarm optimization for nuclear power plants[J].ISA Transactions,2019,95:358-371.

[14]AHMED H O A,WONG M L D,NANDI A K.Intelligent condition monitoring method for bearing faults from highly compressed measurements using sparse over-complete features[J].Mechanical Systems and Signal Processing,2018,99:459-477.

[15]DEAC C,DEAC G C,PARPAL width=11,height=11,dpi=110

R C,et al.Vibration anomaly detection using deep neural network and convolutional neural network[J].International Journal of Modeling and Optimization,2021,11(1):19-28.