基于F-CSGRU的入侵检测半监督学习方法

马泽煊1,李 进1,岳韶华1,吴 暄1,吕启斌2

(1.空军工程大学 防空反导学院, 西安 710051; 2.军事科学院研究生院, 北京 100097)

摘要:现有的监督学习方法只能使用已标记样本对分类器进行训练,标签获取难度大、成本高,同时获得的样本易出现种类不平衡的情况,严重影响入侵检测模型的分析能力。为解决上述问题,提高入侵检测模型效果,提出了一种基于模糊-代价敏感门控循环单元(fuzzy-cost-sensitive gated recurrent unit,F-CSGRU)的入侵检测半监督学习方法。该方法使用半监督学习和代价敏感方法来提高入侵检测系统的分类器性能,同时提高对少数类样本的检测能力。模型将代价敏感与门控循环单元结合,为无标签样本生成标签,同时依据模糊熵对样本进行划分。将其中的低模糊熵样本合并到原始训练集中,对分类器进行再次训练。基于NSL-KDD和UNSW-NB15数据集进行了对比试验,结果表明,提出的模型对于上述数据集的准确率分别能够达到99.30%和84.53%,和经典的CNN-BiLSTM相比分别提升了0.08%和2.45%,对于少数类样本的检测准确率提高效果尤为显著。

关键词:半监督学习;网络入侵检测;代价敏感;模糊性;门控循环单元

0 引言

计算机和网络技术的快速发展,给人们的工作和生活带来了前所未有的方便与快捷,但随之而来的,是日益增多的网络入侵与攻击行为,它们通过网络对机构和用户的计算机进行入侵,从而达到破坏以及盈利的目的,对网络入侵行为进行检测已经刻不容缓。网络入侵检测系统作为一种集监视、检测和分析于一体的网络安全保护工具,能够对网络流量进行实时监控,并自动将网络流量区分为正常流量和恶意流量。近几年来,机器学习与深度学习已被广泛应用于网络安全与计算机防护领域。然而,现有的网络入侵检测技术大多为有监督学习,只能利用有标签的数据集对模型进行训练。但是在很多实际问题中,采集到的数据都不带有标签,且标签获取难度大、成本高。为了更好地利用这些数据,半监督学习技术应运而生,并逐渐成为网络入侵检测领域中的热点方向。

为提高网络入侵检测模型的性能,Xu等[1]提出了一种基于RNN的入侵检测系统,该模型使用GRU进行特征提取,同时使用多层感知器和Softmax分类器对网络入侵行为进行检测。我们使用KDD Cup-99和NSL-KDD数据集进行测试。实验结果表明,该方法整体检测率较高,但是对于少数攻击类的检测率偏低;Kasongo等[2]将信息增益(IG)与门控循环单元进行结合,提出一种IG-GRU-IDS方法。论文基于NSL-KDD数据集进行实验,结果表明,论文提出的方法具有较高的检测准确率,但是对于R2L和U2R攻击方面的检测效果较差;考虑到标签样本数量少、获得难度大,Ashfaq等[3]提出一种半监督学习方法,该方法使用具有随机权重的神经网络作为分类器对样本进行分类,同时依据模糊集对样本进行划分。论文能够较好的对无标签样本进行利用,但是所使用的分类器性能较差,导致整体效果不佳,同时对于U2R和R2L的检测准确率也偏低。

为解决上述问题,论文使用代价敏感方法增强模型对于少数类样本的判别能力;之后将其与门控循环单元相结合,从时间序列方面对特征进行提取,并为无标签样本生成标签;然后将模糊理论应用于半监督学习中,依据模糊熵对样本进行划分,选择低模糊熵样本对原始数据集进行补充,再次对模型进行训练;最后对损失函数和优化算法进行分析,选择最适合本模型的超参数,对模型整体性能进行提升。

1 模糊性和代价敏感

1.1 模糊性

模糊性最早由Zadeh在其著名的模糊集理论[4]中提出,它描述了存在于事件中的一种不精确性。这种不精确性既不能被精确定义,也不能用精确定义的点集合来表征。Zadeh还将事件的概率度量推广到模糊事件中,提出与模糊事件存在关联的各种不确定性都可以使用信息论中的熵理论来进行解释。De Luca等[5]认为模糊性是由模糊集描述的一种不确定性,并使用与香农信息熵较为相近的非概率熵对模糊性的定量度量进行了定义,具体如定理1所示。

定理1 论域X上的一个模糊集A的模糊度D(A)∈[0, 1]是指,对于∀xX,有

1) 当且仅当A(x)=0或1时,即A退化为经典集时,D(A)=0,模糊度最小。

2) 当A(x)=0.5时,D(A)=1,模糊度最大。

3) 对于论域X上的2个不同模糊集A1A2,若存在A1(x)≥A2(x)≥0.5或A1(x)≤A2(x)≤0.5,则有D(A1)≤D(A2)。

4) 当A2(x)=1-A1(x),∀xX时,D(A1)=D(A2)。

5) D(A1A2)+D(A1A2)=D(A1)+D(A2)。

定理1表明,在一个经典集合中,当其隶属度为0.5时,无法判断它是否属于某一类别,模糊性最强;当其隶属度等于0或1时,可以准确判断它与某一类别的隶属关系,此时不存在模糊性。

Chen[6]提出模糊集的模糊程度可以使用模糊熵进行表示,具体如定理2所示。

定理2 A为论域X={x1, x2, …, xn}上的模糊集,则A的模糊熵如式(1)所示。

(1)

其中,H(A)为A的模糊熵。

熵常被用来对一个系统或一段信息的不确定性进行度量。与熵的性质相同,模糊熵的数值越大,说明集合的模糊性越强,对结果进行判定的难度越大。论文将模糊熵应用到半监督学习中,作为生成标签样本的置信度,选择模糊熵较低的样本对数据集进行补充,提高模型检测效能。

1.2 代价敏感

代价敏感主要用于对数据不平衡问题进行解决,它对不同的分类错误采用不同的惩罚力度,通过将分类成本最小化,达到提升少数类样本判别准确率的目标[7]。代价矩阵作为代价敏感方法的主要表示形式,常被用来对错误分类的惩罚项进行表示。因此代价敏感方法应用成功与否关键在于代价矩阵的构建是否合理。实验表明,在很多应用领域,使用代价敏感方法都能够对模型的效果进行提升[8]

代价敏感方法的目标是训练一个分类器h:XY,对采集到的数据进行分类,同时产生的期望代价最小,即:

(2)

式中:D表示样本的分布;E表示期望代价;h(x)表示x的经验风险值;costyh(x)表示某个类别的分类代价值。

2 基于F-CSGRU的入侵检测系统半监督学习方法

论文基于上述方法,提出一种基于F-CSGRU的入侵检测半监督学习方法。首先,将训练集传入CSGRU网络中进行训练;之后,将无标签数据传入训练好的CSGRU网络,生成标签;然后依据模糊熵对生成标签的样本进行划分;最后将低模糊熵样本与训练集中原始数据一同传入CSGRU中再次进行训练,并使用测试集对模型训练效果进行验证。入侵检测过程共包括数据预处理、特征提取与训练、标签生成及样本选择、第二次特征提取与训练、测试5个阶段,模型结构如图1所示。

图1 F-CSGRU模型结构图

Fig.1 Structure diagram of F-CSGRU model

2.1 数据预处理

首先,采用标签编码方式将NSL-KDD、UNSW-NB15数据集中的字符串型特征转换成数值型,之后进行标准归一化处理。论文使用Min-Max归一化方法对数值进行归一化,公式如式(3)所示。

(3)

式中:x为将要归一化的数值;Mmin为该维的最小数值;Mmax为该维的最大数值。

2.2 特征提取与训练阶段

在特征提取与训练阶段,论文使用两层GRU对样本的时序特征进行提取[9-14],并使用Nadam优化算法对神经网络进行优化,同时设置Dropout层对训练过程中出现的过拟合问题进行一定程度的缓解,最后传入Softmax分类器完成分类。由于GRU没有解决数据集样本不平衡问题的能力,对于每个种类的样本,其分类错误的代价是一样的,所以在入侵检测过程中,模型对于数据集中的少数类样本的检测准确率偏低。为了解决这个问题,论文提出在标准损失函数中增加一个辅助的代价敏感损失项,从而将代价敏感约束引入到模型中。这一步骤赋予了少数类样本更大的错误分类代价,从而能够在后续训练过程中取得更好的检测效果。论文提出的CSGRU网络结构如图2所示。

图2 CSGRU网络结构

Fig.2 The network structure of CSGRU

论文使用交叉熵标准损失函数作为基准函数,公式如式(4)所示。

(4)

标准损失函数对标签空间L中的任何标签都不敏感。这意味着对于一个特定的例子(x,yj),如果在L\{yj}上应用任何置换,则产生的错误将保持不变。为了改善这一问题,论文提出一个成本矩阵M,它在时,进行预测的成本为零,但是随着距离的增加,成本也逐渐增加。

实现这种增加的标签相关惩罚的一种简单方法是,在M的每一行中编码这些代价,然后计算的标量积,其中M的行对应于y,例如:然而,由于网络入侵数据样本的高度不平衡性,简单地对某一类进行取最小化操作将导致模型停留在局部极小值中,并将绝大多数样本判断为多数类种类。因此,论文提出将CS项与基本损失函数进行结合,如式(5)所示。

(5)

其中,M(2)为基于L2的基本成本矩阵,它能够较好地满足最大化二次加权kappa得分的目标。

2.3 标签生成及样本选择阶段

在标签生成及样本选择阶段,首先将无标签数据集传入训练好的CSGRU网络中,为样本生成相对应的标签。之后依据模糊熵将样本划分为低模糊熵样本和高模糊熵样本。最后将低模糊熵样本与原有数据集结合,再次对CSGRU网络进行训练。模型训练过程如算法1所示。

算法1 基于F-CSGRU的半监督学习算法

输入:

Train:训练集(xi,yi|1≤iN)

Unlabel:无标签数据集

Test:测试集

网络模型:CSGRU

分类器:Softmax

输出:

TestAccuracy<malignmark/>:测试准确率

流程:

CSGRU′=CSGRU(Train)

生成CSGRU′(Unlabel)

CSGRU′(Unlabel)中获取每一个无标签样本的隶属度向量U

计算Unlabel中每一个样本的模糊熵Fe(U)

将样本划分为低模糊熵样本Felow和高模糊熵样本Fehigh

Trainnew=Train+Felow

CSGRU″=CSGRU′(Trainnew)

生成CSGRU″(Test)

研究发现,模糊性可以与分类器的输出产生关联。许多分类器具有类似于模糊向量的输出,其中每个向量的分量表示测试样本属于特定类C的隶属度[15-18]。对于给定的训练集这些样本的模糊矩阵代表每个样本属于C类的隶属度。因此,可以用隶属度矩阵U=(Uij)(C×N)来表示。隶属度矩阵中的元素必须遵循以下属性。

(6)

其中, μij=μi(xj)表示第j个样本xj属于特定类i的隶属度。

当分类器完成训练时,可以得到其隶属度矩阵U。对于第j个样本xj,经过训练的分类器将给出一个表示为模糊集μj=(μ1j,μ2j,…μcj)T的输出向量[19]。依据定理2,输出向量的模糊熵可通过式(7)获得。

(7)

其中,U=(μij)c×Nc类的N个训练样本上的分类器的隶属度矩阵。

2.4 第二次特征提取与训练阶段

在第二次特征提取与训练阶段,主要步骤与前一阶段相同。将低模糊熵样本和训练集样本一起传入CSGRU网络中,再次进行特征提取与训练,获得训练好的网络模型。

2.5 测试阶段

模型训练完成后,使用训练好的模型对测试集进行分类。为了确保测试结果的可信度,本文使用k折交叉验证方法对模型进行测试。本文使用Softmax函数来计算分类的结果概率,并将其与原始标签进行比较。Softmax的计算公式如式(8)所示。

(8)

3 实验和结果分析

3.1 实验设置

为了测试基于F-CSGRU的入侵检测半监督学习方法的性能,论文设计以下实验。

实验1:模型性能分析实验

实验2:模型消融实验

实验3:不同模糊组加入数据集对比

实验4:不同分类算法对比

实验5:与传统入侵检测方法的比较

实验6:与现有入侵检测模型的比较

本实验环境为64位Windows 10操作系统的TensorFlow学习框架,计算机配置为AMD Ryzen 9 5900HX with Radeon Graphics 3.30 GHz,32GB RAM。

通过使用贝叶斯优化算法对模型参数进行自动寻优,确定模型参数设置如表1所示。

表1 模型参数设置

Table 1 Model parameter setting

模型参数参数设置Batch size1 024Losscategorical_crossentropyOptimizerNadamOptimizerlr0.001GRU1/264/128Dropout0.5

3.2 数据集和实验评价指标

论文中提出的模型在2个数据集上进行评估:NSL-KDD和UNSW-NB15数据集。

NSL-KDD数据集由Tavallaee等人在2009年对KDD99进行改进得到,消除了KDD99数据集中的重复实例,能够更加客观的对模型的检测准确率进行反映[20],NSL-KDD数据集共包含DoS、Probe、R2L和U2R4种攻击类型以及41个属性,但其中的数据量极不平衡,攻击实例数量远远低于正常实例的数量,且R2L和U2R攻击分别只有995和52个。

UNSW-NB15数据集由澳大利亚网络安全中心的网络范围实验室创建。该数据集相较于NSL-KDD包含攻击种类更多,分别为Fuzzers,Analysis,Backdoor,DoS,Exploits,Generic,Reconnaissance,Shellcode和Worms。同样,该数据集也存在数据不平衡的问题,攻击实例数据的数量远远小于正常实例数据的数量。

NSL-KDD数据集的训练集种类分布情况如图3所示。UNSW-NB15数据集的分布情况如图4所示。

图3 NSL-KDD训练集种类分布

Fig.3 Type distribution of NSL-KDD training set

图4 UNSW-NB15训练集种类分布图

Fig.4 Type distribution of UNSW-NB15 training set

对比实验使用分类准确率(Acc)、精确率(Pre)、召回率(Rec)、特异度(Spe)和Fβ值对模型分类效果进行判断。分类混淆矩阵定义如表2所示。

表2 分类混淆矩阵定义

Table 2 Definition of classification confusion matrix

预测正常异常实际正常TPFN异常FPTN

依据表2,得到上述5个评价标准的计算公式分别如式(9)—式(13)所示。

(9)

(10)

(11)

(12)

(13)

式(13)中,通常β取1。

3.3 实验结果和分析

3.3.1 性能分析实验

为验证论文提出的模型对于网络入侵行为的检测效果,本节对基于F-CSGRU的入侵检测半监督学习方法设置性能分析实验。

模型在NSL-KDD和UNSW-NB15数据集上的检测效果分别如图5和图6所示。

图5 NSL-KDD性能分析雷达图

Fig.5 Radar chart of NSL-KDD performance analysis

图6 UNSW-NB15性能分析雷达图

Fig.6 Radar chart of UNSW-NB15 performance analysis

由图5和图6可知,模型的各项性能指标均能够取得较好的成绩。其中,使用论文模型对NSL-KDD数据集进行多分类,得到最佳的准确率为99.30%;UNSW-NB15数据集得到的多分类最佳准确率为84.53%。说明模型能够很好的对网络入侵攻击行为的种类进行区分,从而获得较高的检测准确率以及较好的检测效果。

各种类检出率分别如图7和图8所示。

由图7和图8可知,论文提出的模型能够较为准确的识别出两个数据集中的正常以及绝大多数攻击类别,对于少数类攻击类型的识别率也能够达到较高的标准,说明论文提出的代价敏感以及半监督学习方法,在很大程度上缓解了类不平衡问题产生的影响,从而提升整体的检测效果。

图7 NSL-KDD种类检出率雷达图

Fig.7 Radar chart of NSL-KDD type detection rate

图8 UNSW-NB15种类检出率雷达图

Fig.8 Radar chart of UNSW-NB15 type detection rate

3.3.2 消融实验

为验证论文提出的代价敏感和半监督学习方法能够提升模型对于少数类样本的检测效果,本节设置模型消融实验。

在相同实验条件下,分别使用GRU、F-GRU、CSGRU以及本文模型在NSL-KDD数据集上进行对比,检测各个模型对于该数据集中各个种类的检出率,检测结果如表3所示。

表3 消融实验各种类检出率

Table 3 Ablation experiment detection rate of various types

算法样本类型NormalDoSProbeU2RR2LGRU94.6588.2472.9146.8151.97F-GRU98.5495.6088.1572.2075.13CSGRU96.3194.1881.2754.3367.10本文模型99.6896.0190.1276.3580.26

由表3可知,论文提出的代价敏感和半监督学习方法对于少数类样本检测率的提升都起到了比较显著的作用。原因在于,将代价敏感与GRU网络相结合,可以增强网络对少数类样本的分类准确率,且不容易陷入局部最优。通过这样训练完成的网络,对于少数类样本的检测准确率更高。之后进行半监督学习,即将无标签样本输入到网络中时,网络对于少数类样本生成标签的准确度也会更高。同时使用模糊熵作为评价指标对样本进行筛选时,选取到的少数类样本相较于多数类样本的比重也会更大,从而在新的数据集中,少数类样本的比重就会更高。所以论文将两者结合使用,提高模型的检验效果。

3.3.3 不同模糊组加入数据集对比实验

为验证在训练集中加入低模糊熵样本,能够使模型取得最好的检测效果,本节设置不同模糊组加入数据集对比实验。

在相同实验条件下,按照相同的步骤分别向训练集中不加入样本、加入全部样本、只加入高模糊熵样本和只加入低模糊熵样本对模型进行训练,对效果进行检验,检验结果如表4和表5所示。

表4 NSL-KDD数据集加入模糊组比较

Table 4 Comparison of NSL-KDD dataset with fuzzy group

数据集评价指标AccPreRecSpeFβ不加入样本99.1199.2098.8998.8099.04加入全部样本99.1899.2599.1498.9399.19高模糊熵样本98.9199.0398.7198.5098.87低模糊熵样本99.3099.3699.2599.2399.31

表5 UNSW-NB15数据集加入模糊组比较

Table 5 Comparison of UNSW-NB15 dataset with fuzzy group

数据集评价指标AccPreRecSpeFβ不加入样本83.7583.8983.6183.3483.75加入全部样本84.0784.1583.9883.9184.06高模糊熵样本83.6083.7183.4983.4083.60低模糊熵样本84.5384.5784.4784.4084.52

由表4和表5可知,在数据集中仅加入低模糊熵样本,模型的各项指标所获得的效果最好。原因在于,分类器模糊熵的最合理的定义为整个样本空间的平均模糊熵,包括训练样本和不可见的测试样本。然而,无标签样本的模糊性通常是未知的,对于任何有监督学习问题,都有一个公认的假设,即训练样本的分布与样本在整个空间中的分布相同。结合式7,可以得出结论,模糊熵较低的样本表示其对于某一种类的隶属性质较明显,分类准确度较高;模糊熵较高的样本则意味着更大的误分类风险。所以论文只选择低模糊熵样本与数据集结合对模型进行再次训练。

3.3.4 不同分类方法对比实验

为验证GRU网络对于网络入侵行为的分类能够取得更优的效果,本节设置分类方法对比实验。

在相同实验条件下,按照相同的训练步骤分别对RF、DNN、RNN以及论文中使用的GRU进行训练,对不同算法的入侵检测效果进行检验,检验结果如表6和表7所示。

表6 NSL-KDD数据集分类算法比较

Table 6 Comparison of classification algorithms on NSL-KDD dataset

算法评价指标AccPreRecSpeFβF-CSRF91.7491.9789.7189.1390.82F-CSDNN94.1194.5393.9693.8794.24F-CSRNN99.1799.2198.8498.7599.02本文模型99.3099.3699.2599.2399.31

表7 UNSW-NB15数据集分类算法比较

Table 7 Comparison of classification algorithms on UNSW-NB15 dataset

算法评价指标AccPreRecSpeFβF-CSRF81.0081.7480.8780.7181.30F-CSDNN83.7583.8683.6183.4983.73F-CSRNN84.2184.3083.9783.8984.13本文模型84.5384.5784.4784.4084.52

由表6和表7可知,论文提出的F-CSGRU模型在准确率、精确率、召回率、特异度以及Fβ值上均高于其他检测方法,取得了最佳的检验效果,证明了GRU对于网络入侵检测问题具有特定的优势。原因在于,网络流量数据具有明显的时间序列特性,RNN和GRU所具备的时序处理能力能够对长时间序列数据进行更深层次的特征提取,因此使用该类方法处理网络入侵检测问题能够取得很好的效果。而RNN对于长时间序列数据的处理能力要远远不如GRU,所以论文使用GRU对入侵行为进行检测。

3.3.5 传统的入侵检测方法对比实验

为验证基于F-CSGRU的入侵检测半监督学习方法相较于传统入侵检测方法能够取得更好的效果,本节设置传统的入侵检测方法对比实验。

在相同实验条件下,将传统的入侵检测方法,如决策树(DT)、随机森林(RF)、K均值聚类算法(K-means)、支持向量机(SVM)以及长短期记忆网络(LSTM)算法分别应用到NSL-KDD以及UNSW-NB15数据集上进行实验,其性能表现如表8和表9所示。

表8 NSL-KDD数据集分类效果比较

Table 8 Comparison of classification effects of NSL-KDD datasets

算法评价指标AccPreRecSpeFβDT71.9874.5271.9271.3773.22RF75.4176.0074.9374.1075.46K-means78.5679.3478.0177.7378.67SVM76.0777.6175.3175.1276.44LSTM92.5393.2291.7591.2192.48本文模型99.3099.3699.2599.2399.31

表9 UNSW-NB15数据集多分类比较

Table 9 Comparison of multi-classification on UNSW-NB15 datasets

算法评价指标AccPreRecSpeFβDT60.9463.3762.1659.8662.76RF67.3167.9566.9465.7367.44K-means70.9372.4270.9170.5271.23SVM74.5275.4773.3173.1174.37LSTM80.1180.5979.9179.8880.25本文模型84.5384.5784.4784.4084.52

由表8和表9可知,论文提出的模型与传统的入侵检测方法相比,检测准确率获得了大幅度的提升,整体检测效果也达到了最佳水平。原因在于与决策树等传统机器学习算法相比,论文模型使用深度学习方法,能够自行对数据的深层次特征进行提取,解决了网络数据量大,机器学习特征提取困难的问题;与LSTM这类传统深度学习算法相比,论文模型使用模糊熵作为判定条件进行半监督学习,为无标签数据生成可信度较高的标签,补充数据集,弥补了监督学习方法标签获取困难,部分种类样本量不足的问题;同时使用代价敏感方法,增大模型在训练过程中对少数类样本分类错误的成本,降低误检率,也在很大程度上改善了样本不平衡问题对检测效果产生的影响。

3.3.6 现有的入侵检测系统对比试验

为进一步验证基于F-CSGRU的入侵检测半监督学习方法的综合性能,本节设置性能对比实验。

在相同实验条件下,对现有文献中检测效果优越的模型,如CNN-BiLSTM[21]、SSAE-LSTM[22]、CWGAN-DNN以及AE-CGAN-RF算法根据其论文描述以及参数设置进行模型复现,并分别应用到NSL-KDD以及UNSW-NB15数据集上进行实验,其性能表现如表10和表11所示。

表10 NSL-KDD数据集多分类比较

Table 10 Comparison of multi-classification on NSL-KDD dataset

算法评价指标AccPreRecSpeFβCNN-BiLSTM99.2299.1899.1499.0799.15SSAE-LSTM97.6397.9197.2197.1097.56CWGAN-DNN98.1399.0397.9197.7398.46AE-CGAN-RF98.5398.6798.3198.1298.49本文模型99.3099.3699.2599.2399.31

表11 UNSW-NB15数据集多分类比较

Table 11 Comparison of multi-classification on UNSW-NB15 dataset

算法评价指标AccPreRecSpeFβCNN-BiLSTM82.0882.6880.0079.8681.32SSAE-LSTM82.3183.6581.9481.7382.78CWGAN-DNN82.6182.9582.1181.9782.53AE-CGAN-RF81.2483.4780.3180.1181.86本文模型84.5384.5784.4784.4084.52

由表10和表11可知,论文提出的模型在所有指标上取得的检测效果均为最佳。原因在于与CNN-BiLSTM和SSAE-LSTM相比,论文模型使用代价敏感方法增大对少数类样本识别错误的成本,同时使用半监督方法对数据集进行补充,缓解了数据集的类不平衡问题对检测结果带来的影响,从而能够获得更好的检测效果。与CWGAN-DNN和AE-CGAN-RF相比,论文模型使用GRU进行特征提取与分类,能够从时间序列层面对数据特征进行更为深入全面的提取,从而得到的多分类效果更好。

4 结论

1) 论文提出一种基于F-CSGRU的入侵半监督学习方法。该方法将代价敏感与门控循环单元相结合,同时以模糊熵作为判定条件,进行半监督学习,在很大程度上改善了入侵检测领域标签获取难度大、成本高,且获得的样本易出现种类不平衡的问题。

2) 实验表明,论文提出的模型在NSL-KDD和UNSW-NB15数据集上的准确率能够达到99.30%和84.53%,和传统的LSTM相比分别提升了6.77%和4.42%,同时对于少数类样本的检出率也有较大提升。

3) 目前无标签数据的来源较为单一,导致论文提出的模型在UNSW-NB15数据集上的准确率仍存在较大的提升空间。下一步将重点针对这一不足之处,对入侵行为的获取以及转变方法进行研究,寻找提高检测准确率的方法。

参考文献:

[1]XU C,SHEN J,DU X,et al.An intrusion detection system using a deep neural network with gated recurrent units[J].IEEE Access,2018,6:48697-48707.

[2]KASONGO M S,SUN Y.A Gated Recurrent Unit based Intrusion Detection for SCADA Networks[C]//2021 6th International Conference on Computing,Communication and Security (ICCCS).IEEE,2021:1-6.

[3]ASHFAQ R A R,WANG X Z,HUANG J Z,et al.Fuzziness based semi-supervised learning approach for intrusion detection system[J].Information sciences,2017,378:484-497.

[4]ZADEH L A.Probability measures of fuzzy events[J].Journal of mathematical analysis and applications,1968,23(2):421-427.

[5]DE LUCA A,TERMINI S.A definition of a nonprobabilistic entropy in the setting of fuzzy sets theory[M]//Readings in Fuzzy Sets for Intelligent Systems.Morgan Kaufmann,1993:197-202.

[6]CHEN W T,WANG Z Z,XIE H B,et al.Characterization of Surface EMG Signal Based on Fuzzy Entropy[J].IEEE Transactions on Neural Systems and Rehabilitation Engineering,2000,15(2):266-272.

[7]吴雨茜,王俊丽,杨丽,等.代价敏感深度学习方法研究综述[J].计算机科学,2019,46(5):1-12.

WU Yuqian,WANG Junli,YANG Li,et al A review of cost sensitive deep learning methods[J].Computer science,2019,46(5):1-12.

[8]ZHANG G,PORIKLI F,SUN H,et al.Cost-sensitive joint feature and dictionary learning for face recognition[J].Neurocomputing,2020,391:177-188.

[9]FENG R.Uncertainty analysis in well log classification by Bayesian long short-term memory networks[J].Journal of Petroleum Science and Engineering,2021.205.

[10]YAN X,SHI Z M,WANG G C,et al.Detection of possible hydrological precursor anomalies using long short-term memory:a case study of the 1996 Lijiang earthquake[J].Journal of Hydrology,2021.126369.

[11]AZAM R,MUHAMMAD J S,SHAHID M A.Machine and deep learning based comparative analysis using hybrid approaches for intrusion detection system[C]//Proc.of the 3rd International Conference on Advancements in Computational Sciences,2020.

[12]ALTHUBITI S A,JONES E M,ROY K.LSTM for anomaly-based network intrusion detection[C]//2018 28th International Telecommunication Networks and Applications Conference (ITNAC).2018:IEEE.

[13]YAN B,HAN G.LA-GRU:building combined intrusion detection model based on imbalanced learning and gated recurrent unit neural network[J].Security and Communication Networks,2018.DOI:10.1155/2018/6026878.

[14]KAMAI A,ABULAISH M.CAT-BiGRU:convolution and attention with bi-directional gated recurrent unit for self-deprecating sarcasm detection[J].Cognitive Computation,2021:1-19.

[15]KELLER J M,GRAY M R,GIVENS J A.A fuzzy k-nearest neighbor algorithm[J].IEEE Transactions on Systems,Man,and Cybernetics,1985 (4):580-585.

[16]LEE C,LANDGREBE D A.Decision boundary feature extraction for neural networks[J].IEEE Transactions on Neural Networks,1997,8(1):75-83.

[17]XIE J,HONE K,XIE W,et al.Extending twin support vector machine classifier for multi-category classification problems[J].Intelligent Data Analysis,2013,17(4):649-664.

[18]YOU Z H,YU J Z,ZHU L,et al.A MapReduce based parallel SVM for large-scale predicting protein-protein interactions[J].Neurocomputing,2014,145:37-43.

[19]YUAN Y,SHAW M J.Induction of fuzzy decision trees[J].Fuzzy Sets and systems,1995,69(2):125-139.

[20]SARIKA C,NISHTHA K.Analysis of KDD-Cup’99,NSL-KDD and UNSW-NB15 datasets using deep learning in IoT[J].Procedia Computer Science,2020.167.

[21]SINHA J,MANOLLAS M.Efficient deep CNN-BILSTM model for network intrusion detection[C]//Proceedings of the 2020 3rd International Conference on Artificial Intelligence and Pattern Recognition.2020:223-231.

[22]LIN Y,WANG J,TU Y,et al.Time-related network intrusion detection model:a deep learning method[C]//2019 IEEE Global Communications Conference (GLOBECOM).IEEE,2019:1-6.

Semi-supervised learning methods for intrusion detection based on F-CSGRU

MA Zexuan1, LI Jin1, YUE Shaohua1, WU Xuan1, LYU Qibin2

(1.College of Air and Missile Defense, Air Force Engineering University, Xi’an 710051, China; 2.Graduate School, Academy of Military Science, Beijing 100097, China)

AbstractThe existing supervised learning methods can only use labeled samples to train the classifier, which is difficult and costly to obtain labels. At the same time, the obtained samples are prone to sample class imbalance, which seriously affects the analysis ability of intrusion detection models. In order to solve the above problems and improve the effect of the intrusion detection model, this paper proposes a semi-supervised learning method of intrusion detection based on fuzzy-cost sensitive gated recurrent unit (F-CSGRU). This method uses semi-supervised learning and cost sensitive methods to improve the classifier performance of the intrusion detection system, and improve the detection ability of samples of less common classes. The model combines cost sensitivity with gating cycle units to generate labels for unlabeled samples, and divides the samples according to fuzzy entropy, in which low fuzzy entropy samples are merged into the original training set to train the classifier again. Based on NSL-KDD and UNSW-NB15 data sets, the paper conducts a comparative test. The results show that the accuracy of the model proposed in the paper to the above data sets can reach 99.30% and 84.53% respectively, and, compared with the classic CNN-BiLSTM, the accuracy rates improve by 0.08% and 2.45% respectively. The improvement effect is particularly significant for the detection accuracy of samples of less common classes.

Key wordssemi-supervised learning; network intrusion detection; cost sensitive; fuzziness; gated recurrent unit

收稿日期:2022-07-18;修回日期:2022-08-22

基金项目:(61703426)

作者简介:马泽煊(1998—),男,硕士研究生,E-mail:840075285@qq.com。

通信作者:岳韶华(1968—),女,硕士,副教授,硕士生导师,E-mail:543485787@qq.com。

doi:10.11809/bqzbgcxb2023.05.037

本文引用格式:马泽煊,李进,岳韶华,等.基于F-CSGRU的入侵检测半监督学习方法[J].兵器装备工程学报,2023,44(5):262-270.

Citation format:MA Zexuan, LI Jin, YUE Shaohua, et al.Semi-supervised learning methods for intrusion detection based on F-CSGRU[J].Journal of Ordnance Equipment Engineering,2023,44(5):262-270.

中图分类号:TP393

文献标识码:A

文章编号:2096-2304(2023)05-0262-09

科学编辑 李声飞(中国西南电子技术研究所高级工程师)责任编辑 胡君德