目前，效能评估常用的评估方法主要有ADC法、SEA法、指数法、层次分析法、网络分析法、物元分析法、专家调查法、模糊综合法、统计试验法等[1]。但是，这些经典成熟的评估方法基本都需要集中大批专家的智慧，需要充足的时间保证，以及大量的物力供应和财力支持。有学者提出采用神经网络模型进行效能评估，该方法有效解决以上问题。然而，单个神经网络模型往往都有鲁棒性差和泛化能力弱的缺陷，多模型集成可以克服缺陷、逼近完美，这就是集成模型的核心思想。
1990年，Hansen和Salamon提出通过训练多个神经网络，并将其结论进行简单合成，就能明显提高神经网络模型的泛化能力[2]。由于神经网络集成操作简单效果明显，大量学者开展了深入研究[3-10]，并且已经在分类、识别、定位、诊断、预测等很多领域得到成功应用[11-19]。尤其是在评估领域，神经网络集成也得到了广泛应用。刘小生等针对传统洪灾损失评估存在精度低、速度慢等问题，提出基于神经网络集成的洪灾损失快速评估模型[11]；闫瑞姣和尹四清针对微博用户特征，提出一种基于ReliefF的选择性集成学习的微博用户信用评估模型[12]，取得了较好的效果；陈为化等采用神经网络集成模型进行电力系统低电压风险快速评估[13]；孙大鑫等应用集成神经网络对航空维修差错风险进行了评估，减少了人为因素的影响，评估结果更为客观可信[14]。因此，为适应战时阵地工程效能评估快速准确的需要，本文引入神经网络集成，训练优选出多个不同类型的个体神经网络，共同预测评估阵地工程的综合效能。
1 神经网络集成概述
神经网络是一种不稳定的评估模型，初始权值、隐藏层数量及其神经元数量、训练数据集以及目标函数的微小变化都会引起评估结果的较大变化，即使神经网络具有相同的训练精度，其评估能力也是不同的。这些都给神经网络带来了巨大挑战，往往需要训练多个模型挑选出较好的神经网络，然而挑选的标准也很难确定。在训练集上最优的模型其评估能力并不一定好，因为模型会对训练数据产生过拟合；由测试集的误差判断得到的最优模型虽具有良好的评估能力，但其训练精度可能不高，而且评估结果的实际输出往往是未知的，这种方法在实际评估中往往不可行。若数据充分，抽取部分数据进行校验以挑选最优模型是比较理想的方式，但数据量较小时这种方法行不通。当然挑选最优模型的方式还有很多，但不论哪种方式，都要舍弃其他模型含有的信息。与其浪费其他模型的信息，不如将其集成。
神经网络集成是集成学习在神经网络多模型建立中的具体应用，是根据神经网络存在的问题提出的改进方法，其基本结构见图1。基于样本数据的神经网络评估模型，主要存在以下4个方面的问题：一是确定合适的神经网络模型，包括选择算法、设置参数等，过程复杂麻烦，操作耗时费力；二是随着问题复杂度增加，单一网络的隐含层神经元数目将增加很多，训练时间大为延长，必将造成训练困难；三是要达到理想的结果理论上需要大量甚至无限的数据，实际上神经网络的训练数据相当有限。单一神经网络很难充分反映客观事实，难以深入挖掘样本信息，容易造成训练精度不高的问题。如果过分追求训练精度又可能造成过拟合；四是神经网络是不够稳定的预测器，训练数据有较小的变化就会产生泛化能力不同的模型，对未知数据的评估结果将会有很大的差异，评估模型的精度和可靠性就无法保证。而神经网络集成就是通过挖掘多个单一神经网络的信息来改善神经网络的性能。它针对同一问题采用多个神经网络模型进行评估，在某一输入下的输出是由集成的多个网络的输出共同决定。神经网络集成提出的主要目的是为了解决单一网络存在的问题。比起单一神经网络，神经网络集成具有显著的优势：第一，能够处理更加复杂的评估问题；第二具有更强的鲁棒性和更好的执行力，即便集成中只有一个模型时也可以进行评估[8]。
图1 神经网络集成模型框图
一个优秀的集成模型中的个体既是精确的，又是有差异的，即单一个体应该是精确的，个体之间应该具有差异性。相同的个体建立集成没有意义，集成的重点在于个体网络之间的差异。个体网络生成的方法一般可分为三种策略：一是并行产生策略，通过方法上的差异使得个体具有差异性。二是串行产生策略，即下一个网络的训练参数由前一个网络的性能来决定。三是选择策略产生个体，即根据某一准则对个体的性能进行测试，从大量的网络中选出精确度高且差异性大的个体来构建集成模型[10]。
集成结论的目标是取长补短，合作共赢。当神经网络集成用于评估时，最简单常用的结论生成方法是投票法，包括绝对多数投票法(超过半数的个体网络评估结论相同，则该结论为最终结论)和相对多数投票法(评估结论相同的个体网络数目最多，则该结论为最终结论)。此外，还有动态加权法，阶次统计法和基于置信度的方法等[2]。
与个体网络相比，神经网络集成更能提高模型的精确性和鲁棒性，但也存在一定的问题。实际评估中，输入的数据往往有限且存在噪声，这就增加了集成模型学习训练的复杂性。一是从方法的实现上讲，如何建立精确性高而差异度大的个体仍是一个难题。二是利用经验数据建立评估模型，因数据量有限，得到的最优解并非真实的最优解，即便找到最优点也不能保证评估模型具有较好的泛化能力。三是当输入数据含有噪声时，神经网络集成模型也会对训练集产生过拟合，导致模型泛化能力变差。四是尚没有理论证明哪一种集成方法具有普遍适用性，而且神经网络集成具有更加复杂的“黑箱”性，都给实际评估带来一定困难。
2 基于神经网络集成的阵地工程效能评估
阵地工程是根据作战任务需要在阵地上构筑和设置的军事工程，是军队作战的依托，通常包括各种工事、障碍物及其他工程设施[19]。如何评估阵地工程的优劣？常用的方法是，分析影响阵地工程效能的主要因素，建立指标体系，然后通过综合评估得出结论。当积累了一定的历史评估数据时，如能找出评估指标与评估结果之间的关系，建立相应的模型，就可以对新的阵地工程进行效能评估。神经网络可以从历史数据出发寻找规律，利用这些规律对新的数据进行预测评估。同时，为提高神经网络模型的评估精度和泛化能力，更好地解决阵地工程效能评估问题，引入了神经网络集成的思想。神经网络集成对阵地工程进行评估主要有六步，即确定评估指标，收集历史数据，确定训练集和测试集，生成个体神经网络，神经网络集成和结果分析，流程如图2。评估过程中，需要重点解决3个问题：一是如何建立评估指标体系，二是如何确定训练样本和测试样本；三是如何生成并优选单个神经网络；四是如何将多个神经网络的评估结果进行集成。
图2 阵地工程效能评估流程框图
传统的阵地工程效能评价突出生存力，主要针对阵地工程的防护能力提出的要求，而对阵地工程保障战斗力发挥方面的能力考虑较少。信息化条件下，作战样式、作战理论、作战武器等都发生了深刻的变革，立足信息化战争的需要，形成与信息化作战理论和作战样式相适应的阵地工程体系，阵地工程效能评价体系也应作出相应调整。阵地工程的主要功能是为兵力、兵器提供防护，保障己方机动，阻滞或破坏敌方行动，更好地发挥己方作战效能。因此可将阵地工程整体效能以抗击力来描述，是指阵地工程保障有生力量、武器装备、技术器材等具有抵御敌杀伤、破坏和保持战术技术性能的能力。而抗击力从总体上又可分为抵抗力和打击力两个方面，其中抵抗力由抗火力打击、抗侦察监视、抗兵力突击3个方面的能力反映，打击力从保障火力发扬、保障兵力机动、保障信息攻击3个方面的能力反映。根据指标体系建立的原则和各指标的层次关系，可构建阵地工程效能评估指标体系，如图3所示。
图3 阵地工程效能评估指标体系框图
阵地工程效能评估样本由历史数据中得到，每个样本对应一组数据，其中六大底层指标的数据为评价因素，评估结果分别为优、良、中、差，为方便计算误差，将字符等级转换为数值等级，记为1、2、3、4。为保证模型的泛化性能，通常从评估结果为优、良、中、差的样本中随机抽取出相同数量的部分样本作为测试样本，剩下的样本作为训练样本。
借助matlab神经网络工具箱，由训练集独立训练出若干个神经网络模型，选出多个精度较高且差异性较大的个体网络，组合构成神经网络集成模型。
为保证个体网络的精度，通常通过设置不同的隐含层层数及其神经元个数以及选择不同的训练函数、传递函数和性能函数，训练出多个相同类型的个体网络，选择评估精度较高的个体；同时，为保证个体网络之间具有较大的差异性，一般选择训练不同网络类型的模型，比如采用BP神经网络和采用卷积神经网络训练的模型，其差异性一般都比较大。个体网络生成的流程如图4所示，具体步骤如下：
步骤1 数据准备。将收集到的历史数据规范化，一般规范到[Min,Max]区间，系统默认规范到[-1,1]区间。
步骤2 创建网络。以创建BP网络为例，设置隐含层层数及各层神经元数目，设置传递函数、训练函数和性能函数，调用newff函数创建BP神经网络，并调用init函数进行网络初始化。
步骤3 网络训练。设置最大训练步数、目标误差和学习速率，调用train函数训练网络。
步骤4 仿真评估。使用训练好的模型对测试样本进行仿真评估，统计测试样本的评估准确率。
步骤5 模型保存。重复步骤3、4，将评估准确率最高的模型保存待用。
步骤6 继续训练。返回步骤2设置不同参数，继续训练同类型不同结构的个体网络，达到规定的数目。
步骤7 模型优选。从训练好的网络中选择评估准确率最高的模型。本次共训练10个BP网络，其评估准确率见表1所示，选择评估准确率最高的3号网络作为下步网络集成的个体网络。
表1 相同类型的个体网络评估准确率
BP网络编号12345评估准确率/%6585957090BP网络编号678910评估准确率/%6575809075
步骤8 继续训练不同类型的网络。返回步骤2，调用不同类型的网络函数，直到训练出足够多的不同类型的网络，以测试样本的评估准确率为标准，优选出不同类型神经网络的最优个体。
由于个体网络的精度较高，评估正确率达到80%以上，一般情况下评估结论相同的模型应超过半数，因而采用绝对多数投票法，生成评估结果。由于训练过程中随机抽取训练样本，因此每次运行结果都会不同，但多次仿真测试的评估结果具有一定的统计意义。
3 实例分析
以假定条件下的合成旅阵地工程规划方案的效能评估为例，介绍基于神经网络集成的阵地工程效能评估模型。
收集合成旅阵地工程效能历史数据共45组，数据编号记为n，评估指标记为ti(i=1,2,…,6)评估结果记为g，见表2所示。从评估结果为优、良、中、差的样本中随机各取出5个样本共20个样本作为测试样本，剩下的25个样本作为训练样本。
表2 合成旅阵地工程效能评估历史数据
n123456789101112131415t110080679287806772604792672078t2100879380937272806047726020793t310089228910089677856446789221156t41008275921008266755841668217792t5100781008910089677856445610011989t610080808010080608060408080201260g优良中良优良中良差差中良差差中n161718192021222324252627282930t1402787523290856788908270756050t2403372804095878384937070755648t3333389676780843284909063805640t4332492823390827590928070806042t5332289783395759591968862785546t6402040608096837584958265826540g差差良中差优良中良优良中良差差n313233343536373839404142434445t1886850971150909557926090926292t2706230919030929075906890908085t3658732905443959269976695956797t4628027939023909080937596908293t5589521958443969570937097997883t6828050966530909068906099956088g中良差优中差优优中优中优优中良
由训练样本独立训练出若干个神经网络模型，选出9个精度较高且差异性较大的个体网络，组合构成神经网络集成模型，如表3所示，其中NNE代表神经网络集成，其余9个个体神经网络依次为卷积神经网络(CNN)、BP神经网络(BPNN)、自组织神经网络(SOFM)、径向基神经网络(RBFNN)、循环神经网络(RNN)、线性神经网络(LNN)、感知器神经网络(PNN)、随机神经网络(BMNN)。
100次仿真测试的结果完全正确，也就是基于神经网络简单集成的评估准确率达到了惊人的100%。某次仿真测试的评估结果见表4所示，做标记的位置所属个体网络对相应样本的评估结果出现差错，但神经网络集成模型的评估结果是完全正确的。这就说明单个网络的性能已经足够优秀，集成模型的性能便可趋近完美。当然，即使单个网络的评估精度不高，只要误差控制在允许的范围内，集成模型的评估准确率仍可达到令人满意的效果。此外，仿真测试的结果表明，集成模型的性能明显优于最优个体网络的性能，但是评估准确率达到100%的模型毕竟是少数，即便准确率达到过100%的模型评估不同的预测集，准确率也不一定好。为了取得更好的评估效果，进一步提高训练精度和评估能力，还可建立神经网络二次集成模型[20-22]。
表3 集成模型及其个体网络的精度
个体网络编号CNNBPNNSOFMRBFNNRNNLNNPNNBMNNFNNNNE个体网络精度80%95%85%90%85%90%80%85%90%100%
表4 某次仿真测试的评估结果
测试样本网络1网络2网络3网络4网络5网络6网络7网络8网络9网络101优优优优优良优优良优2良优良优优优优优优优3优优优良优优良优优优4优良优优优优良优优优5优优优优优优优良优优6良良良良良良良良良良7良良良良中良良良良良8优良中良良良良良良良9良良良良良良中良良良10良良良良良良良良良良11良中中中中中中良中中12中中中中中差中中中中13中中中中中中差中中中14中中中中差中中中中中15中中中中中中中中良中16差差中差差差差差差差17中差差差差差中差差差18差差差中差差差差差差19差差差差差差差差差差20差差差差中差差差差差
图4 个体网络生成流程框图
4 结论
基于神经网络集成的阵地工程评估模型，通过对历史数据内部规律的学习找出评估结果与评价因素的内在联系，可弱化指标权重确定中人为因素的影响；通过对历史数据的充分挖掘，减轻了过拟合程度，可以较小的运算代价显著提高模型的泛化能力。而且集成简单，评估快速，结果稳定，对于神经网络集成在评估领域中的推广和应用具有积极意义。
[1] 刘艳.信息化条件下指挥防护工程综合集成防护效能评估研究[D].南京：陆军工程大学,2016.
[2] HANSENL L K,SALAMON P.Neural Network Ensembles[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,1990,12(10):993-1001.
[3] TUMER K,GHOSH J.Error correlation and error reduction in ensemble classifiers[J].Connection Science,Special Issue on Combining Artificial Neural:Ensemble Approaches,1996,8(3/4):385-404.
[4] WU J X,ZHOU Z H， CHEN Z Q.Ensemble of GA Based Selective Neural Network Ensembles[C]//Proceedings of the 8th International Conference on Neural Information Proceeding (ICNIP01).[S.l.]:[s.n.],2001(3):1477-1482.
[5] YAO X,ISLAM MD M.Evolving artificial neural network ensembles[J].IEEE Computational Intelligence Magazine,2008,3(1):31-42.
[6] ZHOU Z H,WU J,TANG W.Ensembling neural networks:many could be better than all[J].Arificial Intelligence,2002,137(1/2):239-263.
[7] ZHOU Z H.Ensemble methods:Foundations and Algorithms[J].Boca Raton,FL：Chapman & Hall/CRC,2012.
[8] 施彦.群体智能预测与优化[M].北京：国防工业出版社,2012,8.
[9] 施彦,黄聪明,侯朝桢.基于改进的PSO算法的神经网络集成[J].复旦学报,2004,43(5):692-695.
[10] 周志华,陈世福.神经网络集成[J].计算机学报,2002(1):1-8.
[11] 刘小生,胡啸,王婷丽.基于神经网络集成的洪灾损失快速评估(英文)[J].中国有色金属学报(英文版),2014(8):2636-2641.
[12] 陈为化,江全元,曹一家.基于神经网络集成的电力系统低电压风险评估[J].电网技术,2006(17):14-18.
[13] 闫瑞姣,尹四清.选择性神经网络集成的微博用户信用评估模型[J].计算机工程与设计,2018，39(5):1478-1483.
[14] 孙大鑫,牛余宝,常浩.基于集成神经网络的航空维修差错风险评估模型[J].四川兵工学报,2009,30(8):86-88.
[15] PAL N R,PAL S,DAS J,et al.SOFM-MLP:A Hybrid Neural Network for Atmospheric Temperature Prediction[J].IEEE Translation on Geosience and Remote Sensing,2003,41(12):2783-2791.
[16] HAYASHIA Y,SETIONOB R.Combining neural network predictions for medical diagnosis[J].Computer in Biology and Medicine,2002,32:237-246.
[17] MCLIN R,SHAVLIK J W.Combining the predictions of multiple classifiers:Using competitive learning to initialize neural networks[C]//Proc the 14th International Joint Conference on Artificial Intelligence.Montreal,Canada,1995:524-530.
[18] 韩庆兰,梅运先.基于BP人工神经网络的物流配送中心选址决策[J].中国软科学,2004(6):140-143.
[19] 中国人民解放军军语[M].北京：军事科学院，2011.
[20] 施彦,黄聪明,侯朝桢.基于随机梯度法的选择性神经网络二次集成[J].计算机工程,2004,30(16):133-135.
[21] 施彦,黄聪明,侯朝桢.基于二次选择匹配的神经网络集成构造方法研究[J].复旦学报,2004,43(5):692-695.
[22] 施彦.改进的神经网络集成及应用研究[D].北京：北京理工大学,2005.