1 引言
随着人工智能技术在各行各业加速渗透，人工智能技术在军、民领域都有众多应用，为了衡量一套具有智能化功能的系统/设备的智能化水平，即其智能化程度处于什么阶段，许多行业的研究人员都针对各自研究的领域特征，提出了相应的智能化分级标准，用于判定该领域内系统/设备的智能化发展水平。
在民用领域，澳大利亚的iOmniscient公司作为世界知名的智能监控供应商之一，率先在视频监控领域建立了一套视频监控系统的智能IQ评级系统，从智能视频监控系统检测并获取目标的信息量、适用场景的复杂度等方面将系统分为7个等级，为衡量视频监控系统的智能化水平提供了一个等级评估的参考模型。针对智能音箱，中科院团队从语音识别能力、自然语言理解能力和内容推荐算法性能3个角度来评估其智能化水平。
在军事领域，美国国家标准研究院提出并建立针对地面无人平台分类和评估的无人系统自主级别(ALFUS)框架，从感知、规划、运动控制、行为、学习五个方面将系统的自主性能力分为10个等级；美空军在《自主地平线-通往未来的道路(2015)》报告中考虑到系统实现辅助执行、态势感知支持、辅助决策和监管控制等任务的难易程度不同，提出将系统自主性根据系统功能的难易划分为6个等级，介于全手工和全自主之间。
然而，上述研究本质都是基于系统静态特征构建以定性分析为主的等级评估模型，这类模型根据系统具备的功能、适用的范围、采用的机制等静态特征，判定系统所处的等级，评估粒度较粗，且难以支撑结合系统在实际运行中的效果，做出基于效能的评估。针对上述问题，我们提出基于深度双基点模糊推理的系统智能化水平评估法，在智能化等级模型的基础上，进一步对系统智能化水平给出更加细粒度的评价和更加直观的对比分析。
首先给出智能化水平评估的问题定义，其次，基于国内外智能化评估研究，给出系统智能化评估指标体系，进一步，介绍基于深度双基点模糊推理的系统智能化水平评估方法，最后，基于2个案例对该评估方法的适用性及泛用性进行评估。
2 问题定义
为研究智能系统评估方法，对于待评价对象，构建与其领域特点相适应的智能化水平评估指标体系，结合相关领域的专家知识，评估该对象的智能化水平。下面，首先介绍一些相关的概念及符号表示，随后给出完整的问题定义。
待评价对象(S)：现有的许多的智能化产品，例如智能音箱、智能化音响、智能化信息系统[15-16]等。
智能化水平评估指标体系(EIS)：给定S，存在诸多因素影响其智能化水平，这些因素又可按照维度或层级不同进行划分，最终形成一个智能化水平评估指标体系，如图 1所示，其中每个指标的取值范围存在一定的限制。
图1 智能化水平评估指标体系抽象表示
Fig.1 Abstract representation of intelligence level evaluation index system
专家知识(K)：给定S及EIS，相关领域专家可根据其经验给出一些深层见解，这有助于对智能化水平的评估。
智能化水平评估模型(F)：对给定S及EIS，结合K，给出智能化水平评估结果。
其完整的问题定义可表示为
F(S|EIS,K)→Ψ
其中，Ψ为S所有可能的智能化水平集合。
3 系统智能化评估指标体系
根据智能化系统的特征，从功能维度和技术维度两方面选取指标，构建系统智能化水平的评估指标体系，如图2所示。
图2 系统智能化评估指标体系
Fig.2 System intelligence evaluation index system
其中，自主性主要是从功能维度出发，评价系统在场景感知、自主决策、人机交互等方面的智能化水平。适应性从人工智能技术特点出发，重点从鲁棒性和可解释性2个方面分析系统的适应性水平。学习性同样侧重从技术特点出发，重点从预先学习、自主学习、迁移学习3个方面分析系统的学习性能力。
4 深度TOPSIS模糊推理评估方法
为在各维度评估结果的基础上，综合评估系统整体的智能化水平，我们采用综合评估方法对信息系统智能化水平进行综合评估。现有的综合评估方法[1-11]主要分为3类：基于结构关系的评估方法[1-6]，广泛应用于雷达和船舰电子信息系统等复杂系统的评估[7]，主要关注系统结构的内联关系，通过建立树状或网状的对象模型，建立评估指标与影响因素的映射关系，运用权重、模糊、粗糙和遗传等不同算法分析评估系统；基于机器学习的评估方法[8-9]，该类方法能较好地抽取评价指标的特征表示；其他方法，为了避免上述两类方法存在的问题，研究人员提出了一些评估方法，例如基于云模型的评估模型[9]、基于贝叶斯网络模型的评估模型[10]、基于TOPSIS(technique for order preference by similarity an ideal solution)的评估模型[11]等。
现有的方法都存在一定的局限性，基于结构的评估方法能够较为贴近复杂系统结构特征，通常实现较简单，但存在影响影响因素权重确定困难、可解释性不强等问题。基于机器学习的评估方法由于样本量稀少，难以训练性能良好的模型，且缺乏可解释性。基于TOPSIS的评估方法直接根据专家知识为评估指标赋予权重，没有对专家知识进行进一步的提取。
为了改善上述评估方法的不足之处，本节提出一种基于深度TOPSIS的模糊推理评估法，将TOPSIS模型扩展为深度TOPSIS模型，并与自适应模糊推理网络(ANFIS)结合。其整体流程如算法1及图3所示。
图3 深度TOPSIS模糊推理评估算法流程图
Fig.3 Overview of deep TOPSIS fuzzy inference evaluation algorithm
算法1 基于深度TOPSIS的模糊推理评估法
输入 评估指标体系EIS，各维度最低级指标得分表L={A,B,…}←Evaluate(S|EIS)，专家知识K
输出 评估得分r
m←Deep(L)；/*最低级指标层级*/
Lp={〈A[a1]…[am],B[b1]…[bm],…〉}/*所有维度笛卡尔乘积，形成m级指标对集合*/
Topsis(A[a1]…[am],B[b1]…[bm],…)；
k=1；
While k≤m-1：/*逐层Topsis*/
|for rm-(k-1) in {1,2,len(R[r1]…[rm-k])})；k=k+1；
Endwhile
R←Transform(K)；/*转换专家知识*/
4.1 深度TOPSIS
TOPSIS模型在1981年被提出，最早应用于挑选满足一定条件的最优解，随后被广泛应用于多标准决策辅助(multi-criteria decision aid，MCDA)以及多标准决策(mulit-criteria decision making，MCDM)领域，主要功能是对解进行评估及排序，由于其出色的评估能力，至今仍是一个常用的评估方法。
如图1所示，EIS通常具有一个或多个维度，每个维度又分为多个等级。要对S进行全面客观的评价，必须考虑所有的评价指标，于是本研究提出使用深度TOPSIS模型对评价指标体系进行建模，具体步骤如下。
步骤1：搭建TOPSIS模型
为最低级指标得分搭建TOPSIS模型，首先是将原始矩阵正向化，常见的四种评价指标类型包括：极大型指标、极小型指标、中间型指标以及区间型指标。所述的将原始矩阵正向化，就是要将所有类型的指标统一转化极大型指标，可根据指标类型不同采取不同形式的转换函数。若EIS中的指标均为极大型指标，可考虑跳过该步骤。
步骤2：正向化矩阵标准化
此步骤的目的是为了消去不同指标量纲的影响，需要对正向化后的矩阵进行标准化处理。假设有n个待评价的信息系统对象，EIS中包含m个最低级评价指标，则正向化矩阵如下：
一种常用的标准化处理方式就是将正向化矩阵中的每个元素除以其所在列的元素的平方和，记标准化后的矩阵为X，其中的每一个元素为
可根据智能系统智能化水平评估指标体系是否受量纲的影响，有选择性地进行标准化处理。
步骤3：计算归一化得分
为最低级指标的Topsis模型计算得分并归一化，对于输入矩阵X，分别定义正理想解和负理想解为x+=(max{x11,…,xn1},…,max{x1m,…,xnm})，x-=(min{x11,…,xn1},…,min{x1m,…,xnm})，则第i(i=1,2,…,n)个待评价对象与x+的距离为对应向量之间的欧式距离，表示为
同理其与x-的距离表示
则其归一化后的得分为
该得分位于0～1之间，且得分越大表示
越小，即越接近理想解。针对不同的信息系统智能化水平评估指标体系，可能需要手动设定理想解和负理想解，本发明中设定理想解为各个指标评分最高的情况，负理想解为各个指标评分最低的情况。
步骤4：搭建深度TOPSIS模型
按照EIS中的评价指标等级划分，逐级为评价指标搭建TOPSIS模型，即重复步骤1～步骤3，最终完成深度TOPSIS模型。
4.2 自适应模糊推理网络
基于模糊集合理论、模糊规则和模糊推理的模糊推理系统是一种流行的计算框架，广泛应用于各个领域，如模式识别、信号处理等。由于模糊推理系统比较适合于表达模糊或定性的知识，其推理方式类似人的思维模式，容易把目标系统的知识直接融于建模过程。
大多数现有的评估方法，如TOPSIS，直接利用专家知识赋予模型权重，存在很强的主观性。且目前没有通用的方法用于专家的知识和经验的转换，所以，本研究提出使用自适应模糊推理网络(ANFIS)对专家知识进行转化，达到自适应确定权重的效果，从而弱化专家知识在评估过程中的影响，降低人类的主观性。其步骤如下。
步骤1：构建ANFIS网络
ANFIS是一种基于Takagi-Sugeno模型的多输入单输出(MISO)的模糊推理系统，既有模糊逻辑易于表达人类知识的优点，又有神经网络的分布式存储以及学习能力。以两输出、单输出的ANFIS为例，其模型图如图4所示。
图4 ANFIS网络结构
Fig.4 Structure of ANFIS
ANFIS包含5层网络结构，分别是模糊分割层、规则推理层、模糊化层、去模糊化层及输出层，每一层的节点具有不同的参数及功能。
步骤2：专家知识规则化
对专家知识进行分析，并抽象转化为“if-then”形式的规则，使用A[i][j]表示维度A中第i个一级指标的第j个二级指标，若专家认为指标对〈[A[1][2],B[2][1]〉越接近其对应的理想解〈A[1][2],B[2][1]〉+或(负理想解)，信息系统的智能化水平y越高(低)，可转化为如下规则表示形式：
if D(〈A[1][2],B[2][1]〉,〈A[1][2],B[2][1]〉+)→0,
then y→ymax
if D(〈A[1][2],B[2][1]〉,〈A[1][2],B[2][1]〉-)→0,
then y→ymin
其中，“if-part”可通过“and”运算进行扩展。该规则可以用于任意的层级指标，并反映出专家认为某些评价指标更为重要，即对信息系统智能化水平的影响程度大。
步骤3：ANFIS参数确定
确定ANFIS自适应模糊推理网络的参数，包含架构参数及算法参数。首先确定模糊化分区，通过高斯隶属度函数将每个一级指标划分为2个分区，即1和0，可表示为
其中d=1 or 0用于区分所在分区，σ的取值不影响分区结果，此处可取常数1简化后续计算，{σ,d}即为算法参数中前件参数的取值。
基于转化后的规则集R={r1,…,rm}，首先将ri中的“if-part”所涉及的评价指标对转换为对应层级的打分(其中涉及的指标打分用正(负)理想值代替，未涉及的指标对打分用平均值或缺省值代替)，然后利用深度TOPSIS模型将其转换对应的一级指标得分，最后通过隶属度计算映射转换为网络架构(即架构参数)，具体流程如图5所示。
图5 专家知识映射到网络结构流程图
Fig.5 The process of mapping expert knowledge to network structure
基于上述规则转化的结果，并将ri中“then-part”转换为对应的理想(负理想)信息系统智能化评分，利用最小二乘估计进行训练，获得网络的后件参数。
4.3 使用深度TOPSIS模糊推理模型进行智能化水平评估
使用4.2中参数化后的ANFIS对4.1中得到的一级指标评价结果进行分析，推理输出智能化水平结果，并输出一级指标的雷达图。
5 案例分析
本节基于2个经典案例，分析深度TOPSIS模糊推理模型的有效性及泛用性，在Intel® CoreTMi7-8700 CPU@3.20GHz 3.19GHz环境中进行实验，运行软件环境为Python 3.7。
5.1 案例1(有效性)
针对某品牌智能音箱，评估其智能化水平。根据测试结果判定各评价指标测的等级，并使用TOPSIS方法计算出二级指标的得分情况、根据二级指标的得分计算出一级指标的得分，最后结合ANFIS网络及专家知识得到智能音箱最终的智能化得分。
1)实验设置。基于专家对每个指标的评估结果，验证模型的有效性，以场景感知为例，假设场景感知等级为2，其下限为1，上限为4，则根据理想解运算规则，计算结果为(2-1)/(4-1)=0.33。计算得到所有二级指标的得分见表1。
表1 二级指标得分数据
Table 1 Secondary index score data
一级指标二级指标二级指标得分自主性场景感知0.66自主决策0.75人机交互0.80适应性可解释性0.80鲁棒性0.75学习性预先学习0.33自主学习0.20迁移学习0.25
与此同时，专家希望理想的系统具备尽可能高的自主决策能力，同时自主学习能力不能太低。对专家知识进行分析，并抽象转化为“if-then”形式的规则，给出如下规则表示：
if D(A[1][2],A[1][2]+)→0
then y→ymax
if D(A[3][2],A[3][2]-)→0
then y→ymin
2)实验结果及分析。利用深度TOPSIS模型逐级将表1中的数据转换对应的一级指标得分，如表2所示。
表2 一级指标得分数据
Table 2 First-level index score data
一级指标得分自主性0.738 940 683适应性0.633 113 997学习性0.265 455 583
使用ANFIS神经网络，结合上述参数，分析一级指标对评估结果，推理输出智能化水平得分，利用表1中的数据，可以得到，基于样例中的专家知识所得的智能化评分为60.46(百分制)。
最终，根据对应的智能化水平等级模型，将智能化水平得分映射为最终的信息系统智能化水平评估结果，智能化等级示例如表3所示。
表3 智能化等级与得分对应示例
Table 3 Example of a mapping between intelligence level and score
智能化等级对应得分智能化等级对应得分一级0～10四级50～70二级10～30五级70～85三级30～50六级85～100
并输出一级指标对雷达图，如图6所示。
图6 智能化评估——一级指标雷达图
Fig.6 Intelligent evaluation:Level 1 indicator radar chart
从雷达图可以看出，该系统在自主性及适应性方面的能力较为优异，但学习性能力相对较弱，这样分析有助于发现系统的智能化开发和改进的方向。结果表明，本评估模型在传统评估的基础上，能够融入专家知识，同时避免了主观性偏差，有效性得以保证。
5.2 案例2(泛用性)
针对更复杂的系统，智能化评估需要结合多维度指标体系进行。针对某战区级信息系统，根据应用场景，将评估指标体系的维度进行扩展，验证模型的泛用性。
1)实验设置。本实验将使用高维度EIS，使用不同K进行实验，验证模型的泛用性，打分结果及不同K如表4所示。
表4 二级指标得分情况
Table 4 Secondary index score data
维度A指标1(一级)指标1(二级)指标2(二级)指标3(二级)指标2(一级)指标1(二级)指标2(二级)指标3(二级)指标3(一级)指标1(二级)指标2(二级)指标3(二级)维度B指标1(一级)指标2(一级)指标3(一级)指标1(二级)0.180.250.400.500.400.250.180.350.40指标2(二级)0.180.180.400.500.400.250.180.350.35指标3(二级)0.500.400.250.400.400.250.180.350.40指标4(二级)0.400.400.400.500.400.180.000.000.18指标1(二级)0.250.250.180.350.400.250.180.350.35指标2(二级)0.350.500.500.500.400.250.180.350.40指标1(二级)0.250.250.250.400.400.250.180.350.40指标2(二级)0.400.250.400.500.400.180.000.350.40
K来源于相关领域的不同专家，随机从K中选取两条专家知识进行分析，并抽象转化为“if-then”形式的规则，给出如下规则表示：
专家规则-样例1(包含2条)：
if D(〈A[1][2],B[2][1]〉,〈A[1][2],B[2][1]〉+)→0
and D(〈A[3][1],B[2][2]〉 ,〈A[3][1],B[2][2]〉+)→0
and D(〈A[2][2],B[1][4]〉 ,〈A[2][2],B[1][4]〉+)→0
and D(〈A[1][3],B[3][1]〉 ,〈A[1][3],B[3][1]〉+)→0
then y→ymax,
if D(〈A[3][2],B[1][1]〉 ,〈A[3][2],B[1][1]〉-)→0
and D(〈A[2][3],B[2][2]〉 ,〈A[2][3],B[2][2]〉-)→0
then y→ymin
专家规则-样例2(包含3条)：
if D(〈A[1][2],B[2][1]〉 ,〈A[1][2],B[2][1]〉+)→0
then y→ymax,
if D(〈A[2][2],B[1][4]〉 ,〈A[2][2],B[1][4]〉+)→0
then y→ymax,
if D(〈A[3][2],B[1][1]〉 ,〈A[3][2],B[1][1]〉-)→0
then y→ymin
2)实验结果及分析。利用深度TOPSIS模型逐级将其转换对应的一级指标得分，如表5所示。
表5 一级指标对评估情况
Fig.5 First-level index pairs evaluation
维度A指标1(一级)指标2(一级)指标3(一级)维度B指标1(一级)0.340.390.41指标2(一级)0.470.520.55指标3(一级)0.540.560.56
将转换后的规则利用4.3的方法映射为模糊推理系统的架构参数(即网络结构)，具体映射结果如图7所示。
图7 规则-网络架构映射结果
Fig.7 Rule-network architecture mapping results
最后，使用ANFIS神经网络，结合上述参数，分析一级指标对评估结果，推理输出智能化水平得分，利用表4的数据，可以得到，基于样例1中的专家知识所得的智能化评分为20.66，基于样例2中的专家知识所得的智能化评分为30.54。根据benchmark或对应的智能化水平等级模型，将智能化水平得分映射为最终的信息系统智能化水平评估结果，并输出一级指标对雷达图，如图8所示。
图8 一级指标雷达图
Fig.8 First-level index radar chart
专家知识可以从专家规则中提炼，对比样例2，样例1中的专家知识更为严谨，对评估结果的约束较强，因此，基于样例1的智能化评分更低，符合通常的认知和评估需求。
由于实验中随机抽取了2条专家知识，具有较强的主观性，但该方法有效地降低了主观性，并得出相近的评估结果，说明该方法具有较强的抗干扰能力，能作出一致的评估，模型的泛用性得以确定。
6 结论
1)针对现有的系统智能化水平评估方法存在泛用性差、不可解释等缺点，提出一种基于深度双基点模糊推理的智能化水平评估方法，通过定性评估与定量评估相结合、专家知识和模糊推理相结合的方法，达到结果可解释且泛用性强的评估效果。
2)提出一套通用的智能化水平评估指标体系，并基于该体系搭建深度双基点模型，该模型能根据多个维度指标生成初步综合评价，并根据模糊推理网络进行模糊计算，得到智能化水平。
3)针对不同的信息系统，基于智能化水平评估指标体系、数据及相关领域的专家知识进行实验，实验结果表明所提出方法能够稳定地进行智能化水平评估，且具有良好的可解释性和泛用性。
[1] 王湛,周文瑜,韩彦明.基于AHP法的天波超视距雷达作战效能评估模型[J].电子对抗,2006(06):28-32.
Wang Z,Zhou W Y,Han Y M.Operational effectiveness evaluation for sky wave over-the-horizon radar based on AHP[J].Electronic Warfare,2006(06):28-32.
[2] 蒋正芳.基于AHP法的防空兵指挥控制系统效能评估[J].科技信息,2012(01):152-153.
Jiang Z F.Effectiveness evaluation of air defense forces command and control system based on AHP[J].Scientific and Technological Information,2012(01):152-153.
[3] 兰海,史家钧.灰色关联分析与变权综合法在桥梁评估中的应用[J].同济大学学报(自然科学版),2001(12)：77-84.
Lan H,Shi J J.Degree of grey incidence and variable weight synthesizing applied in bridge assessment[J].Journal of Tongji University(Natural Science Edition),2001(12)：77-84.
[4] 韩利,梅强,陆玉梅,等.AHP-模糊综合评价方法的分析与研究[J].中国安全科学学报,2004(07):89-92.
Han L,Mei Q,Lu Y M,el al.Analysis and study on AHP-Fuzzy Comprehensive Evaluation[J].Chinese Journal of Safety Science,2004(07):89-92.
[5] 王程,王睿,齐博会.基于模糊AHP法的机载指控系统效能评估[J].指挥控制与仿真，2021(06):63-65.
Wang C,Wang R,Qi B H.Application of fuzzy AHP in effectiveness evaluation for airborne command and control system[J].Command Control & Simulation，2021(06):63-65.
[6] 王伟宇,朱连军.基于AHP-Fuzzy的装备保障指挥信息系统指挥控制效能评估[J].兵器装备工程学报,2016(37):66-71.
Wang W Y,Zhu L J.Application of AHP-fuzzy in effectiveness evaluation for airborne command and control system[J].Chinese Journal of Ordnance Equipment Engineering,2016(37):66-71.
[7] 於进;王鸿飞;孙树岩;刘晓光.基于效果的体系能力评估方法[J].指挥信息系统与技术,2021,12(04):28-33.
Yu J,Wang H F,Sun S Y,et al.Effect based method for system capability evaluation[J].Command Information System and Technology,2021,12(04):28-33.
[8] 乔蓉,周峰.基于PCA-BP神经网络地空导弹武器系统作战效能评估[J].军事运筹与系统工程,2020，34(04):7-14.
Qiao R,Zhou F.Evaluation of operational efficiency for ground-to-air missile weapon system based on PCA-BP neural network[J].Military Operations Research and Systems Engineering,2020，34(04):7-14.
[9] 李健,刘海滨,胡笛.基于生成对抗网络和深度神经网络的武器系统效能评估[J].计算机应用与软件,2020,37(02):259-264.
Li J,Liu H B,Hu D.Weapon system effectiveness evaluation based on generative adversarial network and BP neural network[J].Computer Applications and Software,2020,37(02):259-264.
[10] 李琳琳,路云飞,张壮,等.基于云模型的指挥控制系统效能评估[J].系统工程与电子技术,2018(04)：101-107.
Li L L,Lu Y F,Zhang Z,et al.Effectiveness evaluation of command and control system based on cloud model[J].Systems Engineering and Electronics,2018(04)：101-107.
[11] 闫永玲,张庆波,王宇峰.基于贝叶斯网络模型的BMD系统效能评估[J].火力与指挥控制,2018,43(04):91-95.
Yan Y L,Zhang Q B,Wang Y F.Effectiveness evaluation of BMD based on bayesian network[J].Fire Control & Command Control,2018,43(04):91-95.
[12] 李慧珍,杜健,张倩,等.基于Topsis法的牵引火炮系统效能评估[J].信息系统工程,2018(03):89-90.
Li H Z,Du J,Zhang Q,et al.Effectiveness evaluation of towed artillery system based on Topsis method[J].Information System Engineering,2018(03):89-90.
[13] 吴冬晖.基于多任务贝叶斯压缩感知的探地雷达成像算法[J].重庆工商大学学报(自然科学版),2021,38(01):57-61.
Wu D H.Ground penetrating radar imaging algorithm based on multi task bayesian compressive sensing[J].Journal of Chongqing Technology and Business University(Natural Science Edition),2021,38(01):57-61.
[14] Jang J S R.ANFIS:adaptive-network-based fuzzy inference system[J].IEEE Transactions on Systems,Man,and Cybernetics,1993,23(03):665-685.
[15] 杨燕燕,张晓,李翔宇,杜晨曦,李懿恒.基于样本和特征搜索空间不断缩小的模糊粗糙集特征选择[J].重庆邮电大学学报(自然科学版),2021,33(05):759-768.
Yang Y Y,Zhang X,Li X Y.Fuzzy rough set-based feature selection with the ever-shortening scope of samples and features[J].Journal of Chongqing University of Posts and Telecommunications(Natural Science Edition),2021,33(05):759-768.
[16] 汪霜玲,金欣,王晓璇.指挥信息系统智能化发展能力演化路线[J].指挥信息系统与技术,2019,10(03):46-49,56.
Wang S L,Jin X,Wang X X.Intelligent development capacity evolution route for command information system[J].Command Information System and Technology,2019,10(03):46-49,56.