2.2. 模型评价

本文除使用准确率（accuracy，Acc）（以符号 Acc 表示）来评价模型分类性能以外，还采用查准率（precision，P）（以符号 P 表示）、查全率（recall，R）（以符号 R 表示）、F1 分数（F1-score，F1）（以符号 F 1 表示）、接收者操作特征曲线下面积（area under curve，AUC）（以符号 AUC 表示）、混淆矩阵等来对诊断效果进行辅助评价。其中准确率表示模型预测正确的样本数占样本总数的比例，各指标具体定义公式如式（2）～式（5）所示：

其中，真阳性（true positive，TP）（以符号 TP 表示）表示预测为正，实际也是正的样本数；假阳性（false positive，FP）（以符号 FP 表示）表示预测为正，实际是负的样本数；真阴性（true negative，TN）（以符号 TN 表示）表示预测为负，实际也是负的样本数；假阴性（false negative，FN）（以符号 FN 表示）表示预测为负，实际是正的样本数 ^{[ 27 ]} 。

3.2. 实验结果与分析

模型训练过程的损失值及准确率随训练次数的变化情况如 图 4 所示。

Open in a separate window

图 4

Loss and accuracy on training and validation data

分类损失值及准确率变化曲线

由 图 4 可以看出，经过不到 50 次训练，模型达到相对稳定。该模型对测试集分类诊断结果混淆矩阵如 表 6 所示，7 类故障诊断具体结果如 表 7 所示。

由 表 6 、 表 7 可知，使用融合并筛选的多模态特征，基于 LSTM 模型对测试集的故障诊断分类查准率为 0.971 7、查全率为 0.970 9、F1 分数为 0.970 4、接收者操作特征曲线下面积为 0.994 3。为验证多特征融合并筛选方法在故障诊断中的有效性，本文分别基于端口电信号、征兆现象、两种类别特征融合、融合并筛选等四种基础特征，在同一测试条件、不改变参数情况下，进行 5 次重复实验，结果如 表 8 所示。

表 8

Comparison of accuracy on different features ( )

不同特征下诊断准确率对比（ ）

特征	准确率
端口电信号	0.886 8 ± 0.011 7
征兆现象	0.721 1 ± 0.013 6
特征融合	0.911 5 ± 0.007 6
特征融合并筛选	0.970 9 ± 0.002 4

Open in a separate window

为对比本文算法与当前主流的故障智能诊断方法的优劣，本文基于融合并筛选特征，将其与 BP 神经网络（back propagation neural network，BPNN）、循环神经网络（recurrent neural network，RNN）、CNN 等算法进行了对比实验。三种方法参数设置分别为：① BPNN：采用 2 层隐藏层结构，各隐层神经元个数分别为 40、20，学习率设定为 0.001；② RNN：采取与本文方法类似的网络模型结构，包含 2 个隐藏层，各隐层神经元个数分别为 40、20，1 个池化层及 1 个全连接层，激活函数采用修正线性单元（rectified linear unit，ReLU），学习率设定为 0.001；③ CNN：同样的，包含 2 个隐藏层，各隐层神经元个数分别为 40、20，1 个池化层及 1 个全连接层，激活函数采用 ReLU 函数，学习率设定为 0.001；5 次实验结果如 图 5 所示。

Open in a separate window

图 5

Comparison of accuracy of different methods

不同算法诊断准确率对比

由 表 8 可知：基于融合并筛选的特征，使用 LSTM 算法模型对治疗仪主控板进行故障诊断分类，模型诊断准确率平均达到 0.970 9，比单独使用端口电信号特征、征兆现象特征及融合特征平均分别高出 0.084 1、0.249 8、0.059 4；由 图 5 可知：基于融合并筛选特征，使用 LSTM 算法模型对治疗仪主控板进行故障诊断分类，准确率平均达到 0.970 9，比 BPNN、RNN、CNN 平均分别高出 0.125 7、0.047 1、0.005 7，验证了本文设计的 LSTM 算法模型在治疗仪主控板常规故障的智能诊断方面的有效性。