评价指标（acc,auc,recall,precision）

评估指标

评价超参数好不好？

1 K折交叉验证

把原始数据分成十份，分别拿10份中每1份做一个验证集，计算出1个错误率，进而求得10个错误率取平均（排除偶然性），作为调整超参数的一个标准。

2 混淆矩阵

混淆矩阵也成为误差矩阵，是表示精度评价的一种标准格式，判断分类好坏的方法。

上图中3看成5的次数为231次，5看成3的次数为193.

3 准确率和表示召回率

逻辑回归（模型）：输出概率，<0.5为负例

（1） Acc公式：

（2） Precision（准确率）公式：

在所有你判断为正例的例子中，真正的正例有多少

（3） Recall（召回率）公式：

你认为正确的占所有正确的比例

Tradeoff 会让准确率和召回率顾此失彼

（4） F1_score(precision和recall的综合平均[调和平均数])

既可以兼顾precision又可以兼顾recall。F1_score越高说明precision和recall达到了一个很高的平衡点。

4 tradeoff

上图为precision和recall的关系曲线。

5 ROC曲线

如果表示TPR和FPR的变化关系曲线。若曲线距离左上角越近，代表模型的性能越好。

但是需通过图形进行观察得到。

6 AUC（area under curve）

AUC代表曲线的面积，AUC越大越好，取值范围为[0,1]

参考：

精确率、召回率、F1 值、ROC、AUC 各自的优缺点是什么？