• 混淆矩阵
• 准确率
• 精确率
• 召回率
• P-R曲线
• F1 score
• 参考资料

分类是机器学习中比较常见的任务，对于分类任务常见的评价指标有准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1 score、ROC曲线（Receiver Operating Characteristic Curve）等。
这篇文章将结合sklearn对准确率、精确率、召回率、F1 score进行讲解，ROC曲线可以参考我的这篇文章： sklearn ROC曲线使用 。

如上图所示，要了解各个评价指标，首先需要知道混淆矩阵，混淆矩阵中的P表示Positive，即正例或者阳性，N表示Negative，即负例或者阴性。
表中FP表示实际为负但被预测为正的样本数量，TN表示实际为负被预测为负的样本的数量，TP表示实际为正被预测为正的样本数量，FN表示实际为正但被预测为负的样本的数量。
另外，TP+FP=P’表示所有被预测为正的样本数量，同理FN+TN为所有被预测为负的样本数量，TP+FN为实际为正的样本数量，FP+TN为实际为负的样本数量。

准确率是分类正确的样本占总样本个数的比例，即
A c c u r a c y = T P + T N + F P + F N T P + T N ​
准确率是分类问题中最简单直观的评价指标，但存在明显的缺陷。比如如果样本中有99%的样本为正样本，那么分类器只需要一直预测为正，就可以得到99%的准确率，但其实际性能是非常低下的。也就是说，当不同类别样本的比例非常不均衡时，占比大的类别往往成为影响准确率的最主要因素。
下面我们看一下sklearn中计算准确率的示例：

import numpy as np
from sklearn.metrics import accuracy_score
y_pred = [0, 2, 1, 3]
y_true = [0, 1, 2, 3]
print(accuracy_score(y_true, y_pred))  # 0.5
print(accuracy_score(y_true, y_pred, normalize=False))  # 2
# 在具有二元标签指示符的多标签分类案例中
print(accuracy_score(np.array([[0, 1], [1, 1]]), np.ones((2, 2))))  # 0.5
函数接口的描述是这样的：
 
 
准确度分类得分
  
 在多标签分类中，此函数计算子集精度：为样本预测的标签集必须完全匹配y_true（实际标签）中相应的标签集。
  
 参数
 y_true : 一维数组，或标签指示符 / 稀疏矩阵，实际（正确的）标签.
 y_pred : 一维数组，或标签指示符 / 稀疏矩阵，分类器返回的预测标签.
 normalize : 布尔值, 可选的(默认为True). 如果为False，返回分类正确的样本数量，否则，返回正 确分类的得分.
 sample_weight : 形状为[样本数量]的数组，可选. 样本权重.
  
 返回值
 score : 浮点型
 如果normalize为True，返回正确分类的得分（浮点型），否则返回分类正确的样本数量（整型）.
 当normalize为True时，最好的表现是score为1，当normalize为False时，最好的表现是score未样本数量.
 
代码的输出我已经写在注释中了，需要注意的是最后一行代码中，y_true为
     Precision=TP+FPTP​
 sklearn中的函数接口precision_score的描述如下：
 
 
计算精确率
  
 精确率是 tp / (tp + fp)的比例，其中tp是真正性的数量，fp是假正性的数量. 精确率直观地可以说是分类器不将负样本标记为正样本的能力.
  
 精确率最好的值是1，最差的值是0.
  
 参数
 y_true : 一维数组，或标签指示符 / 稀疏矩阵，实际（正确的）标签.
 y_pred : 一维数组，或标签指示符 / 稀疏矩阵，分类器返回的预测标签.
 labels : 列表，可选值. 当average != binary时被包含的标签集合，如果average是None的话还包含它们的顺序. 在数据中存在的标签可以被排除，比如计算一个忽略多数负类的多类平均值时，数据中没有出现的标签会导致宏平均值（marco average）含有0个组件. 对于多标签的目标，标签是列索引. 默认情况下，y_true和y_pred中的所有标签按照排序后的顺序使用.
 pos_label : 字符串或整型，默认为1. 如果average = binary并且数据是二进制时需要被报告的类. 若果数据是多类的或者多标签的，这将被忽略；设置labels=[pos_label]和average != binary就只会报告设置的特定标签的分数.
 average : 字符串，可选值为[None, ‘binary’ (默认), ‘micro’, ‘macro’, ‘samples’, ‘weighted’]. 多类或 者多标签目标需要这个参数. 如果为None，每个类别的分数将会返回. 否则，它决定了数据的平均值类型.
 ‘binary’: 仅报告由pos_label指定的类的结果. 这仅适用于目标（y_{true, pred}）是二进制的情况.
 ‘micro’: 通过计算总的真正性、假负性和假正性来全局计算指标.
 ‘macro’: 为每个标签计算指标，找到它们未加权的均值. 它不考虑标签数量不平衡的情况.
 ‘weighted’: 为每个标签计算指标，并通过各类占比找到它们的加权均值（每个标签的正例数）.它解决了’macro’的标签不平衡问题；它可以产生不在精确率和召回率之间的F-score.
 ‘samples’: 为每个实例计算指标，找到它们的均值（只在多标签分类的时候有意义，并且和函数accuracy_score不同）.
 sample_weight : 形状为[样本数量]的数组，可选参数. 样本权重.
  
 返回值
 precision : 浮点数(如果average不是None) 或浮点数数组, shape =[唯一标签的数量]
 二分类中正类的精确率或者在多分类任务中每个类的精确率的加权平均.
 
官方示例代码为：
 
from sklearn.metrics import precision_score
y_true = [0, 1, 2, 0, 1, 2]
y_pred = [0, 2, 1, 0, 0, 1]
print(precision_score(y_true, y_pred, average='macro'))  # 0.2222222222222222
print(precision_score(y_true, y_pred, average='micro'))  # 0.3333333333333333
print(precision_score(y_true, y_pred, average='weighted'))  # 0.2222222222222222
print(precision_score(y_true, y_pred, average=None))  # [0.66666667 0.         0.        ]
直接看函数接口和示例代码还是让人有点云里雾里的，我们这里先介绍两个与多分类相关的概念，再说说上面的代码是如何计算的。
 
Macro Average
 宏平均是指在计算均值时使每个类别具有相同的权重，最后结果是每个类别的指标的算术平均值。
Micro Average
 微平均是指计算多分类指标时赋予所有类别的每个样本相同的权重，将所有样本合在一起计算各个指标。
 
根据precision_score接口的解释，我们可以知道，当average参数为None时，得到的结果是每个类别的precision。上面的y_true有3个类别，分别为类0、类1、类2。我们将每个类别的TP、FP、FN列在下表中。
 
类别
TP
FP
FN
类0
2
1
0
类1
0
2
2
类2
0
1
1
那么每个类别的precision也就得到了，如下所示：
 
     Pw​=31​∗P0​+31​∗P1​+31​∗P2​≈0.222
 虽然，我们是主要讲精确率的，但是宏平均和微平均的概念也很重要，这里顺便对比一下。




    
 
如果每个类别的样本数量差不多，那么宏平均和微平均没有太大差异
如果每个类别的样本数量差异很大，那么注重样本量多的类时使用微平均，注重样本量少的类时使用宏平均
如果微平均大大低于宏平均，那么检查样本量多的类来确定指标表现差的原因
如果宏平均大大低于微平均，那么检查样本量少的类来确定指标表现差的原因
 
召回率指实际为正的样本中被预测为正的样本所占实际为正的样本的比例。
 sklearn中recall_score方法和precision_score方法的参数说明都是一样的，所以这里不再重复，只是把函数和返回值说明贴在下面：
 
 
计算召回率
  
 召回率是比率tp / (tp + fn)，其中tp是真正性的数量，fn是假负性的数量. 召回率直观地说是分类器找到所有正样本的能力.
 召回率最好的值是1，最差的值是0.
  
 返回值
 recall : 浮点数(如果average不是None) 或者浮点数数组，shape = [唯一标签的数量]
 二分类中正类的召回率或者多分类任务中每个类别召回率的加权平均值.
 
官方示例代码为：
 
from sklearn.metrics import recall_score
y_true = [0, 1, 2, 0, 1, 2]
y_pred = [0, 2, 1, 0, 0, 1]
print(recall_score(y_true, y_pred, average='macro'))  # 0.3333333333333333
print(recall_score(y_true, y_pred, average='micro'))  # 0.3333333333333333
print(recall_score(y_true, y_pred, average='weighted'))  # 0.3333333333333333
print(recall_score(y_true, y_pred, average=None))  # [1. 0. 0.]
Recall和Precision只有计算公式不同，它们average参数为’macro’，‘micro’，'weighted’和None时的计算方式都是相同的，具体计算可以使用上节列出来的TP、FP、FN表，这里不再赘述。
 
P-R曲线
 
评价一个模型的好坏，不能仅靠精确率或者召回率，最好构建多组精确率和召回率，绘制出模型的P-R曲线。
 下面说一下P-R曲线的绘制方法。P-R曲线的横轴是召回率，纵轴是精确率。P-R曲线上的一个点代表着，在某一阈值下，模型将大于该阈值的结果判定为正样本，小于该阈值的结果判定为负样本，此时返回结果对应的召回率和精确率。整条P-R曲线是通过将阈值从高到低移动而生成的。原点附近代表当阈值最大时模型的精确率和召回率。
 关于P-R曲线，因为我自己使用的比较少，所以这里就不深入给大家说了。
 sklearn里P-R曲线的使用可以参考：precision_recall_cure。
 P-R曲线的理解可以参考这篇博客：P-R曲线深入理解。
 
F1 score
 
F1 score是精确率和召回率的调和平均值，计算公式为：
 
     F1=precision+recall2∗precision∗recall​
 Precision体现了模型对负样本的区分能力，Precision越高，模型对负样本的区分能力越强；Recall体现了模型对正样本的识别能力，Recall越高，模型对正样本的识别能力越强。F1 score是两者的综合，F1 score越高，说明模型越稳健。
 sklearn中f1_score方法和precision_score方法、recall_score方法的参数说明都是一样的，所以这里不再重复，只是把函数和返回值说明贴在下面：
 
 
计算F1 score，它也被叫做F-score或F-measure.
  
 F1 score可以解释为精确率和召回率的加权平均值. F1 score的最好值为1，最差值为0. 精确率和召回率对F1 score的相对贡献是相等的. F1 score的计算公式为：
 F1 = 2 * (precision * recall) / (precision + recall)
  
 在多类别或者多标签的情况下，这是权重取决于average参数的对于每个类别的F1 score的加权平均值.
 返回值
 f1_score : 浮点数或者是浮点数数组，shape=[唯一标签的数量]
 二分类中的正类的F1 score或者是多分类任务中每个类别F1 score的加权平均.
 
官方示例代码为：
 
from sklearn.metrics import f1_score
y_true = [0, 1, 2, 0, 1, 2]
y_pred = [0, 2, 1, 0, 0, 1]
print(f1_score(y_true, y_pred, average='macro'))  # 0.26666666666666666
print(f1_score(y_true, y_pred, average='micro'))  # 0.3333333333333333
print(f1_score(y_true, y_pred, average='weighted'))  # 0.26666666666666666
print(f1_score(y_true, y_pred, average=None))  # [0.8 0.  0. ]
这里计算还是套公式，所以也就不再多说了。
 
多标签分类的结果评估—macro-average和micro-average介绍
 《百面机器学习》（诸葛越主编、葫芦娃著）第二章第1节——评估指标的局限性
                                    分类是机器学习中比较常见的任务，对于分类任务常见的评价指标有准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1 score、P-R曲线、ROC曲线（Receiver Operating Characteristic Curve）等。
在了解这几个性能指标之前，需要先了解混淆矩阵，混淆矩阵中的P表示Positive，即正例或者阳性，N表示Negative，即负例或者阴性。
表中FP表示实际为负但被预测为正的样本数量，TN表示实际为负被预测为负的样本的数量，T
                                    Python随机生成体温并写入Excel
疫情期间在校需要时常测量体温，早晚各一次，并且要填入Excel表格中汇总，十分麻烦，所以写了一个Python程序生成随机数作为温度填入Excel中。
# coding=UTF-8
import random
import xlrd
import xlwt
from xlutils.copy import copy
# 前几列需要一些基本信息  用此函数生成
def create_value():
    date=1  # 生成一天的数据
    all_value
                                    python -  sklearn 计算F1
因为最近写的分类模型需要性能评价 ，常用的分类性能评价有 查准率、召回率、准确率、F1
分类问题的常用的包 sklearn ，下面对F1所用的方法进行介绍
查准率 请看另外一篇文章： sklearn 计算查准率
召回率 请看另外一篇文章： sklearn 计算召回率
对于我们的二分类问题，会有以下情况：
真正例（True Positive，TP）：真实类别为正例，预测类别为正例。
假正例（False Positive，FP）：真实类别为负例，预测类别
聚类︱python实现 六大 分群质量评估指标（兰德系数、互信息、轮廓系数） 
R语言相关分类效果评估： 
R语言︱分类器的性能表现评价（混淆矩阵，准确率，召回率，F1,mAP、ROC曲线）.一、acc、recall、F1、混淆矩阵、分类综合报告1、准确率第一种方式：accuracy_score# 准确率
import numpy as np
from skl
混淆矩阵见：https://blog.csdn.net/qq_36895331/article/details/115271792?spm=1001.2014.3001.5501
import numpy as np
from sklearn.metrics import accuracy_score
y_pred = [0, 2, 1, 3]
y_true = [0, 1, 2, 3]
print(accuracy_score(y_true, y_pred))  
print(acc
参考博客：https://blog.csdn.net/hfutdog/article/details/88085878
预测文件：predict.csv
image_name	label	predict_1	predict_2	predict_3
a01.jpg	悲伤	愤怒	高兴	中性
a02.jpg	悲伤	高兴	悲伤	中性
a03.jpg	高兴	悲伤	高兴	愤怒
a04.jpg	高兴	悲伤	高兴	中性
a05.jpg	中性	悲伤	愤怒	中性
a06.jpg	中性	中性	高兴	高兴
a07.jpg	
                                    很多时候需要对自己模型进行性能评估，对于一些理论上面的知识我想基本不用说明太多，关于校验模型准确度的指标主要有混淆矩阵、准确率、精确率、召回率、F1 score。机器学习：性能度量篇-Python利用鸢尾花数据绘制ROC和AUC曲线机器学习：性能度量篇-Python利用鸢尾花数据绘制P-R曲线sklearn预测评估指标：混淆矩阵计算详解-附Python计算代码这里我们主要进行实践利用sklearn快速实现模型数据校验，完成基础指标计算。
import numpy as np
from sklearn.metrics import accuracy_score
y_pred = [0, 2, 1, 3,9,9,8,5,8]
y_true = [0, 1, 2, 3,2,6,3,5,9] #共9个数据，3个...
                                    分类是机器学习中比较常见的任务，对于分类任务常见的评价指标有 准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1 score、ROC曲线(Receiver Operating Characteristic Curve)等。
                                    在上一篇文章中（baiziyu：模型评价——训练误差与测试误差、过拟合与欠拟合、混淆矩阵）主要介绍了模型评价涉及的基本概念，本节给出一些常用的评价指标。这些指标大致可以分为三类，第一大类是普通的准确率评价指标，它给出了模型在验证集或测试集上的一个大致准确性，在sklearn中可以通过调用模型实例的score方法获得。第二大类是精确率与召回率以及宏平均与微平均。这部分指标在一般的论文...