机器学习中的召回率和准确率这些几时用

Question

想问问准确率召回率这些，是在模型训练过程中用验证集验证防止过拟合，还是模型训练完后才来用来看模型的能力如何

Answer 1

引自免费微信小程序：皆我百晓生

在机器学习中，准确率（Accuracy）和召回率（Recall）是评估分类模型性能的重要指标。它们通常用于监督学习任务，特别是在二分类或多分类问题上。这些指标可以帮助我们理解模型在不同情况下的表现，包括它对正类（也称作阳性样本）和负类（也称作阴性样本）的预测效果。

1. 准确率（Accuracy） 准确率是指模型正确预测的比例，即真正例（True Positives, TP）、真负例（True Negatives, TN）之和除以总样本数（TP + TN + False Positives, FP + False Negatives, FN）。公式如下： [ Accuracy = \frac{TP + TN}{TP + TN + FP + FN} ]

2. 召回率（Recall 或 Sensitivity） 召回率衡量的是模型识别出所有正类的能力，即真正例占所有实际正类的比例。对于不平衡数据集，仅依赖准确率可能不足够，因为一个简单的预测多数类别的策略可能会得到较高的准确率，但对少数类别不够敏感。公式如下： [ Recall = \frac{TP}{TP + FN} ]

在模型开发流程中，准确率和召回率可以用于以下几个阶段：

1. 验证集上的评估 在模型训练过程中，我们会将数据集划分为训练集、验证集和测试集。训练集用来更新模型参数，验证集用于调整模型结构和参数（比如调参），而测试集则在模型训练完成后用来评估最终模型的泛化能力。在这个阶段，我们可以使用验证集上的准确率和召回率来监控模型的学习过程，以及防止过拟合。例如，在训练过程中定期计算验证集上的准确率和召回率，并在验证集性能开始下降时停止训练，这就是一种常见的早停策略。

2. 模型选择 当尝试不同的模型结构或参数组合时，我们可以比较它们在验证集上的准确率和召回率，选择性能最优的模型进行后续部署。

3. 测试集评估 在模型训练完成之后，我们会在未见过的数据（测试集）上计算准确率和召回率，以了解模型在未知数据上的真实性能。这通常是最终决定是否采用这个模型的关键步骤。

4. 评估特定场景 在某些情况下，你可能更关心召回率而非准确率，或者反之。例如，在医疗诊断中，漏诊（False Negative）可能比误诊（False Positive）更严重，这时高召回率就更重要。在这种情况下，你可以根据应用场景的需求权衡准确率和召回率。

在Python中，你可以使用sklearn.metrics库来计算这些指标。下面是一个简单的例子：

from sklearn import metrics
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression

# 假设 X 是特征，y 是标签
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练模型
model = LogisticRegression()
model.fit(X_train, y_train)

# 预测
y_pred = model.predict(X_test)

# 计算准确率和召回率
accuracy = metrics.accuracy_score(y_test, y_pred)
recall = metrics.recall_score(y_test, y_pred, pos_label=1)  # 假设1是正类

print("Accuracy:", accuracy)
print("Recall:", recall)

如果你需要可视化准确率和召回率，可以使用ROC曲线（Receiver Operating Characteristic curve）和PR曲线（Precision-Recall curve）。对于多分类问题，你可能需要计算每个类别的F1分数，它是精确率（Precision）和召回率的调和平均值，可以综合考虑两者的重要性。