关于精确率和召回率的一些疑问

Question

在运行二分类任务计算p和r的时候要确定一个阈值，这个阈值在使用sigmoid作为输出层的激活函数的时候可以直接选择一个0到1之间的值，如果换用softmax这个阈值应该如何定义？在多分类任务的情境下这个阈值又该如何定义？如果按照二分类阈值的定义在多分类情境下对每个二分类模型确定一个阈值会导致某些样例输出为全0，因为每一类预测的概率都低于阈值（train，cv，test经检查各类别分布一致），如果使用softmax则阈值没有定义。
在使用softmax的过程中发现按照将最高预测概率对应的类别分配给测试样例的规则预测每个测试样例的类别得到的p和r都很高，这是不是说明softmax不需要有阈值这个参数？
下图是自己跑的一个kaggle上预测学生学业状况的数据集的各项评估指标以及用gd优化的收敛图

Answer 1

【以下回答由 GPT 生成】

回答

首先，针对第一个问题，使用softmax作为激活函数时，通常不需要定义阈值参数。softmax输出的是每个类别的概率，这些概率是归一化的，因此其和为1。在多分类任务中，可以直接选择概率最高的类别作为预测结果，而不需要设置阈值。

以下是一个使用softmax进行多分类任务的示例代码：

import numpy as np

def softmax(x):
    # softmax激活函数，对输出做归一化处理
    exps = np.exp(x - np.max(x))  # 减去最大值，防止数值溢出
    return exps / np.sum(exps, axis=1, keepdims=True)

# 模拟softmax输出
logits = np.array([[2.0, 1.0, 0.1],
                   [1.0, 2.0, 1.0],
                   [0.1, 1.0, 2.0]])

# 使用softmax激活函数
probas = softmax(logits)
print(probas)  # 输出预测概率

# 选择概率最高的类别作为预测结果
predictions = np.argmax(probas, axis=1)
print(predictions)  # 输出预测结果

关于第二个问题，通常情况下，使用softmax作为激活函数时不需要定义阈值参数。精确率和召回率是用来衡量模型分类性能的指标，与阈值设置无关。这两个指标计算的是模型预测结果与真实标签之间的比较，而不考虑阈值。

关于评估指标，可以使用精确率、召回率以及F1-score等指标来评估模型的性能。这些指标可以帮助判断模型在不同类别上的分类效果，但并不能用来确定阈值参数的取值。

在多分类任务中，常用的方法是绘制混淆矩阵来观察各类别的分类情况，以及绘制ROC曲线和PR曲线来评估模型性能。根据实际需求来选择合适的阈值，以平衡精确率和召回率。

综上所述，对于使用softmax作为激活函数的多分类任务，通常不需要定义阈值参数。可以使用其他指标来评估模型的性能，进一步调整阈值参数。

如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^