使用t检验评估ROC-AUC分数的统计显著性

Question

请问这段代码为什么出错？
（两个分类器的auc在前面已经算出来过了）

from sklearn.model_selection import cross_val_score

from scipy import stats

roc_auc_scores_clf1 = 0.982

roc_auc_scores_clf2 = 0.986

# 使用假设检验方法（如t检验）评估ROC-AUC分数的统计显著性
t_stat, p_val = stats.ttest_rel(roc_auc_scores_clf1, roc_auc_scores_clf2)

# 打印统计显著性结果
print("T-statistic:", t_stat)
print("P-value:", p_val)

if p_val < 0.05:
    print("The difference in ROC-AUC scores is statistically significant.")
else:
    print("The difference in ROC-AUC scores is not statistically significant.")

输出结果：

Answer 1

以下内容由CHATGPT及阿里嘎多学长共同生成、有用望采纳：

---

问题概括

这个问题的目的是使用t检验来评估两个分类器的ROC-AUC分数是否有统计学上的显著差异。

问题出现原因

根据提供的图片内容，代码在执行t检验时遇到了两个问题：

1. RuntimeWarning: divide by zero encountered in divide - 这表明在执行除法操作时，除数为零，导致无法完成计算。
2. RuntimeWarning: invalid value encountered in scalar multiply - 这通常意味着在进行标量乘法时，遇到了无效的数值。

这些问题可能是由于roc_auc_scores_clf1和roc_auc_scores_clf2的样本大小不足以进行t检验，或者这些分数的计算本身存在问题。

问题解决方案

为了解决这个问题，我们需要确保：

• roc_auc_scores_clf1和roc_auc_scores_clf2是两个独立的样本集，且每个样本集至少有两个以上的观测值。
• 确保在进行t检验之前，没有除以零的情况发生。

由于图片中的错误信息提示了除以零的问题，这可能是由于样本量太小导致的。在进行t检验之前，我们需要检查样本量是否足够。

提供示例

以下是修改后的代码示例，它首先检查样本量是否足够，然后进行t检验：

from sklearn.model_selection import cross_val_score
from scipy import stats

# 假设roc_auc_scores_clf1和roc_auc_scores_clf2是两个分类器的ROC-AUC分数列表
roc_auc_scores_clf1 = [0.982, ...]  # 这里应填入实际的分数列表
roc_auc_scores_clf2 = [0.986, ...]  # 这里应填入实际的分数列表

# 检查样本量是否足够
n_clf1 = len(roc_auc_scores_clf1)
n_clf2 = len(roc_auc_scores_clf2)
ddof_clf1 = n_clf1 - 1
ddof_clf2 = n_clf2 - 1

if n_clf1 >= 2 and n_clf2 >= 2:
    t_stat, p_val = stats.ttest_rel(roc_auc_scores_clf1, roc_auc_scores_clf2)
    print("T-statistic:", t_stat)
    print("P-value:", p_val)
    if p_val < 0.05:
        print("The difference in ROC-AUC scores is statistically significant.")
    else:
        print("The difference in ROC-AUC scores is not statistically significant.")
else:
    print("Sample size is too small for t-test.")

示例代码运行方式

运行这段代码，你需要一个Python环境，其中安装了scikit-learn和scipy库。你可以使用Jupyter Notebook、Python脚本或者任何支持Python的IDE来运行这段代码。

示例代码预期运行结果

如果样本量足够，代码将输出T统计量、P值，并根据P值判断ROC-AUC分数的差异是否具有统计学上的显著性。如果样本量不足，将输出提示信息。

T-statistic: [具体的T统计量数值]
P-value: [具体的P值数值]
The difference in ROC-AUC scores is statistically significant./Not statistically significant.

或者，如果样本量不足：

Sample size is too small for t-test.