z282762779 2020-12-13 23:17 采纳率: 100%
浏览 514
已采纳

AUC 与 KS 值的关系

    背景:我们知道 AUC 是 ROC 曲线的面积(积分)(此处只谈论为AUC大于0.5的情况),KS 值是 TPR 与 FPR 的最大差值(此处只谈论为正的情况)。

    问题(需要详细的回答,包括正负样本分布的图示):

        1. 那么请问 是否 AUC 值越大,KS值就越大,为什么?

        2. KS最大时代表ROC曲线斜率为 0,也就是最佳阈值,选取最佳阈值时,KS值与准确率(accuracy)是否正相关?

        3. 如果 1 和 2 同时成立,为什么 auc 不能评价准确率(accuracy)(AUC是综合的评价指标,衡量的是所有阈值下的综合能力,所有只能评价模型综合水平)?

  • 写回答

15条回答 默认 最新

  • bj_0163_bj 2020-12-14 11:41
    关注

    1,roc 纵坐标是TPR,横坐标是FPR,ks 是两条曲线,上曲线是TPR,下方曲线是FPR。 所以ks 线放在roc 里,就相当于roc 曲线跟y=x 直线的距离。所以roc 越大,曲线越高,跟y=x距离越大,ks 越大。 1正确

    2,定义正例 s1=TP+FN 负例s2=FP+TN ,ks=TP/s1-FP/s2 ,accuracy= (TP+s2-FP)/(s1+s2) ,可以看出来ks 和准确率的TP,FP 系数都是一正一负 ,看似正相关,其实不然,因为相关指标TP,FP 的前的系数不同,对于正负样本失衡的情况下,这两个系数会相差很大。TP增加100,FP增加100的情况下,accuracy 不变,ks 值就不一定了。 所以2 不正确。 (另外,KS最大时代表ROC曲线斜率为 1 ,不是0 )。

    3,明显不行,准确率可以在很高,甚至99% 的情况下,auc=0.5

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(14条)

报告相同问题?

悬赏问题

  • ¥50 Kubernetes&Fission&Eleasticsearch
  • ¥15 有没有帮写代码做实验仿真的
  • ¥15 報錯:Person is not mapped,如何解決?
  • ¥30 vmware exsi重置后登不上
  • ¥15 易盾点选的cb参数怎么解啊
  • ¥15 MATLAB运行显示错误,如何解决?
  • ¥15 c++头文件不能识别CDialog
  • ¥15 Excel发现不可读取的内容
  • ¥15 关于#stm32#的问题:CANOpen的PDO同步传输问题
  • ¥20 yolov5自定义Prune报错,如何解决?