z282762779 2020-12-13 23:17 采纳率: 100%
浏览 514
已采纳

AUC 与 KS 值的关系

    背景:我们知道 AUC 是 ROC 曲线的面积(积分)(此处只谈论为AUC大于0.5的情况),KS 值是 TPR 与 FPR 的最大差值(此处只谈论为正的情况)。

    问题(需要详细的回答,包括正负样本分布的图示):

        1. 那么请问 是否 AUC 值越大,KS值就越大,为什么?

        2. KS最大时代表ROC曲线斜率为 0,也就是最佳阈值,选取最佳阈值时,KS值与准确率(accuracy)是否正相关?

        3. 如果 1 和 2 同时成立,为什么 auc 不能评价准确率(accuracy)(AUC是综合的评价指标,衡量的是所有阈值下的综合能力,所有只能评价模型综合水平)?

  • 写回答

15条回答 默认 最新

  • bj_0163_bj 2020-12-14 11:41
    关注

    1,roc 纵坐标是TPR,横坐标是FPR,ks 是两条曲线,上曲线是TPR,下方曲线是FPR。 所以ks 线放在roc 里,就相当于roc 曲线跟y=x 直线的距离。所以roc 越大,曲线越高,跟y=x距离越大,ks 越大。 1正确

    2,定义正例 s1=TP+FN 负例s2=FP+TN ,ks=TP/s1-FP/s2 ,accuracy= (TP+s2-FP)/(s1+s2) ,可以看出来ks 和准确率的TP,FP 系数都是一正一负 ,看似正相关,其实不然,因为相关指标TP,FP 的前的系数不同,对于正负样本失衡的情况下,这两个系数会相差很大。TP增加100,FP增加100的情况下,accuracy 不变,ks 值就不一定了。 所以2 不正确。 (另外,KS最大时代表ROC曲线斜率为 1 ,不是0 )。

    3,明显不行,准确率可以在很高,甚至99% 的情况下,auc=0.5

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(14条)

报告相同问题?

悬赏问题

  • ¥50 有数据,怎么建立模型求影响全要素生产率的因素
  • ¥50 有数据,怎么用matlab求全要素生产率
  • ¥15 TI的insta-spin例程
  • ¥15 完成下列问题完成下列问题
  • ¥15 C#算法问题, 不知道怎么处理这个数据的转换
  • ¥15 YoloV5 第三方库的版本对照问题
  • ¥15 请完成下列相关问题!
  • ¥15 drone 推送镜像时候 purge: true 推送完毕后没有删除对应的镜像,手动拷贝到服务器执行结果正确在样才能让指令自动执行成功删除对应镜像,如何解决?
  • ¥15 求daily translation(DT)偏差订正方法的代码
  • ¥15 js调用html页面需要隐藏某个按钮