z282762779
z282762779
采纳率100%
2020-12-13 23:17

AUC 与 KS 值的关系

20

    背景:我们知道 AUC 是 ROC 曲线的面积(积分)(此处只谈论为AUC大于0.5的情况),KS 值是 TPR 与 FPR 的最大差值(此处只谈论为正的情况)。

    问题(需要详细的回答,包括正负样本分布的图示):

        1. 那么请问 是否 AUC 值越大,KS值就越大,为什么?

        2. KS最大时代表ROC曲线斜率为 0,也就是最佳阈值,选取最佳阈值时,KS值与准确率(accuracy)是否正相关?

        3. 如果 1 和 2 同时成立,为什么 auc 不能评价准确率(accuracy)(AUC是综合的评价指标,衡量的是所有阈值下的综合能力,所有只能评价模型综合水平)?

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享
  • 邀请回答

15条回答

  • weixin_42678268 bj_0163_bj 4月前

    1,roc 纵坐标是TPR,横坐标是FPR,ks 是两条曲线,上曲线是TPR,下方曲线是FPR。 所以ks 线放在roc 里,就相当于roc 曲线跟y=x 直线的距离。所以roc 越大,曲线越高,跟y=x距离越大,ks 越大。 1正确

    2,定义正例 s1=TP+FN 负例s2=FP+TN ,ks=TP/s1-FP/s2 ,accuracy= (TP+s2-FP)/(s1+s2) ,可以看出来ks 和准确率的TP,FP 系数都是一正一负 ,看似正相关,其实不然,因为相关指标TP,FP 的前的系数不同,对于正负样本失衡的情况下,这两个系数会相差很大。TP增加100,FP增加100的情况下,accuracy 不变,ks 值就不一定了。 所以2 不正确。 (另外,KS最大时代表ROC曲线斜率为 1 ,不是0 )。

    3,明显不行,准确率可以在很高,甚至99% 的情况下,auc=0.5

    点赞 评论 复制链接分享
  • weixin_42678268 bj_0163_bj 4月前

    如果正负样本一样多,那准确率也和其他指标一样越大越好。  同增同减

    点赞 1 评论 复制链接分享
  • z282762779 z282762779 4月前

    还有个地方请教一下,2.这里如果正负样本两一样是不是KS和准确率正相关。s=正例=负例,ks=TP/s - FP/s ,accuracy= (TP+s-FP)/(s + s) ?

    点赞 评论 复制链接分享
  • weixin_42678268 bj_0163_bj 4月前

    这个和准确率的情况不一祥

    点赞 评论 复制链接分享
  • weixin_42678268 bj_0163_bj 4月前

    其实也不能这么说,你说的这个是都是在相差不大的情况下有波动,并没有auc很好,ks很差的情况,反之也是。只是可能在一小段区间里,有上下波动的情况。普适情况下,我们还是认为auc和ks是正相关的。

    点赞 评论 复制链接分享
  • z282762779 z282762779 4月前

    相同的数据集,不同的预测分布是不是也没有相关性?

    点赞 评论 复制链接分享
  • z282762779 z282762779 4月前

    是不是说AUC和KS值也没有相关性?

    点赞 评论 复制链接分享
  • weixin_42678268 bj_0163_bj 4月前

    你说的似乎有道理,不同的数据集,模型最终预测的确可能会在不同的x 处上升更快。

    点赞 评论 复制链接分享
  • z282762779 z282762779 4月前

    类似这种情况

    点赞 评论 复制链接分享
  • z282762779 z282762779 4月前

     

    点赞 评论 复制链接分享
  • weixin_42678268 bj_0163_bj 4月前

    关系类似这种吧

    点赞 评论 复制链接分享
  • weixin_42678268 bj_0163_bj 4月前

    持续的x(FPR)范围大 是啥意思,x 都是0-1 的区间。roc 曲线是单调递增的,不会有分叉点,如果A的auc 比B的auc 大,那A的roc 曲线一直在B的上方,那A的ks 最大值应该都比B 大。

    点赞 评论 复制链接分享
  • z282762779 z282762779 4月前

    意思是这样:“roc 曲线与y=x 的纵向距离,代表 TPR-FPR 值”。理解了,KS值指的是这个MAX( TPR-FPR)。会不会有两个 ROC 曲线,第一个 MAX(TPR-FPR)大,但是第二个虽然 MAX( TPR-FPR)比第一个小一点,但是持续的x(FPR)范围大?最后导致第二个AUC大?

    点赞 评论 复制链接分享
  • weixin_42678268 bj_0163_bj 4月前

    roc 的横坐标是FPR ,那y=x 的那条线就是 FPR的值。假设x=0.7,那就是FPR=0.7, y=x=0.7,然后roc 曲线与y=x 的纵向距离,就是TPR-FPR 。

    那么会不会有两个曲线一个中间凸起,一个两边凸起,这样第一个的KS值大 但是第二个 AUC大?---这句话没理解

    点赞 评论 复制链接分享
  • z282762779 z282762779 4月前

    1. 还是没理解,如果KS(MAX | TPR - FPR |)代表 ROC 曲线距离 y=x 的最大值,那么会不会有两个曲线一个中间凸起,一个两边凸起,这样第一个的KS值大 但是第二个 AUC大?

    点赞 评论 复制链接分享

相关推荐