预测模型的校准度验证，校准的是什么？

Question

校准曲线可以反映模型预测概率与实际发生概率之间的一致程度，那么“校准”曲线，校准的是什么？

Answer 1

通常用Hosmer-Lemeshow good of fit test（拟合优度检验）来评价预测模型的校准度。Hosmer-Lemeshow检验的基本思路如下：

1. 首先根据预测模型来计算每个个体未来发生结局事件的预测概率；

2. 根据预测概率从小到大进行排序，并按照十分位等分成10组；

3. 分别计算各组的实际观测数和模型预测数，其中模型预测数，即每个人的预测概率*人数，再求总和，这里人数即为1，最后总和就相当于每个个体预测概率的直接加和；

4. 根据每组实际观测数和模型预测数计算卡方值（自由度=8），再根据卡方分布得到对应的P值。

若所得的统计量卡方值越小，对应的P值越大，则提示预测模型的校准度越好。若检验结果显示有统计学显著性（P<0.05），则表明模型预测值和实际观测值之间存在一定的差异，模型校准度差。

详情可参考链接：https://zhuanlan.zhihu.com/p/35574120