caret包如何得到预测结果的误差(语言-r语言)

Question

我根据caret包的代码建立了一个预测模型
在最后用集成模型（stack.glm)对30万全新数据（preData）进行预测后
我得到了一个预测结果(predict_stack.glm)
但是由于这30万数据的真实结果是未知的
所以我不知道该如何评价预测的准确性
在模型中也没有看到关于这次预测的不确定性等指标
请问大家有方法调出我这次预测的任何评价指标吗
可以是预测值的95可信区间、不确定性等指标
模型构建的代码是根据https://www.machinelearningplus.com/machine-learning/caret-package/#92howtocombinethepredictionsofmultiplemodeltoformafinalprediction%E8%BF%99%E4%B8%AA%E7%BD%91%E7%AB%99%E6%AD%A5%E9%AA%A4%E6%9D%A5%E7%9A%84
我进行的是连续型变量的预测
我的集成模型组装了五种机器学习模型
下面是集成模型的建立和预测过程代码

trainControl <- trainControl(method="repeatedcv", 
                             number=10, 
                             repeats=3,
                             savePredictions='final')
algorithmList <- c('rf','earth','lasso','svmRadial','nnet')
models <- caretList(HighInfection ~ Prevalence+PC_n+TMP+GDP+NDVI+VAP+PREC+PPP+SF+Dist, 
                    data=trainData, 
                    trControl=trainControl, 
                    methodList=algorithmList) 
stackControl <- trainControl(method="repeatedcv", 
                             number=10, 
                             repeats=3)
stack.glm <- caretStack(models, 
                        method="glm", 
                        metric="RMSE", 
                        trControl=stackControl)
predict_stack.glm <- predict(stack.glm, preData)

Answer 1

参考GPT和自己的思路：您可以使用均方误差（Mean Squared Error，MSE）和均方根误差（Root Mean Squared Error，RMSE）这两个指标来评估预测模型的准确性。在caret包中，您可以使用train函数来训练模型并评估其性能。train函数的输出包含一些有关模型性能的信息，包括MSE和RMSE。您还可以在train函数中使用summaryFunction参数来定义自定义的评估指标。

为了得到预测值的95％置信区间，您可以使用prediction函数。您需要将predict_stack.glm的结果传递给prediction函数，并提供level参数来指定置信度的水平。例如，以下代码将获取预测值的95％置信区间：

library(prediction)
pred <- prediction(predict\_stack.glm, unknown = NULL)
ci <- pred$getConfidence(predict\_stack.glm, level = 0.95)

这将返回一个包含置信区间下限和上限的向量。如果您需要计算不确定性方面的其他指标，您可能需要使用其他软件包或方法。