spark机器学习模型预测的rawPrediction列结果相同

Question

spark的机器学习模型预测过程中
其得出的模型预测集有问题

得到的模型预测集的rawPrediction列和probability列的内容都相同，这使得模型预测结果也都相同了
特征列是不同的

造成这样的原因是什么呢？
而且这种模型预测集我放入ComputeModelStatistics中预测模型各种参数时，总会得到值为NaN的指标

Answer 1

回答不易，求求您采纳哦
模型预测结果中的 rawPrediction 和 probability 列可能具有相同值的原因有多种：

• 该模型可能正在使用不生成 rawPrediction 值的预测算法。在这种情况下，rawPrediction 列可能会填充与概率列相同的值。

• 用于训练模型的数据可能存在问题。如果数据不能代表基础分布，则模型可能无法准确预测不同类别的概率。

• 模型本身可能存在问题。例如，模型可能过度拟合训练数据，或者模型配置或实现可能存在问题。

要解决此问题，您可以尝试以下步骤：

• 检查用于训练模型的数据以确保它代表基础分布。

• 检查模型配置和实现以确保它们正确且不会导致任何问题。

• 使用不同的评估指标检查模型性能，以查看模型的预测准确性是否存在任何问题。

• 考虑尝试不同的算法或模型配置，看看它们是否能产生更准确的结果。