机器学习特征重要性的问题

Question

机器学习特征重要性

特征重要性的model.feature_importance中 跟训练集和测试集的划分(包括random_state的不同设置)有没有关系呀？

train_test_split 中划分不同比例的测试集和设置不同random_state数值 最后得到的特征重要性model.feature_importances数值不同，但是排序大部分是一样的

请问这个原理是啥呀？

Answer 1

是的，训练集和测试集的划分和随机数种子对模型的特征重要性有一定影响。不同的划分方式可能会导致模型对不同特征的重要性的评估不同，因为模型在训练时可能会更加关注某些特定的特征。同时，由于机器学习算法通常都包含随机性，所以使用不同的随机数种子可能会导致模型学习到的内容不同，从而导致特征重要性的评估不同。

尽管如此，大部分情况下特征重要性的排序是相似的。这是因为模型通常会对更重要的特征更加关注，所以它们的重要性往往会比较高。当然，这并不意味着排名完全一样，但是大多数情况下排名都是相似的。