sklearn RFE如何选择最优特征子集？

Question

**问题：** 在使用 `sklearn` 的递归特征消除（RFE）方法时，如何确定最优特征子集的大小？RFE通过不断剔除最不重要的特征来选择特征子集，但其默认需指定最终保留的特征数量。实际应用中，如何结合交叉验证（如 RFECV）自动确定最优特征数量？此外，RFE依赖模型本身的特征重要性评估，如何确保所选子集在不同模型或数据分布下仍具有良好的泛化能力？

Answer 1

一、理解 RFE 与特征子集大小的选择问题

递归特征消除（Recursive Feature Elimination, RFE）是一种基于模型特征重要性评估的特征选择方法。其核心思想是：在每次迭代中剔除最不重要的特征，直到达到预设的特征数量。然而，RFE 默认需要用户手动指定最终保留的特征数量，这在实际应用中往往难以确定。

例如，在以下代码中，我们使用了支持向量机（SVM）作为基础模型进行 RFE：

from sklearn.feature_selection import RFE
from sklearn.svm import SVR
from sklearn.datasets import make_friedman1

X, y = make_friedman1(n_samples=200, n_features=30, random_state=0)
estimator = SVR(kernel="linear")
selector = RFE(estimator, n_features_to_select=5)
selector = selector.fit(X, y)

其中 n_features_to_select 需要手动指定，这在缺乏先验知识的情况下是一个挑战。

二、引入交叉验证：RFECV 自动选择最优特征数量

为了解决手动设定特征数量的问题，sklearn 提供了 RFECV（Recursive Feature Elimination with Cross-Validation）方法。它通过交叉验证自动选择最优的特征数量。

以下是一个典型的 RFECV 使用示例：

from sklearn.feature_selection import RFECV
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold

# 假设 X, y 是分类任务的数据
model = LogisticRegression()
cv = StratifiedKFold(5)
rfecv = RFECV(estimator=model, step=1, cv=cv, scoring='accuracy')
rfecv.fit(X, y)

print("Optimal number of features: %d" % rfecv.n_features_)

• step=1 表示每次剔除一个特征
• scoring 指定评估指标
• cv 定义交叉验证策略

RFECV 会生成一个交叉验证得分随特征数量变化的曲线，帮助我们判断最优特征数量。

三、可视化 RFECV 结果与分析

为了更直观地理解 RFECV 的选择过程，我们可以绘制交叉验证得分与特征数量的关系图：

import matplotlib.pyplot as plt

plt.figure()
plt.xlabel("Number of features selected")
plt.ylabel("Cross validation score")
plt.plot(range(1, len(rfecv.cv_results_['mean_test_score']) + 1),
         rfecv.cv_results_['mean_test_score'])
plt.show()

特征数量	平均交叉验证得分
1	0.62
5	0.85
10	0.83
20	0.79

通过观察曲线，我们可以找到一个“拐点”或“稳定平台”，从而决定最优特征数量。

四、RFE 的模型依赖性与泛化能力分析

RFE 依赖于基础模型的特征重要性评估，因此其选择结果具有模型依赖性。例如，使用线性模型和树模型进行 RFE，可能会得到完全不同的特征排名。

为提升泛化能力，可以考虑以下策略：

1. 多模型集成 RFE： 对多个模型分别运行 RFE，取交集或加权平均特征排名。
2. 多次交叉验证下的 RFE： 在不同训练集上运行 RFE，统计各特征被选中的频率。
3. 结合稳定性选择（Stability Selection）： 通过重采样和正则化路径选择稳定特征。

以下是一个使用多个模型进行 RFE 并统计特征频率的伪代码：

from collections import defaultdict

feature_counts = defaultdict(int)
models = [LogisticRegression(), RandomForestClassifier(), GradientBoostingClassifier()]

for model in models:
    selector = RFE(model, n_features_to_select=10)
    selector.fit(X, y)
    for idx, selected in enumerate(selector.support_):
        if selected:
            feature_counts[idx] += 1

# 输出每个特征被选中的次数
print(feature_counts)

五、流程图：RFE 到 RFECV 的特征选择流程

graph TD A[输入数据 X, y] --> B{选择特征数量?} B -->|手动指定| C[RFE] B -->|自动选择| D[RFECV] C --> E[输出指定数量特征] D --> F[交叉验证得分分析] F --> G[确定最优特征数量] G --> H[输出最优特征子集]