文本分类，调用模型时报错：含有1165个feature，要求1000个feature怎么解决？

Question

是因为测试集没有做和训练时一样的降维处理吗？

我使用了vec = TfidfVectorizer(ngram_range=(1, 2), analyzer='char')和selector = SelectKBest(f_classif, k=1000)降低训练集和验证集的维度

调用模型时，测试集降维是要求和训练时降维方法相同还是只要降到一样维度就可以？

若使用同样方法降维，应该怎么做？

Answer 1

一般情况下，要保证训练和测试的数据集预处理和降维的方式一样，不然就算维度一样，效果也不会好的，要保证训练集和测试集的分布一样才行。