while中的ValueError预测测试数据具有不同字向量形状的位置

Question

下面是我的代码，我正在尝试文本分类模型

from sklearn.feature_extraction.text import TfidfVectorizer
ifidf_vectorizer = TfidfVectorizer()

X_train_tfidf = ifidf_vectorizer.fit_transform(X_train)
X_train_tfidf.shape

(3, 16)

from sklearn.svm import LinearSVC
clf = LinearSVC()
clf.fit(X_train_tfidf,y_train)

到目前为止，只有一个训练集被矢量化为完整的词汇表。为了对测试集进行分析，我需要将其提交到相同的程序中。 所以我做了

X_test_tfidf = ifidf_vectorizer.fit_transform(X_test) 
X_test_tfidf.shape
(2, 12)

最后，当试图预测其显示错误时

predictions = clf.predict(X_test_tfidf)

ValueError: X has 12 features per sample; expecting 16

但是当我使用管道from sklearn.pipeline import Pipeline时，它工作得很好

我不能用我尝试过的方式编码吗

Answer 1

在测试集X_test上再次使用.fit_transform()重新安装矢量器时，代码失败。但是，应仅使用矢量器变换数据：

X_test_tfidf = ifidf_vectorizer.transform(X_test) 

现在，它应该像预期的那样工作。您只需要根据X_train来拟合ifidf_vectorizer，并根据此来转换所有数据。它确保使用相同的词汇表，并确保获得相同形状的输出