如何为多个数据帧列建立管道？

Question

我的数据帧可以简化为：

import pandas as pd

df = pd.DataFrame([{
'title': 'batman',
'text': 'man bat man bat', 
'url': 'batman.com', 
'label':1}, 
{'title': 'spiderman',
'text': 'spiderman man spider', 
'url': 'spiderman.com', 
'label':1},
{'title': 'doctor evil',
 'text': 'a super evil doctor', 
'url': 'evilempyre.com', 
'label':0},])

我想尝试不同的特征提取方法：TFIDF、word2vec、具有不同ngram设置的coutvector等，但我想尝试不同的组合：一个特征集包含用TFIDF转换的“text”数据，而带有Countvectoriser和second的“url”将有w2v转换的文本数据，和TFIDF的url等等。最后，我想对不同的预处理策略进行比较，选择最佳的预处理策略。在

以下是问题：

1. 有没有一种方法可以使用像Pipeline这样的标准sklearn工具来完成这些事情？

2. 我的想法有什么常识吗？也许有一些好主意，如何处理数据帧中有许多列的文本数据，而我却缺少这些列？

多谢了！在

Answer 1

我将使用FunctionTransformer的组合来只选择某些列，然后使用FeatureUnion在每个列上组合TFIDF、字计数等特性。也许有一个稍微干净一点的方法，但是我认为不管怎样，你最终都会得到某种FeatureUnion和管道嵌套。在

from sklearn.preprocessing import FunctionTransformer
from sklearn.pipeline import FeatureUnion, Pipeline
from sklearn.feature_extraction.text import TfidfVectorizer, CountVectorizer

def first_column(X):
    return X.iloc[:, 0]

def second_column(X):
    return X.iloc[:, 1]

# pipeline to get all tfidf and word count for first column
pipeline_one = Pipeline([
    ('column_selection', FunctionTransformer(first_column, validate=False)),
    ('feature-extractors', FeatureUnion([('tfidf', TfidfVectorizer()),
                                        ('counts', CountVectorizer())

    ]))
])

# Then a second pipeline to do the same for the second column
pipeline_two = Pipeline([
    ('column_selection', FunctionTransformer(second_column, validate=False)),
    ('feature-extractors', FeatureUnion([('tfidf', TfidfVectorizer()),
                                        ('counts', CountVectorizer())

    ]))
])


# Then you would again feature union these pipelines 
# to get different feature selection for each column
final_transformer = FeatureUnion([('first-column-features', pipeline_one),
                                  ('second-column-feature', pipeline_two)])

# Your dataframe has your target as the first column, so make sure to drop first
y = df['label']
df = df.drop('label', axis=1)

# Now fit transform should work
final_transformer.fit_transform(df)

如果您不想对每个列应用多个transformer（tfidf和counts这两种方法可能都没有用处），那么您可以减少一步嵌套。在