使用Scikitlearn CountVectoriz仅为同一行上的单词创建ngram（忽略换行符）

Question

在Python中使用scikit learn库时，我可以使用CountVectorizer来创建所需长度（例如2个单词）的ngram，如下所示：

from sklearn.metrics.pairwise import cosine_similarity
from sklearn.feature_extraction.text import CountVectorizer
from nltk.collocations import *
from nltk.probability import FreqDist
import nltk

myString = 'This is a\nmultiline string'

countVectorizer = CountVectorizer(ngram_range=(2,2))
analyzer = countVectorizer.build_analyzer()

listNgramQuery = analyzer(myString)
NgramQueryWeights = nltk.FreqDist(listNgramQuery)

print(NgamQueryWeights.items())

打印：

^{pr2}$

从创建的is multilinengram中可以看到（默认情况下，stop worda被过滤掉），引擎不关心字符串中的换行符。在

如何修改创建ngrams的引擎以尊重字符串中的换行符，并且只创建其所有单词属于同一行文本的ngram？我的预期产出是：

dict_items([('multiline string', 1), ('this is', 1)])

我知道我可以通过将token_pattern=someRegex传递给CountVectorizer来修改标记器模式。此外，我在某个地方读到使用的默认regex是u'(?u)\\b\\w\\w+\\b'。不过，我认为这个问题更多的是关于ngram的创建，而不是关于记号赋予器的问题，因为问题不是在不考虑linebreak的情况下创建令牌，而是ngram。在

Answer 1

您需要重载分析器，如described in the documentation。在

def bigrams_per_line(doc):
    for ln in doc.split('\n'):
        terms = re.findall(r'\w{2,}', ln)
        for bigram in zip(terms, terms[1:]):
            yield '%s %s' % bigram


cv = CountVectorizer(analyzer=bigrams_per_line)
cv.fit(['This is a\nmultiline string'])
print(cv.get_feature_names())
# ['This is', 'multiline string']