如何使用Python或R对大型文本语料库（如职位列表）进行聚类？

Question

我有一个文本语料库——从网络上提取的工作标签列表。列表非常干净，存储为一列CSV文件，其中标题按行列出

我尝试过使用TF-IDF和亲和传播的方法，但这会遇到内存问题。我尝试使用word2vec然后应用一个聚类算法来实现这一点，但没有显示出令人满意的结果。对大约75k个职位的数据集进行聚类的最有效方法是什么

Answer 1

首先，您需要使用tfidf或word2vec等对文本进行矢量化。请参阅下面的tfidf实现： 我跳过了预处理部分，因为它会根据问题陈述的不同而有所不同

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.cluster import DBSCAN

df = pd.read_csv('text.csv')
text = df.text.values
tfidf = TfidfVectorizer(stop_words='english')
vec_fit = tfidf.fit(text)
features = vec_fit.transform(text)
# now comes the clustering part, you can use KMeans, DBSCAN at your will
model = DBSCAN().fit(features)  # this might take ages as per size of the text and does not require to provide no. of clusters!!!
unseen_features = vec_fit.transform(unseen_text)
y_pred = model.predict(unseen_features)

sklean文档中提供了集群评估技术： https://scikit-learn.org/stable/modules/clustering.html#clustering-performance-evaluation