python中的单词聚类列表

Question

我是一个文本挖掘新手，这是我的情况。 假设我有一个单词列表，['car'，'dog'，'puppy'，'vehicle']，我想把单词分成k个组，我希望输出为[['car'，'vehicle'，['dog'，'puppy']]。 我首先计算每个成对单词的相似度得分，得到一个4x4矩阵（在这种情况下）M，其中M I j是单词I和j的相似度得分。 在将单词转换成数字数据之后，我使用不同的聚类库（如sklearn）或自己实现它来获得单词聚类。

我想知道这种方法有意义吗？另外，如何确定k的值？更重要的是，我知道存在不同的聚类技术，我在想我是应该使用k-均值还是k-medods进行单词聚类？

Answer 1

如果你想根据单词的“语义相似性”（即它们的意思相似性）来对单词进行分类，那么看看Word2Vec和GloVe。Gensim有一个Word2Vec的实现。Radim Rehurek的这个网页"Word2Vec Tutorial"提供了一个使用Word2Vec来确定类似单词的教程。

Answer 2

除了已经说过的关于相似性得分的内容之外，在集群应用程序中找到k通常还需要scree plots（也称为“肘曲线”）的帮助。在这些图中，通常可以测量y轴上的簇之间的分散度，以及x轴上的簇数量。在scree图中找到曲线的最小值（二阶导数）可以更客观地衡量簇的“唯一性”

Answer 3

通过Brian O'Donnell来跟踪答案，一旦计算出与word2vec（或FastText或GLoVE，…）的语义相似性，就可以使用^{}对矩阵进行聚类。我发现对于小矩阵，谱聚类给出了最好的结果。

值得注意的是，单词向量通常嵌入在高维球体上。带有欧氏距离矩阵的K-means无法捕捉到这一点，并且可能会导致非近邻词的相似性较差。