了解scikit learn KMeans返回的“score”

Question

我对一组文本文档（大约100个）应用了聚类。我使用TfIdfVectorizer将它们转换为Tfidf向量，并将这些向量作为输入提供给scikitlearn.cluster.KMeans(n_clusters=2, init='k-means++', max_iter=100, n_init=10)。现在当我

model.fit()
print model.score()

在向量上，如果所有文本文档都非常相似，我得到一个很小的值；如果文档非常不同，我得到一个很大的负值。

它有助于我找到哪一组文档是相似的，但是有人能帮助我理解这个model.score()值对于fit到底意味着什么吗？我如何利用这个价值来证明我的发现？

Answer 1

文件上说：

Returns:    
score : float
Opposite of the value of X on the K-means objective.

要理解这意味着什么，你需要看看k-means算法。k-means的本质是寻找能够最小化数据样本与其关联的聚类中心之间距离之和的聚类中心。

这是一个两步过程，其中（a）每个数据样本与其最近的群集中心关联，（b）群集中心调整为位于与其关联的所有样本的中心。重复这些步骤，直到满足一个条件（最近两次迭代之间的最大迭代次数/最小变化次数）。

如您所见，数据样本与其关联的簇中心之间仍有一段距离，我们最小化的目标就是该距离（所有距离的总和）。

如果数据样本的种类繁多，如果数据样本的数量明显高于集群的数量（在您的情况下，集群的数量仅为two），那么自然会有很大的距离。相反，如果所有的数据样本都是相同的，那么不管集群的数量是多少，都会得到一个零距离。

不过，从文档中可以看出，所有值都是负值。如果你同时观察到消极和积极的价值观，也许还有比这更重要的东西。

我不知道你是怎么想到要分为两类的。