KModes聚类的轮廓距离

2024-10-03 21:24:20 发布

您现在位置:Python中文网/ 问答频道 /正文

我一直在尝试计算我使用KModes集群创建的集群的轮廓系数(因为我所有的数据字段都是分类的)。我使用匹配差异作为距离度量

def matching_disimilarity(a, b):
    return np.sum(a != b)

由于我在互联网上找不到Python中的任何这样的实现,我决定根据维基百科文档-https://en.wikipedia.org/wiki/Silhouette_(clustering)自己编写一个。这是我到目前为止所拥有的

def silhouette_analysis(df):
    n_clusters = 5
    sil = []

    for i, r_i in df.iterrows():
        c_i = r_i['cluster']
        r_i = r_i.drop('cluster', axis=0)
        same_cluster_df = df[df['cluster'] == c_i].reset_index(drop=True)
        other_clusters_df = df[df['cluster'] != c_i].reset_index(drop=True)

        a_i = 0
        for j, r_j in same_cluster_df.iterrows():
            r_j = r_j.drop('cluster', axis=0)
            d_ij = matching_disimilarity(r_i, r_j)
            a_i += d_ij
        a_i = a_i/(len(same_cluster_df) - 1)

        b_i = []
        b_in = 0
        for c_n in range(n_clusters):
            if c_i == c_n: continue
            nearest_cluster_df = other_clusters_df[other_clusters_df['cluster'] == c_n]
            for j, r_j in nearest_cluster_df.iterrows():
                r_j = r_j.drop('cluster', axis=0)
                d_ij = matching_disimilarity(r_i, r_j)
                b_in += d_ij
            b_in = b_in/len(nearest_cluster_df)
            b_i.append(b_in)
        b_i = min(b_i)

        if (a_i < b_i):
            s_i = 1 - (a_i/b_i)
        elif(a_i == b_i):
            s_i = 0
        else:
            s_i = b_i/a_i - 1

        sil.append(s_i)

    df['sil'] = sil
    return df

作为参数传递的数据帧df已经将集群映射到cluster列中的每一行

我想问三个问题:

  1. 我的代码正确吗?它会给我正确的集群评估吗
  2. 现在这个速度太慢了。我有近20000行,计算轮廓系数需要2分钟以上。一排
  3. 是否存在任何现有且可靠的剪影系数python实现。对于KModes聚类,使用匹配相异度作为距离度量

Tags: indffor集群dropsameclusterscluster