统计数据透视表中使用的出现次数

Question

我有一个类似这样的df（500万行和大约250个不同的条约编号（都是字符串））：

      Id   Name    Treaty Number
 0  Id88   Jack              x12
 1  Id87   John              x33
 2  Id88    Jim              x22
 3  Id11   Hans              x12
 4  Id12   Ivan              x33
 5  Id88   Sara              x22
 6  Id11    Max              x12
 7  Id11  Peter              x33

我想找到所有重复的id和属于该id的每个条约编号的计数

很好，它看起来是这样的：

           Sum  
   Id88      3    x12: 1, x22:2, ....
   Id11      3    x12: 2, x33:1,...

现在我有以下代码：

    import pandas as pd
    import numpy as np

    data = np.array([
    ['Id88', 'Jack', 'x12'], 
    ['Id87', 'John', 'x33'], 
    ['Id88', 'Jim', 'x22'],
    ['Id11', 'Hans', 'x12'],
    ['Id12', 'Ivan', 'x33'],
    ['Id88', 'Sara', 'x22'],
    ['Id11', 'Max', 'x12'],
    ['Id11', 'Peter', 'x33'],
    ])
    columns=['Id', 'Name', 'Treaty Number']

    df = pd.DataFrame(data= data, columns = columns)

    dublicateIDs = df[df.duplicated(subset=['Id'],keep=False )]

    pivotIDs = dublicateIDs.pivot_table(index=['Id'], aggfunc='size')
    pivotIDs = pivotIDs.sort_values(ascending=False)

    pivotTreaty = dublicateIDs.pivot_table(index=['Id'], columns = 'Treaty Number', aggfunc='size', 
    fill_value=0)

    concatDF = [pivotIDs, pivotTreaty]
    pivotIDsCombine = pd.concat(concatDF, axis=1, sort=False)
    columnNames = pivotIDsCombine.columns.tolist()
    columnNames[0] = 'Sum'
    pivotIDsCombine.columns = columnNames
    print(pivotIDsCombine)

结果如下：

         Sum  x12  x22  x33
 Id88      3    1    2    0
 Id11      3    2    0    1

由于行数（5m）和协定数（250）很多，每个ID的协定数也很小，所以我有一个巨大的表，里面满是NaN（或零）

有没有一种简单的方法可以使用透视表来达到所需的格式，或者我应该循环每一列/每一行并手动计算出现的次数

Answer 1

这对你应该有帮助

df['temp'] = 1
df1 = df.groupby(['Id', 'Treaty Number'])['temp'].count().reset_index()
df1 = df1.pivot_table(index='Id', columns='Treaty Number')
df1.columns = df1.columns.droplevel()
df1.columns.name = None
df1.fillna(0, inplace=True)
df1['Sum'] = df1.sum(axis=1)