使用pandas查找不同组之间的重复行

Question

问题

考虑下面的数据文件：

data_so = {
        'ID':  [100, 100, 100, 200, 200, 300, 300, 300],
        'letter': ['A','B','A','C','D','E','D','A'],
}
df_so = pandas.DataFrame (data_so, columns = ['ID', 'letter'])

我想获得一个新列，其中不同组中的所有重复项均为真。同一组中的所有其他重复项都应为False

我试过的

我试过使用

df_so['dup'] = df_so.duplicated(subset=['letter'], keep=False)

但结果不是我想要的：

组1（第0行）中第一次出现的是True，因为另一个组（第7行）中存在重复项。但是，在同一组（第2行）中，所有其他的A发生率应为False

如果删除了第7行，那么第0行应该是False，因为在任何其他组中都不再存在

Answer 1

正如您在评论中所阐明的，您需要在当前duplicated旁边添加一个掩码

m1 = df_so.duplicated(subset=['letter'], keep=False)
m2 = ~df_so.groupby('ID').letter.apply(lambda x: x.duplicated())

df_so['dup'] = m1 & m2

Out[157]:
    ID letter    dup
0  100      A   True
1  100      B  False
2  100      A  False
3  200      C  False
4  200      D   True
5  300      E  False
6  300      D   True
7  300      A   True
8  300      A  False

注意：我在评论中添加了row=8