我试图在pandas数据框中找到重复的行。
df=pd.DataFrame(data=[[1,2],[3,4],[1,2],[1,4],[1,2]],columns=['col1','col2'])
df
Out[15]:
col1 col2
0 1 2
1 3 4
2 1 2
3 1 4
4 1 2
duplicate_bool = df.duplicated(subset=['col1','col2'], keep='first')
duplicate = df.loc[duplicate_bool == True]
duplicate
Out[16]:
col1 col2
2 1 2
4 1 2
是否有方法添加引用第一个副本(保留的副本)索引的列
duplicate
Out[16]:
col1 col2 index_original
2 1 2 0
4 1 2 0
注:在我的情况下,df可能非常大。。。。
使用
groupby
,创建一个新的索引列,然后调用duplicated
:详细信息
我
groupby
前两列,然后调用transform
+idxmin
获得每组的第一个索引。duplicated
为我提供一个要保留的值的布尔掩码:剩下的就是布尔索引。
相关问题 更多 >
编程相关推荐