熊猫数据框删除了太多的行

2024-10-02 08:31:11 发布

您现在位置:Python中文网/ 问答频道 /正文

我有一个有很多tweet的数据帧,我想删除重复的。tweets存储在fh1.df['tweets']中。我计算不重复的数量。j重复的数量。在else语句中,我删除了重复的行。在“如果我做一个新的列表”tweetschecklist“里,我把所有好的tweets放进去

好吧,如果我做I+j,我就成了原创微博的数量。所以这很好。但在else中,我不知道为什么,他删除了很多行,因为在for循环(1/10)之后,我的数据帧的形状要小得多

“fh1.df=fh1.df[fh1.df.Tweets!=当前[推特] “行删除到多行

tweetChecklist = []
for current_tweet in fh1.df['Tweets']:
    if current_tweet not in tweetChecklist:
        i = i + 1
        tweetChecklist.append(current_tweet)
    else:
        j = j + 1
        fh1.df = fh1.df[fh1.df.Tweets != current_tweet]

fh1.df['Tweets'] = pd.Series(tweetChecklist)

Tags: 数据indf列表for数量语句current
2条回答

pandas中,通常有一种比用for循环遍历数据帧更好的方法

在这种情况下,您真正想要的是将相等的tweet分组在一起,只保留第一条tweet。这可以通过^{}实现:

import random
import string
import pandas as pd

# some random one character tweets, so there are many duplicates
df = pd.DataFrame({"Tweets": random.choices(string.ascii_lowercase, k=100),
                   "Data": [random.random() for _ in range(100)]})

df.groupby("Tweets", as_index=False).first()
#    Tweets      Data
# 0       a  0.327766
# 1       b  0.677697
# 2       c  0.517186
# 3       d  0.925312
# 4       e  0.748902
# 5       f  0.353826
# 6       g  0.991566
# 7       h  0.761849
# 8       i  0.488769
# 9       j  0.501704
# 10      k  0.737816
# 11      l  0.428117
# 12      m  0.650945
# 13      n  0.530866
# 14      o  0.337835
# 15      p  0.567097
# 16      q  0.130282
# 17      r  0.619664
# 18      s  0.365220
# 19      t  0.005407
# 20      u  0.905659
# 21      v  0.495603
# 22      w  0.511894
# 23      x  0.094989
# 24      y  0.089003
# 25      z  0.511532

更妙的是,甚至有一个显式函数^{},它的速度大约是它的两倍:

df.drop_duplicates(subset="Tweets", keep="first")

Graipher的解决方案告诉您如何生成唯一的数据帧。我的答案告诉您为什么当前操作会删除太多行(根据您的问题)

尾注

当您输入“else”语句来删除重复的tweet时,您将删除具有指定tweet的所有行。让我们演示一下:

import numpy as np
import pandas as pd

df = pd.DataFrame(data=np.random.randint(0, 10, (10, 5)), columns=list('ABCDE'))

这意味着什么:

Out[118]: 
   A  B  C  D  E
0  2  7  0  5  4
1  2  8  8  3  7
2  9  7  4  6  2
3  9  7  7  9  2
4  6  5  7  6  8
5  8  8  7  6  7
6  6  1  4  5  3
7  1  4  7  8  7
8  3  2  5  8  5
9  5  8  9  2  4

在您的方法中(假设您希望从“A”而不是“Tweets”中删除重复项),您将得到(即,只有不唯一的行)

Out[118]: 
   A  B  C  D  E
5  8  8  7  6  7
7  1  4  7  8  7
8  3  2  5  8  5
9  5  8  9  2  4

如果你只是想让这个独特,实现Graipher的建议。如果要计算您有多少个副本,可以执行以下操作:

total = df.shape[0]
duplicates = total - df.A.unique().size

相关问题 更多 >

    热门问题