如何以更快的方式从数据帧中删除一系列行

Question

我有一个数据集，我想用更快的方法删除一些行。我试过下面的代码，但花了很长时间

我想删除每一个操作少于3次的用户。你知道吗

每个操作都存储在一行中，其中user\u id不是我的数据的id

undesirable_users=[] 
for i in range(len(operations_per_user)):
    if operations_per_user.get_value(operations_per_user.index[i])<=3:
        undesirable_users.append(operations_per_user.index[i])

for i in range(len(undesirable_users)):
    data = data.drop(data[data.user_id == undesirable_users[i]].index)

data是数据帧，operation_per_user是由：operation_per_user = data['user_id'].value_counts()创建的序列。你知道吗

Answer 1

• 如果data是一个DataFrame，并且它同时包含user_id和operations_per_user列，则应该使用以下内容执行删除：

data = data.drop(data.loc[data['operations_per_user'] <= 3].index)

编辑

不必创建单独的序列，您可以使用以下命令将operations_per_user添加到data：

data['operations_per_user'] = data.loc[:, 'user_id'].value_counts()

您可以如上所述执行拖放，也可以使用反向逻辑条件执行选择：

data = data.loc[data['operations_per_user' > 3]]

原创

如果您能提供更多关于代码中使用的变量的信息，那就更好了。你知道吗

• 如果operations_per_user是一个大熊猫Series，您的第一个循环可以通过以下方法得到改进：

undesirable_users=[] 
for i in operations_per_user.index:
    if operations_per_user.loc[i] <= 3:
        undesirable_users.append(i)

函数get_value()已弃用，请改用loc或iloc。This是loc和iloc的一个很好的总结，而here是一个很好的参考资料。你知道吗

• 可以将python列表用作迭代器；对于第二个循环：

for user in undesirable_users:
    data = data.drop(data.loc[data['user_id'] == user].index)