我经常需要通过df[df['col_name']=='string_value']
来过滤pandas数据帧df
,我想加快行选择操作,有没有一种快速的方法可以做到这一点?
例如
In [1]: df = mul_df(3000,2000,3).reset_index()
In [2]: timeit df[df['STK_ID']=='A0003']
1 loops, best of 3: 1.52 s per loop
1.52秒能缩短吗?
注意:
mul_df()
是创建多级数据帧的函数:
>>> mul_df(4,2,3)
COL000 COL001 COL002
STK_ID RPT_Date
A0000 B000 0.6399 0.0062 1.0022
B001 -0.2881 -2.0604 1.2481
A0001 B000 0.7070 -0.9539 -0.5268
B001 0.8860 -0.5367 -2.4492
A0002 B000 -2.4738 0.9529 -0.9789
B001 0.1392 -1.0931 -0.2077
A0003 B000 -1.1377 0.5455 -0.2290
B001 1.0083 0.2746 -0.3934
下面是mul_df()的代码:
import itertools
import numpy as np
import pandas as pd
def mul_df(level1_rownum, level2_rownum, col_num, data_ty='float32'):
''' create multilevel dataframe, for example: mul_df(4,2,6)'''
index_name = ['STK_ID','RPT_Date']
col_name = ['COL'+str(x).zfill(3) for x in range(col_num)]
first_level_dt = [['A'+str(x).zfill(4)]*level2_rownum for x in range(level1_rownum)]
first_level_dt = list(itertools.chain(*first_level_dt)) #flatten the list
second_level_dt = ['B'+str(x).zfill(3) for x in range(level2_rownum)]*level1_rownum
dt = pd.DataFrame(np.random.randn(level1_rownum*level2_rownum, col_num), columns=col_name, dtype = data_ty)
dt[index_name[0]] = first_level_dt
dt[index_name[1]] = second_level_dt
rst = dt.set_index(index_name, drop=True, inplace=False)
return rst
我一直想将二进制搜索索引添加到DataFrame对象中。您可以采用按列排序的DIY方法,并自己执行此操作:
这很快,因为它总是检索视图而不复制任何数据。
取决于您想在选择之后做什么,并且如果您必须进行这种类型的多个选择,
groupby
功能还可以使事情更快(至少在示例中)。即使只需要为一个字符串值选择行,也会快一点(但不多):
但随后对GroupBy对象的调用将非常快(例如选择其他sting_值的行):
有些令人惊讶的是,使用
.values
数组而不是Series
对我来说要快得多:相关问题 更多 >
编程相关推荐