Pandas将大数据帧切成块

Question

我有一个大的数据帧（>；3MM行），我正试图通过一个函数传递它（下面的一个在很大程度上被简化），并且我一直得到一条Memory Error消息

我认为我将过大的数据帧传递到函数中，因此我尝试：

1）将数据帧切片为更小的块（最好由AcctName切片）

2）将数据帧传递到函数中

3）将数据帧连接回一个大数据帧

def trans_times_2(df):
    df['Double_Transaction'] = df['Transaction'] * 2

large_df 
AcctName   Timestamp    Transaction
ABC        12/1         12.12
ABC        12/2         20.89
ABC        12/3         51.93    
DEF        12/2         13.12
DEF        12/8          9.93
DEF        12/9         92.09
GHI        12/1         14.33
GHI        12/6         21.99
GHI        12/12        98.81

我知道我的函数工作正常，因为它将在较小的数据帧（例如40000行）上工作。我尝试了以下方法，但没有成功地将小数据帧连接回一个大数据帧

def split_df(df):
    new_df = []
    AcctNames = df.AcctName.unique()
    DataFrameDict = {elem: pd.DataFrame for elem in AcctNames}
    key_list = [k for k in DataFrameDict.keys()]
    new_df = []
    for key in DataFrameDict.keys():
        DataFrameDict[key] = df[:][df.AcctNames == key]
        trans_times_2(DataFrameDict[key])
    rejoined_df = pd.concat(new_df)

我如何设想数据帧被拆分：

df1
AcctName   Timestamp    Transaction  Double_Transaction
ABC        12/1         12.12        24.24
ABC        12/2         20.89        41.78
ABC        12/3         51.93        103.86

df2
AcctName   Timestamp    Transaction  Double_Transaction
DEF        12/2         13.12        26.24
DEF        12/8          9.93        19.86
DEF        12/9         92.09        184.18

df3
AcctName   Timestamp    Transaction  Double_Transaction
GHI        12/1         14.33        28.66
GHI        12/6         21.99        43.98
GHI        12/12        98.81        197.62

Answer 1

我建议使用依赖项^{}。它处理所有边缘情况，如数据帧的不均匀分区，并返回一个迭代器，使事情变得更高效

（使用@acumones中的代码更新）

from more_itertools import sliced
CHUNK_SIZE = 5

index_slices = sliced(range(len(df)), CHUNK_SIZE)

for index_slice in index_slices:
  chunk = df.iloc[index_slice] # your dataframe chunk ready for use

Answer 2

您可以使用列表理解将数据帧拆分为列表中包含的较小数据帧

n = 200000  #chunk row size
list_df = [df[i:i+n] for i in range(0,df.shape[0],n)]

您可以通过以下方式访问区块：

list_df[0]
list_df[1]
etc...

然后，您可以使用pd.concat将其组装回一个数据帧

按帐户名

list_df = []

for n,g in df.groupby('AcctName'):
    list_df.append(g)