我有一个很大的数据框(>;3m m行),我正试图通过一个函数(下面的一个函数很大程度上简化了),我一直收到一条Memory Error
消息。
我认为我向函数传递的数据帧太大,所以我试图:
1)将数据帧分割成更小的块(最好由AcctName
分割)
2)将数据帧传递到函数中
3)将数据帧连接回一个大数据帧
def trans_times_2(df):
df['Double_Transaction'] = df['Transaction'] * 2
large_df
AcctName Timestamp Transaction
ABC 12/1 12.12
ABC 12/2 20.89
ABC 12/3 51.93
DEF 12/2 13.12
DEF 12/8 9.93
DEF 12/9 92.09
GHI 12/1 14.33
GHI 12/6 21.99
GHI 12/12 98.81
我知道我的函数工作正常,因为它将在较小的数据帧(例如40000行)上工作。我尝试了以下操作,但将小数据帧连接回一个大数据帧失败。
def split_df(df):
new_df = []
AcctNames = df.AcctName.unique()
DataFrameDict = {elem: pd.DataFrame for elem in AcctNames}
key_list = [k for k in DataFrameDict.keys()]
new_df = []
for key in DataFrameDict.keys():
DataFrameDict[key] = df[:][df.AcctNames == key]
trans_times_2(DataFrameDict[key])
rejoined_df = pd.concat(new_df)
我如何设想要拆分的数据帧:
df1
AcctName Timestamp Transaction Double_Transaction
ABC 12/1 12.12 24.24
ABC 12/2 20.89 41.78
ABC 12/3 51.93 103.86
df2
AcctName Timestamp Transaction Double_Transaction
DEF 12/2 13.12 26.24
DEF 12/8 9.93 19.86
DEF 12/9 92.09 184.18
df3
AcctName Timestamp Transaction Double_Transaction
GHI 12/1 14.33 28.66
GHI 12/6 21.99 43.98
GHI 12/12 98.81 197.62
您可以使用列表理解将数据帧拆分为包含在列表中的较小数据帧。
您可以通过以下方式访问块:
然后,可以使用pd.concat将其重新组装到一个数据帧中。
按帐户名
相关问题 更多 >
编程相关推荐