pandas.concat与pandas.append内存考虑因素

2024-05-04 13:30:06 发布

您现在位置:Python中文网/ 问答频道 /正文

我正试图找出多个大数据帧的列表,而python在这样做时抛出了内存错误。我检查了其他解决方案,它们似乎都依赖于在循环中保存CSV和重新编码。不幸的是,在我的具体案例中,我无法保存CSV

我想知道pandas.append是否是连接数据帧列表的更好方法。花费的时间对我来说并不是一个很大的考虑因素,而是节省内存

例如,以下哪一项更节省内存:

l= [pd.DataFrame(),pd.DataFrame()]
dfAll = pd.concat(l)

### V.S. ###

dfAll = pd.DataFrame()
for df in l:
   dfAll = dfAll.append(df)

Tags: csv数据内存dataframe编码df列表错误