拼接多个pandas数据框时出现错误

Question

我有10个csv文件，每个文件的行数接近100万。我有一个for循环，它遍历文件名并创建一个dataframe并将结果进行concats。在

for file in filenames:
    df = pd.read_csv('file',sep=',', encoding='utf-8', dtype='object') 
    print (df)
    concatenated_df  = pd.concat(df, ignore_index=True)

我遇到内存错误，concat语句间歇性失败。 打印df工作正常。我的桌面上有32GB的内存。有没有更好的方法来解决这个问题？在

Answer 1

我认为32GB的内存足够处理你的数据。假设所有文件都有相同的列数，请尝试以下一行代码：

concatenated_df = pd.concat([pd.read_csv(df, sep=',', encoding='utf-8', dtype='object') for df in filenames])