对一个非常大的Pandas数据进行汇总和统计

Question

我有一个非常大的（比便宜的RAM大）CSV数据集，我用pandas操作。现在我在做类似的事情

df = pd.read_csv('verylargefile.csv', chunksize=10000)
for df_chunk in df:
    df_chunk['new_column'] = df_chunk['old_column'].apply(my_func)
    # do other operations and filters...
    df_chunk.to_csv('processed.csv', mode='a')

这样我就可以对数据集进行操作，并将输出保存到另一个文件中。在

问题是从对这个数据集进行分组和统计开始的：我需要计算整个数据集的平均值、标准差和直方图，还需要绘制结果、趋势图，使用statsmodels等。由于样本不是同质的，我无法计算统计数。在

^{pr2}$

我没有通常只选择几个列的选项，也不知道将数据存储在HDF上会有什么帮助。有办法吗？在

Answer 1

df的类型不是dataframe，而是TextFileReader。我认为您需要通过函数^{}将所有块concat到dataframe，然后应用函数：

df = pd.read_csv('verylargefile.csv', chunksize=10000) # gives TextFileReader

df_chunk = concat(df, ignore_index=True)
df_chunk['new_column'] = df_chunk['old_column'].apply(my_func)
# do other operations and filters...
df_chunk.to_csv('processed.csv', mode='a')

More info。在

编辑：

或许有助于这种方法：按组处理大型数据帧：

示例：

^{pr2}$

Answer 2

这种情况下，^{}可能会有所帮助。下面是一个例子。在

有关更多信息，请参见dask documentation和这个非常漂亮的tutorial。在

In [1]: import dask.dataframe as dd

In [2]: !head data/accounts.0.csv
id,names,amount
138,Ray,1502
1,Tim,5
388,Ingrid,45
202,Zelda,1324
336,Jerry,-1607
456,Laura,-2832
65,Laura,-326
54,Yvonne,341
92,Sarah,3136

In [3]: dask_df = dd.read_csv('data/accounts.0.csv', chunkbytes=4000000)

In [4]: dask_df.npartitions
Out[4]: 4

In [5]: len(dask_df)
Out[5]: 1000000

In [6]: result = dask_df.groupby('names').sum()

In [7]: result.compute()
Out[7]: 
                id    amount
names                       
Alice     10282524  43233084
Bob        8617531  47512276
Charlie    8056803  47729638
Dan       10146581  32513817
Edith     15164281  37806024
Frank     11310157  63869156
George    14941235  80436603
Hannah     3006336  25721574
Ingrid    10123877  54152865
Jerry     10317245   8613040
Kevin      6809100  16755317
Laura      9941112  34723055
Michael   11200937  36431387
Norbert    5715799  14482698
Oliver    10423117  32415534
Patricia  15289085  22767501
Quinn     10686459  16083432
Ray       10156429   9455663
Sarah      7977036  34970428
Tim       12283567  47851141
Ursula     4893696  37942347
Victor     8864468  15542688
Wendy      9348077  68824579
Xavier     6600945  -3482124
Yvonne     5665415  12701550
Zelda      8491817  42573021

这里是使用pandas进行比较的结果。我在这里使用的数据适合内存，但是dask即使数据大于内存也可以工作。在

^{pr2}$