如何只将特定类型的行加载到数据帧中以避免内存过载

Question

我有一个91gb的数据帧，当我试图把它加载到内存中去处理它时，我的内存崩溃了。例如，是否可以只在m.0107\u f将所有数据中的行索引到Dataframe中，而不将完整数据加载到Dataframe中？你知道吗

我的数据集示例如下：

我想做的事-

df = pd.read_csv('/Volumes/big-flash-drive/asdf/FaceImageCroppedWithAlignment.tsv', sep='\t', nrows='m.0107_f', 
             names = ["Freebase MID", "EntityNameString", "ImageURL", "FaceID","FaceRectangle_Base64Encoded",
                       "FaceData_Base64Encoded"])

我知道这是不可能的，但也许有人可以帮助处理它

Answer 1

如果必须使用CSV文件，请尝试以下方法：

fn = '/Volumes/big-flash-drive/asdf/FaceImageCroppedWithAlignment.tsv'
cols = ["Freebase MID","EntityNameString","ImageURL", "FaceID",
        "FaceRectangle_Base64Encoded","FaceData_Base64Encoded"]
chunks = pd.read_csv(fn, sep='\t', chunksize=10**5, names=cols)
df = pd.concat([x.query("index == 'm.0107_f'") for x in chunks], ignore_index=True)

如果您可以以不同的格式存储数据-我强烈建议您使用HDF5格式或将数据存储在RDBMS数据库中：

演示：

df = pd.read_hdf('/path/to/file.h5', 'hdf_key', where="index == 'm.0107_f'") 

这将只读取满足where子句的行