酸洗非常大的文本文件，12Gb

Question

我尝试使用以下代码来pickle一个大的文本文件：

import pickle

file1=open('/home/mustafa/data/wiki.en.text','r')
obj=[file1.read()]
pickle.dump(obj,open('data.pkl','w'),2)

我得到以下错误：

struct.error: 'i' format requires -2147483648 <= number <= 2147483647

我认为这可能是一个多处理问题。在

Answer 1

对于这种序列化，pickle不是一个好的选择。即使是对cPickle来说，超过4Gb的信息也会带来很大的问题。您是否考虑过使用其他替代品，如SQLite或HDF5？在