使用cPickle序列化大型字典会导致内存

Question

我在为一个搜索引擎写一个倒排索引。现在，我将索引存储为字典。也就是说，每个关键字都映射到docid的字典->出现位置。在

数据模型类似于： {word:{doc_name:[位置列表]}}

在内存中构建索引工作正常，但是当我试图序列化到磁盘时，我遇到了MemoryError。我的代码是：

# Write the index out to disk
serializedIndex = open(sys.argv[3], 'wb')
cPickle.dump(index, serializedIndex, cPickle.HIGHEST_PROTOCOL)

在序列化之前，我的程序使用了大约50%的内存（1.6GB）。一旦我给cPickle打电话，我的内存使用率就飙升到80%，然后崩溃。在

为什么cPickle使用这么多内存进行序列化？有没有更好的方法来解决这个问题？在

Answer 1

你可以试试另一个泡菜库。也可能有一些cPickle设置可以更改。在

其他选择：把你的字典分成更小的部分，然后把每一部分都打包。当你把所有东西都装进去的时候再把它们放在一起。在

抱歉，这是模糊的，我只是在胡思乱想。我想这可能还是有帮助的，因为没有其他人回答。在