用于大型数据集的Python defaultdict

Question

我使用defaultdict来存储数百万个短语，所以我的数据结构看起来像mydict['string'] = set(['other', 'strings'])。对于较小的集合，它似乎可以正常工作，但是当我碰到任何超过1000万个键时，我的程序就会崩溃，并显示一个有用的消息Process killed。我知道defaultdict是内存密集型的，但是有没有一种使用defaultdicts进行存储的优化方法，还是需要查看其他数据结构，如numpy array？在

谢谢你

Answer 1

也许可以试试redis的set数据类型：

Redis Sets are unordered collections of strings. The SADD command adds new elements to a set. It's also possible to do a number of other operations against sets like testing if a given element already exists...

从这里：http://redis.io/topics/data-types-intro

redis-py支持这些命令。在