为什么这段代码尝试一个列表元素与所有其他成员的所有排列，并以退出状态137退出？

Question

我有一个大的文本语料库（~170kB），我想训练一个NLP应用程序

然而，试图使列表的所有元素的列表与同一列表的所有其他元素一次配对一个，导致程序以退出代码137退出

def wordsToBigrams(words):
    totalSentenceBigrams = [(a,b) for b in words for a in words]

Answer 1

在构建该列表时，很可能内存不足。为了避免这种情况，请使用the ^{} library并在生成每个对时对其进行处理。或者将生成的对保存到文件以备以后使用

具体来说，使用product函数：

Equivalent to nested for-loops in a generator expression. For example, product(A, B) returns the same as ((x,y) for x in A for y in B).

编辑：是的，您的脚本需要大量内存-这是我的计算机上的内存消耗：