python中的多处理批处理突然停止

Question

我使用gensimword2vec从匹配查询文本的语料库返回最相似的文本。例如，下面是一些相关的代码行，它们从以下几行开始：

model = gensim.models.KeyedVectors.load_word2vec_format('/users/myuser/method_approaches/google_news_requirements/GoogleNews-vectors-negative300.bin.gz', binary=True)
instance = WmdSimilarity(processed_set, model, num_best=10)

然后我有一个非常简单的函数，它在传递给多处理器时运行实例：

^{pr2}$

然后我有一个批处理多处理脚本

^{3}$

当我运行这个时，实际发生的是，它运行批处理1:4。这些批处理占处理过的_集中0:96的文本，这是我正在循环的文本。但是到了第五批，96:120，它似乎只是停止处理，但没有失败、退出、崩溃或做任何事情。从视觉上看，它看起来仍在运行，但它不是因为我的cpu活动下降，进度条停止移动。在

我从U盘上看不出什么奇怪的文字。然后，我在多处理函数之外，对这些文本单独运行get_most_similar_u for_a_给定的文本函数，它们完成得很好。在

无论如何，重申一下，它总是发生在第5批。这里有人有什么见解吗？我不太熟悉多处理是如何工作的。在

再次感谢

Answer 1

这可能是因为您正在使用队列。如果队列已满，则在尝试将其放入队列时，进程将被卡住。尝试用一个非常小的处理过的_集进行测试，看看是否所有的作业都完成了。如果是这样，您可能需要使用管道来获得大量结果。在