并行for循环python

Question

我想在python中并行化for循环。在

回路由发电机供电，我预计有10亿个项目。在

结果发现，joblib有一个巨大的内存泄漏

Parallel(n_jobs=num_cores)(delayed(testtm)(tm) for tm in powerset(all_turns))

我不想在这个循环中存储数据，只是有时打印出一些东西，但是主线程在几秒钟内就增长到1GB大小。在

对于大量迭代，还有其他的框架吗？在

Answer 1

from multiprocessing import Pool

if __name__ == "__main__":
   pool = Pool() # use all available CPUs
   for result in pool.imap_unordered(delayed(testtm), powerset(all_turns),
                                     chunksize=1000):
       print(result)