将难堪的可并联发电机并联的简单方法

Question

我有一个发电机（或者，一个发电机列表）。我们叫他们gens

gens中的每个生成器都是一个复杂函数，返回复杂过程的下一个值。幸运的是，它们彼此独立

我想为gens中的每个元素gen调用gen.__next__()，并在列表中返回结果值。然而，酸洗发生器的多重处理并不令人满意

在Python中是否有一种快速、简单的方法来实现这一点？我希望长度为m的gens在我的机器上本地映射到n个核，其中n可以大于或小于m。每台发电机应在单独的铁芯上运行

如果这是可能的，有人能提供一个最小的例子吗

Answer 1

如果您的子任务是真正并行的（不依赖于任何共享状态），那么您可以使用multiprocesing.Pool()实现这一点

看看 https://docs.python.org/3/library/multiprocessing.html#multiprocessing.pool.Pool

这要求您使pool.map（）的参数可序列化。您不能将生成器传递给工作程序，但可以通过在目标函数中定义生成器，并将初始化参数传递给多处理库来实现类似的功能：

import multiprocessing as mp
import time

def worker(value):
    # The generator is defined inside the multiprocessed function
    def gen():
        for k in range(value):
            time.sleep(1) # Simulate long running task
            yield k

    # Execute the generator
    for x in gen():
        print(x)
        # Do something with x?
        pass


pool = mp.Pool()
pool.map(worker, [2, 5, 2])

pool.join() # Wait for all the work to be finished.
pool.close() # Clean up system resources

输出将是：

0
0
0
1
1
1
2
3
4

请注意，此解决方案只有在您构建生成器，然后只使用它们一次时才真正起作用，因为它们的最终状态在辅助函数结束时丢失

请记住，由于进程间通信的限制，任何时候想要使用多处理时，都必须使用for serializable objects；这常常被证明是有限的

如果您的进程不受CPU限制，而是受I/O限制（磁盘访问、网络访问等），那么使用线程就会容易得多