如何从多处理中使用的函数中获取多个返回对象？

Question

这可能是一个很简单的问题，但肯定让我筋疲力尽。 为了使用多处理，我编写了以下代码。main函数创建两个进程，它们都使用相同的函数prepare_input_data（），但处理不同的输入数据集。此函数必须为每个输入返回多个对象和值，以便在代码的下一步中使用（此处不包括）。在

我想要的是从多处理中使用的函数中获取多个值或对象作为返回。在

def prepare_input_data(inputdata_address,temporary_address, output):
    p=current_process()
    name = p.name
    data_address = inputdata_address 
    layer = loading_layer(data_address)    

    preprocessing_object = Preprocessing(layer)
    nodes= preprocessing_object.node_extraction(layer)
    tree = preprocessing_object.index_nodes()
    roundabouts_dict , roundabouts_tree= find_roundabouts(layer.address, layer, temporary_address)

    #return layer, nodes, tree, roundabouts_dict, roundabouts_tree
    #return [layer, nodes, tree, roundabouts_dict, roundabouts_tree]
    output.put( [layer, nodes, tree, roundabouts_dict, roundabouts_tree])


if __name__ == '__main__':
    print "the data preparation in multi processes starts here"
    output=Queue() 
    start_time=time.time()
    processes =[]
    #outputs=[]
    ref_process = Process(name ="reference", target=prepare_input_data, args=("D:/Ehsan/Skane/Input/Skane_data/Under_processing/identicals/clipped/test/NVDB_test3.shp", "D:/Ehsan/Skane/Input/Skane_data/Under_processing/temporary/",output)) 
    cor_process = Process(name ="corresponding", target=prepare_input_data, args=("D:/Ehsan/Skane/Input/Skane_data/Under_processing/identicals/clipped/test/OSM_test3.shp", "D:/Ehsan/Skane/Input/Skane_data/Under_processing/temporary/",output))
    #outputs.append(ref_process.start)
    #outputs.append(cor_process.start)
    ref_process.start
    cor_process.start
    processes.append(ref_process)
    processes.append(cor_process)
    for p in processes:
        p.join()

    print "the whole data preparation took ",time.time()-start_time
    results={}
    for p in processes:
        results[p.name]=output.get()
    ########################
    #ref_info = outputs[0]
    # ref_nodes=ref_info[0]

上一个错误 当我使用return时，ref_info[0]有Nonetype。在

错误： 根据答案here，我将其更改为传递给函数的Queueu对象，然后使用put（）添加结果，并使用get（）检索结果以进行进一步处理。在

^{pr2}$

你能帮我解决在多重处理中如何从一个函数返回多个值吗？在

Answer 1

使用共享状态的并行编程是一条崎岖的道路，即使是经验丰富的程序员也会犯错。一个对初学者更友好的方法是复制数据。这是在子进程之间移动数据的唯一方法（不完全正确，但这是一个高级主题）。在

引用https://docs.python.org/2/library/multiprocessing.html#exchanging-objects-between-processes，您需要设置一个多处理队列为每个子流程填充返回的数据。之后，您可以将要读取的队列传递到下一个阶段。在

对于多个不同的数据集，如层、节点、树等，可以使用多个队列来区分每个返回值。为每个队列使用一个队列似乎有点混乱，但它简单易懂而且安全。在

希望有帮助。在

Answer 2

如果您希望从multiprocessing获取多个返回值，那么您可以这样做。下面是一个简单的示例，首先是在串行python中，然后是multiprocessing：

>>> a,b = range(10), range(10,0,-1)
>>> import math
>>> map(math.modf, (1.*i/j for i,j in zip(a,b)))
[(0.0, 0.0), (0.1111111111111111, 0.0), (0.25, 0.0), (0.42857142857142855, 0.0), (0.6666666666666666, 0.0), (0.0, 1.0), (0.5, 1.0), (0.3333333333333335, 2.0), (0.0, 4.0), (0.0, 9.0)]
>>> 
>>> from multiprocessing import Pool
>>> res = Pool().imap(math.modf, (1.*i/j for i,j in zip(a,b)))
>>> for i,ai in enumerate(a):
...   x,y = res.next()
...   print("{x},{y} = modf({u}/{d})").format(x=x,y=y,u=ai,d=b[i])
... 
0.0,0.0 = modf(0/10)
0.111111111111,0.0 = modf(1/9)
0.25,0.0 = modf(2/8)
0.428571428571,0.0 = modf(3/7)
0.666666666667,0.0 = modf(4/6)
0.0,1.0 = modf(5/5)
0.5,1.0 = modf(6/4)
0.333333333333,2.0 = modf(7/3)
0.0,4.0 = modf(8/2)
0.0,9.0 = modf(9/1)

因此，要从带有multiprocessing的函数返回多个值，您只需要有一个返回多个值的函数……您只需将这些值作为元组列表返回。在

multiprocessing的主要问题是大多数函数没有序列化。所以，如果你真的想做你想做的事情…我强烈建议你使用pathos（如下所述）。使用multiprocessing最大的障碍是作为目标传递的函数必须是可序列化的。您可以对prepare_input_data函数进行一些修改……第一个修改是确保它被封装。如果您的函数没有完全封装（例如，它在自己的作用域之外有名称引用查找），那么它可能不会使用pickle进行pickle。这意味着您需要在目标函数中包含所有导入，并通过函数输入传递任何其他变量。您看到的错误（UnPicklableError）是由于目标函数及其依赖项无法序列化，也不是因为您不能从multiprocessing返回多个值。在

尽管作为一个好的实践，我还是将目标函数封装起来，但它可能有点乏味，并且可能会使代码慢一点。我还建议您将代码转换为使用dill，并且pathos.multiprocessingdill是一个高级序列化程序，可以对几乎所有python对象进行pickle，pathos提供了一个使用dill的multiprocessing分叉。这样，您就可以传递pipe（即apply）或{}中的大多数python对象，而不必太担心花太多精力重构代码，以确保普通的pickle和{}可以处理它。在

另外，我将使用异步map而不是执行上面的操作。pathos.multiprocessing具有在map函数中获取多个参数的能力，因此您不需要像上面所做的那样将它们包装在元组args中。使用异步map时，接口应该更干净，如果需要，可以返回多个参数……只需将它们打包在一个元组中。在

这里有一些例子可以证明我上面所指的。在

返回多个值：

^{pr2}$

异步映射： Python multiprocessing - tracking the process of pool.map operation

pathos： Can't pickle <type 'instancemethod'> when using python's multiprocessing Pool.map()

pathos： What can multiprocessing and dill do together?

我们仍然无法运行您的代码…但如果您发布可以运行的代码，则可能会有助于编辑代码（使用pathosfork和异步map或其他方法）。在

仅供参考：pathos的发行版有点过期（也就是说晚了），所以如果你想试试的话，最好在这里得到代码：https://github.com/uqfoundation