为什么我们必须显式地将常量传递到多处理函数中？

Question

我一直在使用multiprocessing软件包来加速某些地理处理（GIS/arcpy）任务，这些任务是多余的，需要对2000多个类似的几何图形执行相同的操作。在

分拆工作很好，但我的“工人”职能相当长和复杂，因为任务本身从头到尾都很复杂。我想把这些步骤分解得更详细一些，但是在向worker函数传递信息/从worker函数传递信息时遇到了困难，因为出于某种原因，多处理下的worker函数使用的任何东西都需要显式地传入。在

这意味着我不能在if __name__ == '__main__'的主体中定义常量，然后在worker函数中使用它们。这也意味着我的worker函数的参数列表变得非常长，这是非常难看的，因为尝试使用多个参数还需要创建一个helper“star”函数，然后itertools将它们重新压缩（这是this question上的第二个答案）。在

我在下面创建了一个小例子来演示我所说的。有什么解决办法吗？我应该用一种不同的方法，或者至少有人能解释一下为什么会这样？在

注意：我正在Windows Server 2008 R2 Enterprise x64上运行此程序。在

编辑：我的问题似乎还不够清楚。我不太关心pool.map如何只接受一个参数（尽管这很烦人），但是我不理解为什么在if __name__ == '__main__'之外定义的函数的作用域不能访问该块中定义的内容，如果它被用作多处理函数，除非您显式地将其作为参数传递，这是令人讨厌的。在

import os
import multiprocessing
import itertools

def loop_function(word):
    file_name = os.path.join(root_dir, word + '.txt')
    with open(file_name, "w") as text_file:
        text_file.write(word + " food")

def nonloop_function(word, root_dir): # <------ PROBLEM
    file_name = os.path.join(root_dir, word + '.txt')
    with open(file_name, "w") as text_file:
        text_file.write(word + " food")

def nonloop_star(arg_package):
     return nonloop_function(*arg_package)

# Serial version
#
# if __name__ == '__main__':
# root_dir = 'C:\\hbrowning'
# word_list = ['dog', 'cat', 'llama', 'yeti', 'parakeet', 'dolphin']
# for word in word_list:
#     loop_function(word)
#
## --------------------------------------------

# Multiprocessing version
if __name__ == '__main__':
    root_dir = 'C:\\hbrowning'
    word_list = ['dog', 'cat', 'llama', 'yeti', 'parakeet', 'dolphin']
    NUM_CORES = 2
    pool = multiprocessing.Pool(NUM_CORES, maxtasksperchild=1)

    results = pool.map(nonloop_star, itertools.izip(word_list, itertools.repeat(root_dir)),
                   chunksize=1)
    pool.close()
    pool.join()

Answer 1

Python » 3.6.1 Documentation: multiprocessing.pool.Pool

map(func, iterable[, chunksize])
A parallel equivalent of the map() built-in function (it supports only one iterable argument though)

没有任何限制，只有它必须是一个可接受的！
尝试一个class Container，例如：

class WP(object):
    def __init__(self, name):
        self.root_dir ='C:\\hbrowning'
        self.name = name

word_list = [WP('dog'), WP('cat'), WP('llama'), WP('yeti'), WP('parakeet'), WP('dolphin')]
results = pool.map(nonloop_star, word_list, chunksize=1)

Note: The Var Types inside the class have to be pickleable!
Read about what-can-be-pickled-and-unpickled