在python中为多个参数并行运行单个函数的最快方法

Question

假设我有一个函数processing。我想对多个参数并行地多次运行同一个函数，而不是一个接一个地顺序运行

def processing(image_location):
    
    image = rasterio.open(image_location)
    ...
    ...
    return(result)

#calling function serially one after the other with different parameters and saving the results to a variable.
results1 = processing(r'/home/test/image_1.tif')
results2 = processing(r'/home/test/image_2.tif')
results3 = processing(r'/home/test/image_3.tif')

例如，如果我运行delineation(r'/home/test/image_1.tif')然后delineation(r'/home/test/image_2.tif')然后delineation(r'/home/test/image_3.tif')，如上面的代码所示，它将依次运行，如果一个函数运行需要5分钟，那么运行这三个函数将需要5x3=15分钟。因此，我想知道我是否可以并行/尴尬地并行运行这三个参数，以便只需5分钟就可以执行所有三个不同参数的函数

请帮助我以最快的方式完成这项工作。默认情况下，脚本应该能够利用所有可用资源/CPU/ram来完成此任务

Answer 1

使用multiprocessing库的另一种写入方式（请参阅@Alderven以了解其他函数）

import multiprocessing as mp

def calculate(input_args):
    result = input_args * 2
    return result

N = mp.cpu_count()
parallel_input = np.arange(0, 100)
print('Amount of CPUs ', N)
print('Amount of iterations ', len(parallel_input))

with mp.Pool(processes=N) as p:
    results = p.map(calculate, list(parallel_input))

results变量将包含一个包含已处理数据的列表。然后你就可以写了