如何使用Python3多处理来运行多个Bash命令

Question

我创建了一个bash脚本来自动化多个工具。这个bash脚本接受一个字符串作为输入，并对其执行多个任务。 纸条的结构类似于

#!/bin/bash
tool1 $1
tool2 $1
tool3 $1
tool4 $1
tool5 $1

我想使用Python3多处理来运行n个并发/并行工具，以加快进程。 如何在Python中实现这一点

Answer 1

您可以像这样使用^{}和^{}：

import sys
import os 
import multiprocessing

tools = ['tool1', 'tool2', 'tool3', 'tool4', 'tool5']
arg1 = sys.argv[1]

p = multiprocessing.Pool(len(tools))
p.map(os.system, (t + ' ' + arg1 for t in tools))

这将启动len(tools)并行进程，这些进程将执行os.system('toolN arg')

不过，一般来说，您不需要Pool(len(tools))，因为如果启动的进程数超过机器上可用的核数N，则无法很好地扩展，因此您应该改为Pool()。这仍然会执行每个工具，但最多会同时执行N个