进程池：一个进程完成后自动添加一个进程

Question

我有一个函数，它创建一个进程“池”，并执行池中的每个进程。你知道吗

def sendAndExecutePybotTests(poolProcessNum):
    fullList = _generatePybotList()
    print fullList
    pool = [fullList[i:i+int(poolProcessNum)] for i in range(0, len(fullList), int(poolProcessNum))]
    for chunk in pool:
        procs = []
        for executeLine in chunk:
            proc = Process(target=_executePybotTest, args=(executeLine,))
            procs.append(proc)
            # time interval=1 second for each suite
            time.sleep(1)
            proc.start()

        for proc in procs:
            proc.join()

executePybotTest（仅调用子进程来执行命令）：

def _executePybotTest(executeLine):    
    subprocess.call(executeLine,shell=True)

我用它来并行运行自动化测试。但是由于加入了这个池，它会等待池中的所有进程完成，然后继续执行其他等待执行的项。你知道吗

我正在研究实现一个队列，并在池中的一个进程完成后自动执行队列中的下一个。我不知道该怎么做。你知道吗

Answer 1

我将使用multiprocessing创建/管理Pool of processes，并使用^{}将测试列表分发给池中的进程。然后每个进程都可以在接收测试时执行测试。map方法为您处理将任务分配到池中每个进程的问题，因此您不必亲自实现它。你知道吗

from multiprocessing import Pool

def execute_test(input):
    print("executing test " + input)

if __name__ == "__main__":
    full_list = _generatePybotList()
    p = Pool(poolProcessNum)
    p.map(execute_test, full_list)
    p.close()
    p.join()