在python多处理p中为worker获取唯一ID

Question

有没有一种方法可以为python多处理池中的每个worker分配一个惟一的ID，从而使池中的某个特定worker运行的作业能够知道哪个worker在运行它？根据文件，a Process有一个name但是

The name is a string used for identification purposes only. It has no semantics. Multiple processes may be given the same name.

对于我的特定用例，我想在一个由四个GPU组成的组上运行一组作业，并且需要为该作业应该运行的GPU设置设备号。由于作业的长度不一致，我希望确保在前一个作业完成之前，在试图在其上运行的作业的GPU上不会发生冲突（因此这排除了提前为工作单元预先分配ID）。

Answer 1

我用线程完成了这项工作，最后使用a queue来处理作业管理。这是基线。我的完整版本有一堆try-catches（特别是在worker中，以确保即使失败也调用q.task_done()）。

from threading import Thread
from queue import Queue
import time
import random


def run(idx, *args):
    time.sleep(random.random() * 1)
    print idx, ':', args


def run_jobs(jobs, workers=1):
    q = Queue()
    def worker(idx):
        while True:
            args = q.get()
            run(idx, *args)
            q.task_done()

    for job in jobs:
        q.put(job)

    for i in range(0, workers):
        t = Thread(target=worker, args=[i])
        t.daemon = True
        t.start()

    q.join()


if __name__ == "__main__":
    run_jobs([('job', i) for i in range(0,10)], workers=5)

我不需要使用多处理（我的工作人员只是调用外部进程），但这可以扩展。用于多处理的API改变了它，下面是如何适应的：

from multiprocessing import Process, Queue
from Queue import Empty
import time
import random

def run(idx, *args):
    time.sleep(random.random() * i)
    print idx, ':', args


def run_jobs(jobs, workers=1):
    q = Queue()
    def worker(idx):
        try:
            while True:
                args = q.get(timeout=1)
                run(idx, *args)
        except Empty:
            return

    for job in jobs:
        q.put(job)

    processes = []
    for i in range(0, workers):
        p = Process(target=worker, args=[i])
        p.daemon = True
        p.start()
        processes.append(p)

    for p in processes: 
        p.join()


if __name__ == "__main__":
    run_jobs([('job', i) for i in range(0,10)], workers=5)

两个版本都将输出如下内容：

0 : ('job', 0)
1 : ('job', 2)
1 : ('job', 6)
3 : ('job', 3)
0 : ('job', 5)
1 : ('job', 7)
2 : ('job', 1)
4 : ('job', 4)
3 : ('job', 8)
0 : ('job', 9)