Python多进程代码成功地将结果返回到队列,但代码停止

2024-10-17 06:12:43 发布

您现在位置:Python中文网/ 问答频道 /正文

不知道你能不能帮忙?我是Python新手,正在尝试编写一段简单的代码来并行计算素数(跨多个CPU核)。。。我知道这很蹩脚,但学习Python线程等似乎是一段合理的代码

我已经成功地使用线程运行了代码,但现在正在研究进程。你知道吗

下面的代码在我收集结果之前运行良好。我曾尝试使用eclipse&pdev调试器进行调试,并发现用于从outputQueue中删除项的While循环在3次迭代后似乎仍然存在,因此代码实际上从未到达输出结果的阶段。你知道吗

任何意见/建议/帮助都将不胜感激。你知道吗

非常感谢

克雷格 ------代码

from multiprocessing import Process, Queue

# return true if number is prime, else false
def calcPrime(number):    
    divisor=2
    if number%2==0: 
        return False

    numberIsPrime=True
    while divisor*divisor <= number:   
        if number % divisor == 0:
            numberIsPrime = False
            break
        divisor = divisor + 1
    return numberIsPrime

# generate list of primes
def generatePrimes(minimum, maximum):
    return [num for num in range(minimum,maximum) if calcPrime(num)==True]

def workerThread(output, mn, mx):
    primelist=generatePrimes(mn,mx)
    output.put(primelist)

def main():
    outputQueue=Queue()

    t=[]
    t.append(Process(target=workerThread, args=(outputQueue, 1,25000)))
    t.append(Process(target=workerThread, args=(outputQueue, 25001, 50000)))
    t.append(Process(target=workerThread, args=(outputQueue, 50001, 75000)))
    t.append(Process(target=workerThread, args=(outputQueue, 75001, 100000)))

    #start all threads
    for idx in range(len(t)):
        t[idx].daemon=True
        t[idx].start()

    #wait for all process threads to complete
    for p in t:
        p.join()
    print("Processes finished")

    # gather all results
    l=[]
    while True:
        try:  
            l+=outputQueue.get()  # Code seems to stick here after about 3-4 iterations
        except:
            break

    #print out our lovely primes
    for idx in range(len(l)):
        print (str(l[idx]))    

# standard code        
if __name__ == '__main__':
    main()

Tags: 代码intruenumbertargetforreturnif
1条回答
网友
1楼 · 发布于 2024-10-17 06:12:43

此代码是一个无限循环:

l=[]
while True:
    try:  
        l+=outputQueue.get()  # Code seems to stick here after about 3-4 iterations
    except:
        break

get()的调用被阻塞,也就是说,它将等待您发送一些内容。 在您的例子中,当进程结束时,循环对get()执行另一个永远不会返回的调用。你知道吗

因为您知道进程的数量,所以只需执行get()个数:

l = sum((outputQueue.get() for _ in range(t)), [])

如果进程可以推送数量可变的结果,那么您可以在工作进程完成时发送一个sentinel值(例如None)。收集输出的进程可以计算它接收到多少sentinel,并最终停止查询队列。你知道吗

相关问题 更多 >