针对任务队列框架的python多任务处理的更好方法

2024-05-18 19:23:23 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在为web scraper开发任务队列框架。该框架将启动多个worker/spider,每个worker/spider将汇集来自QUE的一个任务。现在我很难在多任务处理的不同方法之间做出选择。你认为哪个更好

  1. 使用AsyncIO进行多线程处理(每个线程中都有asycio.pool,因此每当任务需要短暂睡眠时,它都可以等待,以便工作人员可以处理其他任务)

  2. 使用AsyncIO的多进程(与上面相同,但避免GIL)

  3. 运行多个python进程(每个进程仍有asyncio工作进程)

谢谢


Tags: 方法框架webasyncio队列进程scraper线程

热门问题