2024-05-18 19:23:23 发布
网友
我正在为web scraper开发任务队列框架。该框架将启动多个worker/spider,每个worker/spider将汇集来自QUE的一个任务。现在我很难在多任务处理的不同方法之间做出选择。你认为哪个更好
使用AsyncIO进行多线程处理(每个线程中都有asycio.pool,因此每当任务需要短暂睡眠时,它都可以等待,以便工作人员可以处理其他任务)
使用AsyncIO的多进程(与上面相同,但避免GIL)
运行多个python进程(每个进程仍有asyncio工作进程)
谢谢
目前没有回答
目前没有回答
相关问题 更多 >
编程相关推荐