运行20个使用Redis作为队列的python worker是否很常见？

Question

这个程序监听Redis队列。如果Redis中有数据，工人就开始工作。所有这些作业都必须同时运行，这就是为什么每个worker监听一个特定的Redis队列。在

我的问题是：运行20多个工人来听Redis是不是很常见？在

python/usr/src/worker1.py python/usr/src/worker2.py python/usr/src/worker3.py python/usr/src/worker4.py python/usr/src/worker5.py .... .... python/usr/src/worker6.py

Answer 1

如果你的员工需要处理一个长时间的数据任务，这是一个解决方案。但是每个数据必须由一个工人处理。在

通过这种方式，您可以轻松（无线程等）分发任务，如果您的工作人员不在同一个服务器上工作会更好

Answer 2

有多个工作进程（当我指的是“多个”时，我指的是数百个或更多），可能运行在不同的机器上，从作业队列获取作业确实是当今的一种常见模式。甚至还有专门用于此类工作流的整个包/框架，例如celeri。在

不太常见的是，尝试以一种看似特别的方式从头开始编写整个任务队列系统，而不是使用像芹菜、ZeroMQ或类似的专用任务队列系统。在