芹菜启动的进程比配置的多

Question

我运行的是芹菜机，使用redis作为代理，配置如下：

celery -A project.tasks:app worker -l info --concurrency=8

当检查芹菜运行进程的数量时，我看到超过8个

有什么我不知道的吗？最大并发有限制吗

这个问题导致了巨大的内存分配，并且正在杀死机器

Answer 1

对于并发问题，我没有任何建议

对于内存问题，您可以查看~/.redis/redis.conf中的redis配置。您有一个maxmemory属性，它对任务进行限制

参见Redis configuration

Answer 2

在默认设置下，芹菜总是比你要求的数量多启动一个进程。这个附加过程是一种簿记过程，用于协调作为辅助进程一部分的其他过程。它与芹菜的其余部分通信，并将任务分派给实际运行任务的进程

切换到不同于“prefork”默认值的池实现可能会减少创建的进程数，但这会带来新的蠕虫病毒