Python中文
首页
教程
问答
标签
搜索
登录
注册
芹菜不能释放记忆
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>任务完成后,芹菜似乎不会释放记忆。每次任务完成时,都会有5-10米的内存泄漏。所以有成千上万的任务,很快就会耗尽所有的内存。</p> <pre><code>BROKER_URL = 'amqp://user@localhost:5672/vhost' # CELERY_RESULT_BACKEND = 'amqp://user@localhost:5672/vhost' CELERY_IMPORTS = ( 'tasks.tasks', ) CELERY_IGNORE_RESULT = True CELERY_DISABLE_RATE_LIMITS = True # CELERY_ACKS_LATE = True CELERY_TASK_RESULT_EXPIRES = 3600 # maximum time for a task to execute CELERYD_TASK_TIME_LIMIT = 600 CELERY_DEFAULT_ROUTING_KEY = "default" CELERY_DEFAULT_QUEUE = 'default' CELERY_DEFAULT_EXCHANGE = "default" CELERY_DEFAULT_EXCHANGE_TYPE = "direct" # CELERYD_MAX_TASKS_PER_CHILD = 50 CELERY_DISABLE_RATE_LIMITS = True CELERYD_CONCURRENCY = 2 </code></pre> <p>可能与问题相同,但它没有答案: <a href="https://stackoverflow.com/questions/10302503/rabbitmq-celery-django-memory-leak">RabbitMQ/Celery/Django Memory Leak?</a></p> <p>我不使用django,我的软件包是:</p> <pre><code>Chameleon==2.11 Fabric==1.6.0 Mako==0.8.0 MarkupSafe==0.15 MySQL-python==1.2.4 Paste==1.7.5.1 PasteDeploy==1.5.0 SQLAlchemy==0.8.1 WebOb==1.2.3 altgraph==0.10.2 amqp==1.0.11 anyjson==0.3.3 argparse==1.2.1 billiard==2.7.3.28 biplist==0.5 celery==3.0.19 chaussette==0.9 distribute==0.6.34 flower==0.5.1 gevent==0.13.8 greenlet==0.4.1 kombu==2.5.10 macholib==1.5.1 objgraph==1.7.2 paramiko==1.10.1 pycrypto==2.6 pyes==0.20.0 pyramid==1.4.1 python-dateutil==2.1 redis==2.7.6 repoze.lru==0.6 requests==1.2.3 six==1.3.0 tornado==3.1 translationstring==1.1 urllib3==1.6 venusian==1.0a8 wsgiref==0.1.2 zope.deprecation==4.0.2 zope.interface==4.0.5 </code></pre> <p>我刚刚添加了一个测试任务,比如,test_string是一个大字符串,它仍然有内存泄漏:</p> <pre><code>@celery.task(ignore_result=True) def process_crash_xml(test_string, client_ip, request_timestamp): logger.info("%s %s" % (client_ip, request_timestamp)) test = [test_string] * 5 </code></pre>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>在设置中设置<a href="http://docs.celeryproject.org/en/latest/userguide/workers.html#max-tasks-per-child-setting" rel="nofollow noreferrer">worker_max_tasks_per_child</a></p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
为什么在使用strptime时会出现未进行转换的数据错误?
2 回答
为什么在使用strptim时会出现这个datetime日期错误
3 回答
为什么在使用StyleFrame时索引列的标题不显示sf.至excel()?
2 回答
为什么在使用sum()函数时会发生“int”对象不可调用的错误?
2 回答
为什么在使用sympy.dsolve时会得到“'list'对象没有属性'func'”?
7 回答
为什么在使用tabla时会得到一个空的数据帧?
1 回答
为什么在使用tensorboard时需要add_graph()的第二个参数?
2 回答
为什么在使用TensorFlow Lite转换YOLOv4时,推断时间/大小没有改进?有什么可能的改进吗?
7 回答
为什么在使用Tensorflow加载训练批时会出现内存泄漏?
10 回答
为什么在使用tensorflow时会收到警告/错误(使用函数API,但未实现错误)
1 回答
为什么在使用tetpyclient发出POST请求时出现403错误?
5 回答
为什么在使用TextBlob时会出现HTTP错误?
4 回答
为什么在使用TFIDF时出现错误“IndexError:list index out of range”pyspark.ml.feature?
8 回答
为什么在使用timedelta格式化之后,我在python中的日期是错误的?
10 回答
为什么在使用timeit或exec函数时,函数中的变量不会在提供的全局命名空间中搜索?
8 回答
为什么在使用tkinter时不能使用复选框?
4 回答
为什么在使用todoistpythonapi时会返回这个奇怪的ID?
10 回答
为什么在使用TQM时,在调整图像大小时,处理时间会有很大的差异?
7 回答
为什么在使用Tweepy下载用户时间线时收到错误消息
1 回答
为什么在使用twitter帐户登录Django应用程序时重定向127.0.0.1:8000?
7 回答