痒蜘蛛被自动杀死

2024-09-28 17:00:11 发布

您现在位置：Python中文网/ 问答频道 /正文
3643 3

我有一个蜘蛛爬网上商店。在Cloud9上没问题，但在我把它移到我的1cpu0.5ramvps之后。蜘蛛总是在10-20秒后被杀死。我想可能是内存泄漏，所以我使用了trackrefs，下面是几个prefs()的结果

Selector                          526   oldest: 151s ago
ColesSpider                         1   oldest: 302s ago
Request                           452   oldest: 301s ago
ColesItem                          11   oldest: 4s ago
HtmlResponse                       73   oldest: 152s ago

Selector                          574   oldest: 749s ago
ColesSpider                         1   oldest: 900s ago
Request                           106   oldest: 899s ago
ColesItem                          13   oldest: 2s ago
HtmlResponse                       43   oldest: 750s ago


Selector                          755   oldest: 789s ago
ColesSpider                         1   oldest: 940s ago
Request                           105   oldest: 939s ago
ColesItem                          14   oldest: 6s ago
HtmlResponse                       58   oldest: 791s ago

有什么地方觉得可疑吗？为什么有这么多Selectors？我尝试了get_oldest，但它返回了<Selector xpath=None data=u'<html class="no-js not-ready" lang="en" '>，我认为我在代码中没有选择这个。在

任何想法都将不胜感激。在

蜘蛛：

^{pr2}$

Tags： 内存request地方agoselectorprefs蜘蛛oldest
0条回答

目前没有回答

相关问题 更多 >

    编程相关推荐