Scrapy:当我们在telnet中检查Selector对象时,有没有一个常见的错误,为什么Selector对象占用了大量内存?

2024-06-02 11:05:31 发布

您现在位置:Python中文网/ 问答频道 /正文

enter image description here

这是prefs()的图片。 我通过使用JOBDIR设置解决了请求内存泄漏问题,但找不到与selector对象相关的任何问题。 出于保密的原因,我不能粘贴整个蜘蛛文件在这里,但这里是一个小的代码段:-你知道吗

title = div.xpath('.//div/div/a/@title').extract_first()
pagelink = div.xpath('.//div/div/a/@href').extract_first()
isbn_10 = div.xpath(isbn_10_sel).extract_first()
isbn_13 = div.xpath(isbn_13_sel).extract_first()

所有这些都是简单的xpath选择器。 任何帮助都将不胜感激。先谢谢你。你知道吗


Tags: 对象内存divtitle图片extract原因selector