Selenium即使在调用close/qui之后也不会释放内存

2024-06-01 20:03:39 发布

您现在位置:Python中文网/ 问答频道 /正文

所以我一直在研究scraper,它可以处理10k多个页面并从中收集数据。

问题是随着时间的推移,内存消耗急剧增加。所以为了克服这个问题而不是只在scrape scraper结束时关闭驱动程序实例,所以它会在加载每个页面并提取数据之后关闭实例。

但是ram内存仍然因为某些原因被填充。

我试过使用PhantomJS,但由于某些原因,它无法正确加载数据。 我还尝试使用scraper的初始版本将Firefox中的缓存限制为100mb,但这也不起作用。

注意:我使用chromedriver和firefox实例运行测试,不幸的是,我不能使用诸如请求、机械化等库。。。而不是硒。

谢谢你的帮助,因为我已经想了一个星期了。谢谢。


Tags: 数据实例内存版本驱动程序时间原因页面