所以我一直在研究scraper,它可以处理10k多个页面并从中收集数据。
问题是随着时间的推移,内存消耗急剧增加。所以为了克服这个问题而不是只在scrape scraper结束时关闭驱动程序实例,所以它会在加载每个页面并提取数据之后关闭实例。
但是ram内存仍然因为某些原因被填充。
我试过使用PhantomJS,但由于某些原因,它无法正确加载数据。 我还尝试使用scraper的初始版本将Firefox中的缓存限制为100mb,但这也不起作用。
注意:我使用chromedriver和firefox实例运行测试,不幸的是,我不能使用诸如请求、机械化等库。。。而不是硒。
谢谢你的帮助,因为我已经想了一个星期了。谢谢。
目前没有回答
相关问题 更多 >
编程相关推荐