当存在多个重复链接时,如何提高爬行速度我正在使用Scrapy来抓取一个有数百万个页面的网站,我需要跟踪这些页面并从中提取信息 爬虫目前每分钟只抓取两百页,我需要加快速度 对于每个页面,爬虫将提取其链接并跟踪它们。问题是每个页面都有大约60 ...2024-09-30 已阅读: n次