使用自定义dupefilter scrapy取消所有请求我正在尝试抓取一个每个产品都有多个变体的网店。每个变体都有一个URL(即10050545/V009)。但是,在所有单个变体URL上,也可以对所有其他变体进行爬网。这意味着蜘蛛实际上只需要访问一个变体 ...2024-10-02 已阅读: n次