如何爬网重定向到“/”的站点我正在用scrapy抓取几个网站。我的蜘蛛是不允许跨越域的。在这种情况下,重定向会使爬虫程序立即停止。在大多数情况下,我知道如何处理它,但这是一个奇怪的。在 罪魁祸首是:http://www.cant ...2024-09-30 已阅读: n次