为什么Scrapy会在抓取主url之前抓取一些其他url?我想要爬网的主url是http://192.168.1.1/adslconfig.htm,但它首先尝试爬网这个url http://192.168.1.1/robots.txt,它失败了,状态代码为4 ...2024-09-28 已阅读: n次