我有一个蜘蛛我给它这个url https://tuskys.dpo.store/#!/~/search/keyword=dairy milk
然而,当我尝试在scrapy解析方法中获取url时,url看起来像https://tuskys.dpo.store/?_escaped_fragment_=%2F%7E%2Fsearch%2Fkeyword%3Ddairy%2520milk
下面是演示我的问题的演示代码
import scrapy
class TuskysDpoSpider(scrapy.Spider):
name = "Tuskys_dpo"
#allowed_domains = ['ebay.com']
start_urls = ['https://tuskys.dpo.store/#!/~/search/keyword=dairy milk']
def parse(self, response):
yield{'url':response.url}
结果:{"url": "https://tuskys.dpo.store/?_escaped_fragment_=%2F%7E%2Fsearch%2Fkeyword%3Ddairy%2520milk"}
为什么我的scrapy response url与我定义的url不完全相同?有没有办法解决这个问题?
您应该使用
response.request.url
,因为您是从起始url重定向的,所以response.url
是重定向到的url相关问题 更多 >
编程相关推荐