我正试图在这个网站上抓取数据 :https://scrapingclub.com/exercise/detail_cookie/ 但数据存储在 此url:https://scrapingclub.com/exercise/ajaxdetail_cookie/?token=YQ00FY4B4D
每次访问时,令牌都会更改
我不知道如何从第二个url中提取数据
import json
class FindgoldSpider(scrapy.Spider):
name = 'findgold'
def start_requests(self):
url='https://scrapingclub.com/exercise/ajaxdetail_cookie/?token='
headers = {
'User-Agent': 'Mozilla/5.0',
'X-Requested-With' : 'XMLHttpRequest' ,
}
cookies = {
'__cfduid' : 'd6ec4f3842fa1b47ec88a035af6773fd11599773899' ,
}
yield scrapy.http.Request(url, headers=headers)
def parse(self, response):
data = response.json
print(data)
谢谢你的回答,这对我很有帮助,但我仍然很困惑:
如果我不理解错误,我希望它能帮助你。试着帮忙
相关问题 更多 >
编程相关推荐