我试图解析各个产品页面以获取每个产品的信息,并从categories API构建页面链接
def parse_categories(self, response):
resps = json.loads(response.body)
prods = resps.get("data").get("attributes").get(
"main-content")[1].get("records")
for prod in prods:
product_link = prod.get("pdp-url")
yield scrapy.Request(f"https://shop.lululemon.com/api{product_link}", callback=self.parse, meta={
'pdp-url': product_link})
我的问题是,我的函数没有返回一个JSON对象供后续函数解析,每当我运行它时,得到的都是一个“NONE”值
我的第二个函数的开始是
def parse(self, response):
resp = json.loads(response.body)
print(resp)
有人知道如何加载第一个scrapy请求应该得到的json响应吗
目前没有回答
相关问题 更多 >
编程相关推荐