从API加载多个Json响应

2024-10-05 14:28:33 发布

您现在位置:Python中文网/ 问答频道 /正文

我试图解析各个产品页面以获取每个产品的信息,并从categories API构建页面链接

def parse_categories(self, response):
    resps = json.loads(response.body)
    prods = resps.get("data").get("attributes").get(
        "main-content")[1].get("records")
    for prod in prods:
        product_link = prod.get("pdp-url")
        yield scrapy.Request(f"https://shop.lululemon.com/api{product_link}", callback=self.parse, meta={
            'pdp-url': product_link})

我的问题是,我的函数没有返回一个JSON对象供后续函数解析,每当我运行它时,得到的都是一个“NONE”值

我的第二个函数的开始是

def parse(self, response):
    resp = json.loads(response.body)
    print(resp)

有人知道如何加载第一个scrapy请求应该得到的json响应吗


Tags: 函数selfjsonget产品parseresponsedef