我的第一次蜘蛛跑不了,有什么建议吗?

2024-10-03 15:30:26 发布

您现在位置:Python中文网/ 问答频道 /正文

这是我第一次使用scrapy,也许是python中的第三次,所以我是一个noob。 这个代码的问题是它甚至没有进入页面

我试过使用: 粘壳https://www.zooplus.es/shop/tienda_perros/pienso_perros/pienso_hipoalergenico

这是有效的,然后使用

response.xpath('//*[@class="product__varianttitle ui-text--small"]')

。。。我可以检索信息

我的代码:

import scrapy

class ZooplusSpider(scrapy.Spider):
    name = 'Zooplus'
    allowed_domains = ['zooplus.es']
    start_urls = ['https://www.zooplus.es/shop/tienda_perros/pienso_perros/pienso_hipoalergenico']

def parse(self, response):
    item= scrapy.Item() 
    item['nombre']=response.xpath('//*[@class="product__varianttitle ui-text--small"]')             
    item['preciooriginal']=response.xpath('//*[@class="product__prices_col prices"]')
    item['preciorebaja']=response.xpath('//*[@class="product__specialprice__text"]')
    return item

错误消息显示:

2019-08-30 21:16:57 [scrapy.core.engine] INFO: Spider opened
2019-08-30 21:16:57 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2019-08-30 21:16:57 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
2019-08-30 21:16:57 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.zooplus.es/robots.txt> (referer: None)
2019-08-30 21:16:57 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (301) to <GET https://www.zooplus.es/shop/tienda_perros/pienso_perros/pienso_hipoalergenico> from <GET https://www.zooplus.es/shop/tienda_perros/pienso_perros/pienso_hipoalergenico/>
2019-08-30 21:16:58 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.zooplus.es/shop/tienda_perros/pienso_perros/pienso_hipoalergenico> (referer: None)
2019-08-30 21:16:58 [scrapy.core.scraper] ERROR: Spider error processing <GET https://www.zooplus.es/shop/tienda_perros/pienso_perros/pienso_hipoalergenico> (referer: None)

Tags: httpsgetesresponsewwwplusshopitem
1条回答
网友
1楼 · 发布于 2024-10-03 15:30:26

我想您还没有为items.py定义字段 错误来自项['nombre']

要么在items.py中定义字段,要么干脆替换 item=scrapy.item()item = dict()

相关问题 更多 >