在shell中运行的无用代码,但在作为完整程序运行时不会

2024-10-03 13:21:12 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在努力清理这个网站-https://www.rentomojo.com/mumbai/electronics/smartphones-on-rent

enter image description here

因此,当我在scrapy shell response.css(".col-xs-6 ::attr(href)").extract()中运行以下代码时,我得到了正确的输出

但是当我在atom中使用scrapy crawl rentomojo1 -o output.csv运行以下代码时

我得到一个空的csv文件只包含/。 下面是我在atom中执行的代码-

    import scrapy
from ..items import RentomojoItem

class Rentomojo(scrapy.Spider):

        name = 'rentomojo1'

        start_urls = ['https://www.rentomojo.com/mumbai/electronics/smartphones-on-rent']

        def parse(self,response):

            items = RentomojoItem()


            info3 = response.css(".col-xs-6 ::attr(href)").extract()


            for items in info3:
                scraped_info = {
                    'name' : items[0]
                }
                yield scraped_info

如果有任何帮助,我将不胜感激。谢谢你


Tags: 代码httpscomonresponsewwwitemscol