无空白行的csv导出

2024-10-01 05:01:13 发布

您现在位置:Python中文网/ 问答频道 /正文

我有下面的代码:

from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor

class AliSpider(CrawlSpider):
    name = "alibot"
    allowed_domains = ["alibaba.com"]
    start_urls = {
        'http://www.alibaba.com/catalog/power-banks_cid100009648',
    }

    rules = (Rule(LinkExtractor(allow=('product-detail')), callback = 'parse_page', follow = True),)

    def parse_page(self,response):
        yield {'URL':response.url}

当我运行scrapy crawl alibot -o data.csv时,它将url保存在csv文件中。 我不希望两行之间有空白值。我可以用excel删除它,但当它是大数据时,它就变得乏味了。我不希望两个值之间有空白行,因为其他垃圾代码导入这个csv文件并从每个链接中提取数据。如果它找到一个空白行,它就停在那里,这是我不想要的。我该怎么做?谢谢。在

在数据.csv::

^{pr2}$

Tags: csv数据代码fromimportcomparseresponse
1条回答
网友
1楼 · 发布于 2024-10-01 05:01:13

好吧,这篇文章帮助了我:Can't get rid of blank rows in csv output。 在中进行这些更改设置.py文件。在

FEED_EXPORTERS = {
    'csv': 'your_project_name.exporters.FixLineCsvItemExporter',
} 

添加粘贴出口商.pyspider文件夹中的文件,其中有__init__文件。而bam,则输出文件不包含空行。在

相关问题 更多 >