我有下面的代码:
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
class AliSpider(CrawlSpider):
name = "alibot"
allowed_domains = ["alibaba.com"]
start_urls = {
'http://www.alibaba.com/catalog/power-banks_cid100009648',
}
rules = (Rule(LinkExtractor(allow=('product-detail')), callback = 'parse_page', follow = True),)
def parse_page(self,response):
yield {'URL':response.url}
当我运行scrapy crawl alibot -o data.csv
时,它将url保存在csv文件中。
我不希望两行之间有空白值。我可以用excel删除它,但当它是大数据时,它就变得乏味了。我不希望两个值之间有空白行,因为其他垃圾代码导入这个csv文件并从每个链接中提取数据。如果它找到一个空白行,它就停在那里,这是我不想要的。我该怎么做?谢谢。在
在数据.csv::
^{pr2}$
好吧,这篇文章帮助了我:Can't get rid of blank rows in csv output。 在中进行这些更改设置.py文件。在
添加粘贴出口商.pyspider文件夹中的文件,其中有
__init__
文件。而bam,则输出文件不包含空行。在相关问题 更多 >
编程相关推荐