Python中文
首页
教程
问答
标签
搜索
登录
注册
垃圾csv文件有统一的空行吗?
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>这是蜘蛛:</p> <pre><code>import scrapy from danmurphys.items import DanmurphysItem class MySpider(scrapy.Spider): name = 'danmurphys' allowed_domains = ['danmurphys.com.au'] start_urls = ['https://www.danmurphys.com.au/dm/navigation/navigation_results_gallery.jsp?params=fh_location%3D%2F%2Fcatalog01%2Fen_AU%2Fcategories%3C%7Bcatalog01_2534374302084767_2534374302027742%7D%26fh_view_size%3D120%26fh_sort%3D-sales_value_30_days%26fh_modification%3D&resetnav=false&storeExclusivePage=false'] def parse(self, response): urls = response.xpath('//h2/a/@href').extract() for url in urls: request = scrapy.Request(url , callback=self.parse_page) yield request def parse_page(self , response): item = DanmurphysItem() item['brand'] = response.xpath('//span[@itemprop="brand"]/text()').extract_first().strip() item['name'] = response.xpath('//span[@itemprop="name"]/text()').extract_first().strip() item['url'] = response.url return item </code></pre> <p>以下是项目:</p> ^{pr2}$ <p>当我用这个命令运行蜘蛛时:</p> <pre><code>scrapy crawl danmurphys -o output.csv </code></pre> <p>输出如下: <a href="https://i.stack.imgur.com/p2AAL.png" rel="noreferrer"><img src="https://i.stack.imgur.com/p2AAL.png" alt="enter image description here"/></a></p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>要在scray1.3中修复这个问题,可以通过在<code>scrapy.exporters</code>中的<code>CsvItemExporter</code>类的<code>__init__</code>方法中添加<code>newline=''</code>作为参数来修补它。在</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
我想从用户inpu创建一个类的实例
4 回答
我想从用户导入值,为此
10 回答
我想从用户那里得到一个整数输入,然后让for循环遍历该数字,然后调用一个函数多次
2 回答
我想从用户那里收到一个列表,并在其中执行一些步骤,然后在步骤完成后将其打印回来,但它没有按照我想要的方式工作
3 回答
我想从用户那里获取输入,并将值传递给(average=dict[x]/6),然后在那里获取resu
6 回答
我想从第一个列表中展示第一个词,然后从第二个列表中展示十个词,以此类推- Python
9 回答
我想从第一个空lin开始解析文本文件
5 回答
我想从简历、简历中提取特定部分
8 回答
我想从给定字典(python)的字符串中删除\u00a9、\u201d和类似的字符。
7 回答
我想从给定的网站Lin下载许多文件扩展名相同的Wget或Python文件
5 回答
我想从网上搜集一些关于抵押贷款的数据
2 回答
我想从网站上删除电子邮件地址
4 回答
我想从网站上读取数据该网站包含可下载的文件,然后我想用python脚本把它发送给oracle如何?
4 回答
我想从网站中提取数据,然后将其显示在我的网页上
8 回答
我想从网页上提取统计数据。
9 回答
我想从网页上解析首都城市,并在用户输入国家时在终端上打印它们
3 回答
我想从色彩图中删除前n个颜色,而不丢失原始颜色数
5 回答
我想从课堂上打印字典里的键
6 回答
我想从费用表中获取学生上次支付的费用,其中学生id=id
10 回答
我想从较低的顺序对多重列表进行排序,但我无法在一行中生成结果
4 回答