Python中文
首页
教程
问答
标签
搜索
登录
注册
Scrapy不认识xpath
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我试图从这个页面<a href="https://octopart.com/electronic-parts/integrated-circuits-ics" rel="nofollow noreferrer">https://octopart.com/electronic-parts/integrated-circuits-ics</a>获取数据,但是从Specs按钮获取数据。我试着用这个代码来获取产品的名称,但是没有用。你知道吗</p> <pre><code>class SpecSpider(scrapy.Spider): name='specName' start_urls = ['https://octopart.com/electronic-parts/integrated-circuits-ics'] custom_settings = { 'DUPEFILTER_CLASS': 'scrapy.dupefilters.BaseDupeFilter', } def parse(self,response): return FormRequest.from_response(response, formxpath="//form[@class='btn-group']", clickdata={"value":"serp-grid"}, callback = self.scrape_pages) def scrape_pages(self, response): #open_in_browser(response) items = SpecItem() for product in response.xpath("//div[class='inner-body']/div[class='serp-wrap-all']/table[class='table-valign-middle matrix-table']"): name = product.xpath(".//tr/td[class='matrix-col-part']/a[class='nowrap']/text()").extract() items['ProductName']=''.join(name).strip() price = product.xpath("//tr/td['4']/div[class='small']/text()").extract() items['Price'] = ''.join(price).strip() yield items </code></pre> <p>这个xpath<code>response.xpath("//div[class='inner-body']/div[class='serp-wrap-all']/table[class='table-valign-middle matrix-table']")</code>不起作用。你知道吗</p> <p>有什么建议吗</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>如果您只需要顶级产品名称,请使用</p> <pre><code>.serp-card-pdp-link </code></pre> <p>并提取文本</p> <p>中间价来自css选择器</p> <pre><code>.avg-price-faux-btn </code></pre> <p>您可以使用<code>.css(selector)</code>将css与scrapy一起应用</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
如何在python中从数据帧列中删除分类值?
8 回答
如何在python中从数据帧列表中删除引号
2 回答
如何在python中从数据帧创建列表
2 回答
如何在Python中从数据帧创建嵌套的JSON
3 回答
如何在Python中从数据帧显示wordcloud
2 回答
如何在Python中从数据帧的时间戳中删除字符
4 回答
如何在Python中从数据帧绘制简单绘图?
8 回答
如何在python中从数据帧行提取具有特定长度的范围?
9 回答
如何在python中从数据帧设置dict中的值
9 回答
如何在Python中从数据库中获得一个结果
7 回答
如何在python中从数据框中绘制分类条形图
10 回答
如何在Python中从数据框中选择特定细节?
5 回答
如何在python中从数据集中删除unicode
4 回答
如何在python中从数据集中删除某些数值?
1 回答
如何在python中从数据集中选择行
9 回答
如何在Python中从数组中删除元素
5 回答
如何在python中从数组中删除单个倒逗号?
4 回答
如何在python中从数组中删除对象?
1 回答
如何在python中从数组中删除引号
3 回答
如何在python中从数组中删除所有最小值
2 回答