scray中的Xpath或css选择器属性值

Question

你好，我是scrapy的新手，我想从html元素中提取一个属性值。那么从html中提取属性值的正确方法是什么呢。我想提取“datanexturl”属性

<div class="loading_more_jobs" data-type="loading_more_jobs" style="display:none;" data-next-url="https://www.ziprecruiter.com/candidate/search?search=restaurant&amp;page=2&amp;location=Atlanta%2C+Georgia"></div>

我正在使用xpath，但它不起作用

^{pr2}$

Answer 1

如果您检查源HTML，您会发现：

  <button class="load_more_jobs" data-type="load_more_jobs" data-next-url="">Load More Job Results</button>
  <div class="loading_more_jobs" data-type="loading_more_jobs" style="display:none;"></div>

但你还是可以得到下一页的网址：

^{pr2}$

=>

response.xpath('//div[@class="job_results"]/@data-next-url').extract_first()

或者

<link rel="next" href="https://www.ziprecruiter.com/candidate/search?location=Atlanta%2C+Georgia&amp;page=2&amp;search=restaurant">

=>

response.xpath('//link[@rel="next"]/@href').extract_first()