我想用scrapy获得以下论坛页面的帖子数据: https://www.motor-talk.de/faq/mercedes-e-klasse-w210-q89.html
下面是我尝试的代码。第一部分工作,并返回所需的文本。然而,第二部分完全没有返回任何东西,蜘蛛就这样结束了。你知道吗
有没有人知道我从Chrome得到的XPath是错的,还是其他什么地方错了?你知道吗
我还附加了从Macs终端获得的输出。你知道吗
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = [
'https://www.motor-talk.de/faq/mercedes-e-klasse-w210-q89.html#Q3512477',
]
def parse(self, response):
for text in response.xpath('//*[@id="questions"]/div[2]/div[1]/div/p[15]/i/text()'):
yield {
'text': text.extract(),
}
for text in response.xpath('//*[@id="questions"]/div[2]/div[3]/div[2]/div[1]/table/tbody/tr/td/div/p[1]/text()'):
yield {
'text2': text.extract()
}
相关问题 更多 >
编程相关推荐