爬行论坛,Xpath不做n

2024-06-02 18:13:33 发布

您现在位置:Python中文网/ 问答频道 /正文

我想用scrapy获得以下论坛页面的帖子数据: https://www.motor-talk.de/faq/mercedes-e-klasse-w210-q89.html

下面是我尝试的代码。第一部分工作,并返回所需的文本。然而,第二部分完全没有返回任何东西,蜘蛛就这样结束了。你知道吗

有没有人知道我从Chrome得到的XPath是错的,还是其他什么地方错了?你知道吗

我还附加了从Macs终端获得的输出。你知道吗

Picture of Terminal

import scrapy

class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'https://www.motor-talk.de/faq/mercedes-e-klasse-w210-q89.html#Q3512477',
    ]

    def parse(self, response):
        for text in response.xpath('//*[@id="questions"]/div[2]/div[1]/div/p[15]/i/text()'):
            yield {
                'text': text.extract(),
            }
        for text in response.xpath('//*[@id="questions"]/div[2]/div[3]/div[2]/div[1]/table/tbody/tr/td/div/p[1]/text()'):
            yield {
                'text2': text.extract()        
            }

Tags: texthttpsdivresponsehtmlwwwdemercedes