使用extract_first（）时，Scrapy无法获取干净文本

Question

我试图从一个网站刮下许多跨标签的一些文字，但没有得到干净的文字，任何帮助将不胜感激！你知道吗

以下是网址：

https://www.example.com

这就是我要尝试的

response.xpath('//div[@class="agency-header__address"]').extract_first()

预期产量：

Level 18, 25 Bligh Street, SYDNEY, NSW 2000

Answer 1

您需要为给定xpath中的所有内容获取xpathtext()。 例如：

result = response.xpath('//div[@class="agency-header__address"]//text()').extract()

这将返回多个span元素，因此必须使用extract()。 然后你可以加入并清洗它，你想，也许像：

''.join(result).replace('\xa0', ' ')