使用Scrapy使用“加载更多”按钮刮取无限滚动页

Question

如何废弃响应为html/text而不是json的具有无限滚动的web页面。

我的第一次尝试是使用Rule和LinkExtractor，这使我获得了大约80%的作业url

class JobsetSpider(CrawlSpider):
    name = 'test'
    allowed_domains = ['jobs.et']
    start_urls = ['https://jobs.et/jobs/']

    rules = (
        Rule(LinkExtractor(allow='https://jobs.et/job/\d+/'), callback='parse_link'),
        Rule(LinkExtractor(), follow=True),
    )

    def parse_link(self, response):
        yield {
            'url': response.url
        }

我的第二个尝试是使用SCRAPING INFINITE SCROLLING PAGES中的示例，但是响应是text/html而不是json。

当点击“加载更多”按钮时，我可以在Chrome开发工具的网络上看到请求url

https://jobs.et/jobs/?searchId=1509738711.5142&action=search&page=2

而“页面”的数量增加。

我的问题是

1. 当以下情况发生时，如何使用scrapy从响应头中提取上述url 点击“加载更多”按钮
2. 有没有更好的方法来解决这个问题？

Answer 1

您可以添加如下内容：

has_next = response.css('.load-more').extract()
if has_next:
    next_page = response.meta.get('next_page', 1) + 1
    url = response.urljoin(response.css('script').re_first("'(\?searchId.*page=)'") + str(next_page))
    yield Request(url , meta={'next_page': next_page})