Scrapy:在请求提交到服务器之前截获延迟的请求

2024-09-30 22:27:01 发布

您现在位置:Python中文网/ 问答频道 /正文

在Scrapy中,我使用download_delay=5将循环的每个请求延迟一点,这很好

我正在抓取的网站需要在请求正文中包含一个时间戳。因此,将其设置在yield scrapy.Request(...)之前并不起作用,因为所有请求都将具有当前时间戳,即使它们被延迟发送。我可以准备一个占位符,但我需要在实际请求提交到服务器之前替换它

我曾考虑过使用一个DownloaderMiddle软件,但是它的process_request()被立即处理,没有延迟,所以也没有帮助。在实际提交到服务器时,是否有其他方法可以拦截实际的请求提交


Tags: 方法服务器软件网站requestdownload时间process