擅长:python、mysql、java
<p>如果您知道哪些请求被重定向到有问题的请求,那么类似于:</p>
<pre><code>def parse_requests(self, response):
....
meta = {'handle_httpstatus_list': [301, 302]}
callback = 'process_redirects'
yield Request(url, callback=callback, meta=meta, ...)
def process_redirects(self, response):
url = response.headers['location']
if url is no good:
return
else:
...
</code></pre>
<p>这样可以避免下载无用的响应。在</p>
<p>您可以随时定义自己的自定义重定向中间件。在</p>