擅长:python、mysql、java
<p>标记<code>handle_httpstatus_all</code>应该在每个请求的<code>meta</code>中设置,请检查文档<a href="http://doc.scrapy.org/en/latest/topics/spider-middleware.html#std:reqmeta-handle_httpstatus_list" rel="nofollow noreferrer">here</a>。在</p>
<p>关于设置,您可以使用<code>HTTPERROR_ALLOW_ALL</code>或设置{<cd4>}的列表。在</p>
<p>像这样:</p>
<pre><code>class IcrawlerSpider(CrawlSpider):
name = 'icrawler'
custom_settings = {'HTTPERROR_ALLOW_ALL': True}
</code></pre>
<p>或者重构蜘蛛来调用请求,比如<code>yield Request(link, self.parse_item, meta={'handle_httpstatus_all': True})</code>
我不知道如何将元参数应用于规则。在</p>