擅长:python、mysql、java
<p>在这种情况下,<code>CrawlSpider</code>使用规则将没有帮助。规则用于从第一页中提取与您的模式匹配的链接。显然,你的起始url页面没有指向所有这些页面的链接,这就是为什么你没有得到它们。在</p>
<p>这样的方法应该有效:</p>
<pre><code>class MyWebsiteSpider(Spider):
...
def start_requests(self):
for i in xrange(7677654):
yield self.make_requests_from_url('mywebsite/?page=%d' % i)
</code></pre>