爬行蜘蛛不能进入下一页

Question

我正在抓取http://www.ulta.com/makeup-eyes-eyebrows?N=26yi上的所有产品详细信息。下面是我的规则。我只从第一页得到数据，它没有进入下一页。在

rules = (Rule(LinkExtractor(
            restrict_xpaths='//*[@id="canada"]/div[4]/div[2]/div[3]/div[3]/div[2]/ul/li[3]/a',), 
            callback = 'parse',
            follow =True),)

有人能帮我吗？在

Answer 1

使用爬行蜘蛛，它会自动爬网到其他页面，否则， 蜘蛛，你需要手动传递其他链接

 class Scrapy1Spider(CrawlSpider):

而不是

^{pr2}$

参见：Scrapy crawl with next page