我有一个结构像
我想在dfs的顺序,即所有的3个链接后,2,然后1页抓取刮。但scrapy不会那样爬。我已经尝试了所有的方法来实现这一点,但无法得到解决办法。有人能给我建议正确的方法吗
例如:
def parse(self, response):
print "url1"
yield scrapy.Request(url, callback=self.parse2)
def parse2(self, response):
print "url2"
yield scrapy.Request(url, callback=self.parse3)
def parse3(self, response):
print "url3"
# Do something
Output should be something like
url1
url2
url3
....
....
....
url2
url3
....
....
url2
url3
....
....
url1
事先谢谢你的帮助。你知道吗
目前没有回答
相关问题 更多 >
编程相关推荐