如何使刮痧爬行在我的生活

2024-09-18 16:46:06 发布

您现在位置:Python中文网/ 问答频道 /正文

我有一个结构像

  1. 解析()
  2. 解析(2)
  3. 解析(3)

我想在dfs的顺序,即所有的3个链接后,2,然后1页抓取刮。但scrapy不会那样爬。我已经尝试了所有的方法来实现这一点,但无法得到解决办法。有人能给我建议正确的方法吗

例如:

def parse(self, response):

   print "url1"
   yield scrapy.Request(url, callback=self.parse2)

def parse2(self, response):

   print "url2"
   yield scrapy.Request(url, callback=self.parse3)

def parse3(self, response):

   print "url3"

   # Do something


Output should be something like

url1
    url2
        url3
        ....
        ....
        ....
    url2
        url3
        ....
        ....
    url2
        url3
        ....
        ....
url1

事先谢谢你的帮助。你知道吗


Tags: 方法selfurlresponserequestdefcallbackscrapy