在Scrapy中爬行经过身份验证的会话

Question

在我的previous question中，我对我的问题（用Scrapy与经过身份验证的会话进行Scrapy）不是很具体，希望能够从更一般的答案推断出解决方案。我可能宁愿用crawling这个词。

所以，这是我目前的代码：

class MySpider(CrawlSpider):
    name = 'myspider'
    allowed_domains = ['domain.com']
    start_urls = ['http://www.domain.com/login/']

    rules = (
        Rule(SgmlLinkExtractor(allow=r'-\w+.html$'), callback='parse_item', follow=True),
    )

    def parse(self, response):
        hxs = HtmlXPathSelector(response)
        if not "Hi Herman" in response.body:
            return self.login(response)
        else:
            return self.parse_item(response)

    def login(self, response):
        return [FormRequest.from_response(response,
                    formdata={'name': 'herman', 'password': 'password'},
                    callback=self.parse)]


    def parse_item(self, response):
        i['url'] = response.url

        # ... do more things

        return i

如您所见，我访问的第一个页面是登录页面。如果我还没有通过身份验证（在parse函数中），我将调用自定义的login函数，该函数将发布到登录表单。然后，如果我am经过身份验证，我想继续爬行。

问题是我试图重写的parse函数为了登录，现在不再进行必要的调用来刮除任何进一步的页面（我假设）。我不知道如何保存我创建的项目。

以前有人做过这样的事吗？（使用CrawlSpider进行身份验证，然后进行爬网）如有任何帮助，将不胜感激。

Answer 1

为了使上面的解决方案能够工作，我必须使crawpsider从InitSpider继承，而不再从BaseSpider继承，方法是在不完整的源代码上更改以下内容。在scrapy/contrib/spiders/crawl.py文件中：

1. 添加：from scrapy.contrib.spiders.init import InitSpider
2. 将class CrawlSpider(BaseSpider)更改为class CrawlSpider(InitSpider)

否则蜘蛛就不会调用init_request方法。

还有其他更简单的方法吗？