Scrapy python错误 - 请求URL缺少方案

Question

我试图从受密码保护的FTP服务器中提取文件。这是我使用的代码：

import scrapy
from scrapy.contrib.spiders import XMLFeedSpider
from scrapy.http import Request
from crawler.items import CrawlerItem

class SiteSpider(XMLFeedSpider):
    name = 'site'
    allowed_domains = ['ftp.site.co.uk']
    itertag = 'item'

    def start_requests(self):
        yield Request('ftp.site.co.uk/feed.xml',
            meta={'ftp_user': 'test', 'ftp_password': 'test'})

    def parse_node(self, response, selector):
        item = CrawlerItem()
        item['title'] = (selector.xpath('//title/text()').extract() or [''])[0]      
        return item

这是我得到的回溯错误：

^{pr2}$

Answer 1

您需要为URL添加方案：

ftp://ftp.site.co.uk

FTP URL语法定义为：

^{pr2}$

基本上，你要这样做：

yield Request('ftp://ftp.site.co.uk/feed.xml', ...)

在Wikipedia上阅读更多关于模式的信息：http://en.wikipedia.org/wiki/URI_scheme