scraping简单页面：scrapy不返回所有链接

Question

我正在尝试使用scrapy对以下页面进行爬网：http://www.t13.cl/home/d_ultimas/10。我用

class T13(CrawlSpider):
    name = 't13'
    allowed_domains = ["http://www.t13.cl"]
    start_urls = ['http://www.t13.cl/home/d_ultimas/10']

    rules = (
        Rule(LinkExtractor(allow=(r'.')),
             callback='parse_item'),
    )

    def parse_item(self, response):
        pass

但它只返回一个链接（第一个链接）。为什么它不遵循该页面中的所有<a>链接？（如果我使用shell，它会返回所有选择器）

Answer 1

看起来您的请求正在被allowed_domains筛选。更改为：

allowed_domains = ["t13.cl"]