在不存在的pag后面有一个废搜索表单

Question

我正试图从某些关键字的搜索结果使用高级搜索形式的卫报。在

from scrapy.spider import Spider
from scrapy.http import FormRequest, Request
from scrapy.selector import HtmlXPathSelector

class IndependentSpider(Spider):
    name = "IndependentSpider"
    start_urls= ["http://www.independent.co.uk/advancedsearch"]

    def parse(self, response):
        yield [FormRequest.from_response(response, formdata={"all": "Science"}, callback=self.parse_results)]

    def parse_results(self):
        hxs = HtmlXPathSelector(response)
        print hxs.select('//h3').extract()

表单将我重定向到

^{pr2}$

这是一个似乎不存在的页面。在

你知道我做错了什么吗？在

谢谢！在

Answer 1

似乎您需要一个尾随/。在

尝试start_urls= ["http://www.independent.co.uk/advancedsearch/"]