网页返回405状态码错误时，用scrapy访问

Question

我正试图用scrapy删除以下网址-

https://www.realtor.ca/Residential/Single-Family/18279532/78-80-BURNDEAN-Court-Richmond-Hill-Ontario-L4C0K1-Westbrook#v=n

但是，它总是以状态405错误结束。我搜索过这个主题，但他们总是说，当请求方法不正确时，就会发生这种情况，比如POST-in-place-GET。但这里肯定不是这样。在

这是我的蜘蛛密码-

import scrapy

class sampleSpider(scrapy.Spider):
    AUTOTHROTTLE_ENABLED = True
    name = 'test'
    start_urls = ['https://www.realtor.ca/Residential/Single-Family/18279532/78-80-BURNDEAN-Court-Richmond-Hill-Ontario-L4C0K1-Westbrook#v=n']

    def parse(self, response):


        yield {
            'response' : response.body_as_unicode(),
        }

这是我运行铲运机时得到的原木-

^{pr2}$

任何帮助都将不胜感激。提前谢谢你。在

Answer 1

我遇到了一个类似的问题，试图通过

1. {（使用代理^更改用户}
2. 使用Scrapy Splash。在

这可能也适用于你试图抓取的网站（虽然我还没有测试过）。在