正在向Scrapy Spid添加标头
回答此问题可获得 20 贡献值，回答如果被采纳可获得 50 分。
<p>对于一个项目，我运行了大量的垃圾请求的某些搜索词。这些请求使用相同的搜索词，但时间范围不同，如下面URL中的日期所示。在</p>
<p>尽管URL引用的日期和页面不同，但我收到的值与所有请求的输出值相同。它看起来像是脚本正在获取第一个值，并将相同的输出分配给所有后续请求。在</p>
<pre><code>import scrapy
class QuotesSpider(scrapy.Spider):
name = 'quotes'
allowed_domains = ['google.com']
start_urls = ['https://www.google.com/search?q=Activision&biw=1280&bih=607&source=lnt&tbs=cdr%3A1%2Ccd_min%3A01%2F01%2F2004%2Ccd_max%3A12%2F31%2F2004&tbm=nws',
'https://www.google.com/search?q=Activision&biw=1280&bih=607&source=lnt&tbs=cdr%3A1%2Ccd_min%3A01%2F01%2F2005%2Ccd_max%3A12%2F31%2F2005&tbm=nws',
'https://www.google.com/search?q=Activision&biw=1280&bih=607&source=lnt&tbs=cdr%3A1%2Ccd_min%3A01%2F01%2F2006%2Ccd_max%3A12%2F31%2F2006&tbm=nws',
]
def parse(self, response):
item = {
'search_title': response.css('input#sbhost::attr(value)').get(),
'results': response.css('#resultStats::text').get(),
'url': response.url,
}
yield item
</code></pre>
<p>我找到一条线<a href="https://stackoverflow.com/questions/32531214/wrong-number-of-results-in-google-scrape-with-python">discussing a similar problem with BeautifulSoup</a>。解决方案是在脚本中添加头，从而使其使用浏览器作为用户代理：</p>
^{pr2}$
<p>在scray<a href="https://stackoverflow.com/questions/14220174/how-to-add-headers-to-scrapy-crawlspider-requests">seems to be different though</a>中应用头的方法。有人知道如何将它最好地包含在Scrapy中吗，尤其是对同时包含多个url的<code>start_urls</code>的引用？在</p>
请先 登录 后评论
针对此问题: 更多的回答
- 89 关注
- 1 收藏，216 浏览
- 网友 提问于 2天前
相关Python问题
- 无法使用Django/mongoengine连接到MongoDB（身份验证失败） 7 回答
- 无法使用Django\u mssql\u后端迁移到外部hos 5 回答
- 无法使用Django&Python3.4连接到MySql 5 回答
- 无法使用Django+nginx上载媒体文件 2 回答
- 无法使用Django1.6导入名称模式 6 回答
- 无法使用Django1.7和mongodb登录管理站点 8 回答
- 无法使用Djangoadmin创建项目，进程使用了错误的路径，因为我事先安装了错误的Python 8 回答
- 无法使用Djangockedi验证CBV中的字段 2 回答
- 无法使用Djangocketditor上载图像（错误400） 9 回答
- 无法使用Djangocron进行函数调用 5 回答
- 无法使用Djangofiler djang上载文件 7 回答
- 无法使用Djangokronos 4 回答
- 无法使用Djangomssql provid 3 回答
- 无法使用Djangomssql连接到带有Django 1.11的MS SQL Server 2016 5 回答
- 无法使用Djangomssq迁移Django数据库 7 回答
- 无法使用Djangonox创建用户 8 回答
- 无法使用Djangopyodb从Django查询SQL Server 2 回答
- 无法使用Djangopython3ldap连接到ldap 3 回答
- 无法使用Djangoredis连接到redis 5 回答
- 无法使用Django中的FK创建新表 8 回答
