Python中文
首页
教程
问答
标签
搜索
登录
注册
Scrapy Python设置用户代理
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我试图通过在项目<a href="http://doc.scrapy.org/en/latest/topics/settings.html#project-settings-module">configuration file</a>中添加一行来覆盖crawpsider的用户代理。代码如下:</p> <pre><code>[settings] default = myproject.settings USER_AGENT = "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36" [deploy] #url = http://localhost:6800/ project = myproject </code></pre> <p>但是,当我在自己的web上运行爬虫程序时,我注意到蜘蛛并没有获取我的自定义用户代理,而是默认的“Scrapy/0.18.2(+<a href="http://scrapy.org">http://scrapy.org</a>)”。 有人能解释我做错了什么吗。</p> <p>注:</p> <p>(一)。当我试图重写<a href="http://doc.scrapy.org/en/latest/topics/settings.html#global-overrides">user agent globally</a>时,它起作用:</p> <pre><code>scrapy crawl myproject.com -o output.csv -t csv -s USER_AGENT="Mozilla...." </code></pre> <p>(二)。当我从配置文件中删除“default=myproject.setting”行并运行scrapy crawl myproject.com时,它会显示“找不到spider…”,因此我觉得在这种情况下不应该删除默认设置。</p> <p>非常感谢你的帮助。</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>将用户代理行移到<code>settings.py</code>文件,而不是<code>scrapy.cfg</code>文件。<code>settings.py</code>应该与<code>items.py</code>处于同一级别,如果使用<code>scrapy startproject</code>命令,则应该类似于<code>myproject/settings.py</code></p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
为什么我的神经网络模型的准确性不能在这个训练集上得到提高?
4 回答
为什么我的神经网络模型的权重变化不大?
2 回答
为什么我的神经网络的成本不断增加?
4 回答
为什么我的神经网络的输入pickle文件是19GB?
7 回答
为什么我的神经网络给属性错误?“非类型”对象没有属性“形状”
7 回答
为什么我的神经网络训练这么慢?
6 回答
为什么我的神经网络输出错误?
5 回答
为什么我的神经网络预测适用于MNIST手绘图像时是正确的,而适用于我自己的手绘图像时是不正确的?
3 回答
为什么我的神经网络验证精度比我的训练精度高,而且它们都是常数?
5 回答
为什么我的私人用户间聊天会显示在其他用户的聊天档案中?
2 回答
为什么我的积分的绝对误差估计值大于积分(使用scipy.integrate.nqad)?
9 回答
为什么我的积层回归器得分比它的组件差?
8 回答
为什么我的移动方法不起作用?
7 回答
为什么我的稀疏张量不能转换成张量
4 回答
为什么我的稀疏张量不能转换成张量?
9 回答
为什么我的程序“停止”了?
4 回答
为什么我的程序一直试图占用所有可用的CPU
5 回答
为什么我的程序不使用指定的代理
8 回答
为什么我的程序不工作(python帮助中的反向函数)?
3 回答
为什么我的程序不工作时,我使用多处理模块
3 回答