对每个请求使用假用户代理提供的随机用户代理

scrapy-fake-useragent-fix的Python项目详细描述


scrapy fake user agent fix
==
==

基于
`fake useragent<;https://pypi.python.org/pypi/fake useragent>;``的随机用户代理中间件。它从“真实世界数据库”http://useragentstring.com/>;中提取基于“用法”的“用户代理”字符串。`_.

安装
----

代码::python

downloader\u middlewares={
“scrapy.downloadermiddlewares.useragent.useragent middleware”:无,
“scrapy\u fake\u useragent.middleware.randomuseragentmiddleware”:400,
}



代码::python

downloader\u middleware={
'scrapy.contrib.downloadermiddleware.useragent.useragentmiddleware':无,
'scrapy\u fake\u useragent.middleware.randomuseragentmiddleware':400,
}


``支持random``,``chrome`,``firefox`,``safari`,``internetexplorer`。如果您想从特定的设备类型中选择,您可以在浏览类型之前使用设备前缀,例如“桌面、Chrome”、“Mobile Chrome”、仅支持“桌面”、“移动”、“PAND”等。
BR/>使用“垃圾代理”
--------------BR/> BR/>与“随机代理”等“随机代理”一起使用。http://GITHUB.COM/AIVARSK/FLASY代理>,您需要:
BR/> 1。将“random-uau-per-proxy”设置为true,以允许每个代理切换


2。设置“ReaveServer代理中间件”的优先级大于“Frasy代理”,以便代理在句柄UA
BR/> BR/>之前设置。| github版本image::https://badge.fury.io/gh/alecxe%2fscrapy fake useragent.svg
:目标:http://badge.fury.io/gh/alecxe%2fscrapy fake useragent
。|需求状态图像::https://requires.io/github/alecxe/scrapy-fake-useragent/requirements.svg?branch=master
:目标:https://requires.io/github/alecxe/scrapy-fake-useragent/requirements/?branch=master

您可以将其设置为字符串值,例如“mozilla”或“您最喜爱的浏览器”,此配置可以完全禁用任何恼人的异常。




欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
Java正则表达式未正确替换   用于流式mp3文件的java ID3v2库?   java-SIGSEGV-Android-JNI-empty方法   java Keytool,从JKS或PFX中以字符串形式检索别名值   java如何使用顶点在opengles中移动对象?   java如何阻止一个微服务使用MessageQueueRabbitMQ中的消息   java X509扩展   java有没有办法将这些嵌套的IntStreams扁平化为一个?有更短的路吗?   重新发送卡夫卡主题时,在Camel中使用java无限循环   javascript Firebase Web后端安全性   java面试问题:为数独创建面向对象的设计   java在每次按下按钮时向ArrayList<Number>添加值   java在方法内部测试方法的最佳方法是什么?(朱尼特)   中的java CriteriaBuilder   在JAVA中,如何从SOAP Web服务请求、将SOAP响应转换为XML并将其与另一个SOAP响应进行比较   Java是否将“普通”空格视为字符的空白。是空白吗?   基类和子类中的Java equals方法   java如何调用方法   单击方法中的java动态按钮和getTag