对每个请求使用假用户代理提供的随机用户代理
scrapy-fake-useragent-fix的Python项目详细描述
scrapy fake user agent fix
==
==
基于
`fake useragent<;https://pypi.python.org/pypi/fake useragent>;``的随机用户代理中间件。它从“真实世界数据库”http://useragentstring.com/>;中提取基于“用法”的“用户代理”字符串。`_.
安装
----
代码::python
downloader\u middlewares={
“scrapy.downloadermiddlewares.useragent.useragent middleware”:无,
“scrapy\u fake\u useragent.middleware.randomuseragentmiddleware”:400,
}
代码::python
downloader\u middleware={
'scrapy.contrib.downloadermiddleware.useragent.useragentmiddleware':无,
'scrapy\u fake\u useragent.middleware.randomuseragentmiddleware':400,
}
``支持random``,``chrome`,``firefox`,``safari`,``internetexplorer`。如果您想从特定的设备类型中选择,您可以在浏览类型之前使用设备前缀,例如“桌面、Chrome”、“Mobile Chrome”、仅支持“桌面”、“移动”、“PAND”等。
BR/>使用“垃圾代理”
--------------BR/> BR/>与“随机代理”等“随机代理”一起使用。http://GITHUB.COM/AIVARSK/FLASY代理>,您需要:
BR/> 1。将“random-uau-per-proxy”设置为true,以允许每个代理切换
2。设置“ReaveServer代理中间件”的优先级大于“Frasy代理”,以便代理在句柄UA
BR/> BR/>之前设置。| github版本image::https://badge.fury.io/gh/alecxe%2fscrapy fake useragent.svg
:目标:http://badge.fury.io/gh/alecxe%2fscrapy fake useragent
。|需求状态图像::https://requires.io/github/alecxe/scrapy-fake-useragent/requirements.svg?branch=master
:目标:https://requires.io/github/alecxe/scrapy-fake-useragent/requirements/?branch=master
您可以将其设置为字符串值,例如“mozilla”或“您最喜爱的浏览器”,此配置可以完全禁用任何恼人的异常。
==
==
基于
`fake useragent<;https://pypi.python.org/pypi/fake useragent>;``的随机用户代理中间件。它从“真实世界数据库”http://useragentstring.com/>;中提取基于“用法”的“用户代理”字符串。`_.
安装
----
代码::python
downloader\u middlewares={
“scrapy.downloadermiddlewares.useragent.useragent middleware”:无,
“scrapy\u fake\u useragent.middleware.randomuseragentmiddleware”:400,
}
代码::python
downloader\u middleware={
'scrapy.contrib.downloadermiddleware.useragent.useragentmiddleware':无,
'scrapy\u fake\u useragent.middleware.randomuseragentmiddleware':400,
}
``支持random``,``chrome`,``firefox`,``safari`,``internetexplorer`。如果您想从特定的设备类型中选择,您可以在浏览类型之前使用设备前缀,例如“桌面、Chrome”、“Mobile Chrome”、仅支持“桌面”、“移动”、“PAND”等。
BR/>使用“垃圾代理”
--------------BR/> BR/>与“随机代理”等“随机代理”一起使用。http://GITHUB.COM/AIVARSK/FLASY代理>,您需要:
BR/> 1。将“random-uau-per-proxy”设置为true,以允许每个代理切换
2。设置“ReaveServer代理中间件”的优先级大于“Frasy代理”,以便代理在句柄UA
BR/> BR/>之前设置。| github版本image::https://badge.fury.io/gh/alecxe%2fscrapy fake useragent.svg
:目标:http://badge.fury.io/gh/alecxe%2fscrapy fake useragent
。|需求状态图像::https://requires.io/github/alecxe/scrapy-fake-useragent/requirements.svg?branch=master
:目标:https://requires.io/github/alecxe/scrapy-fake-useragent/requirements/?branch=master
您可以将其设置为字符串值,例如“mozilla”或“您最喜爱的浏览器”,此配置可以完全禁用任何恼人的异常。