OscrapyCookieCutter自动生成
os-scrapy-random-useragent的Python项目详细描述
OScrapy随机用户代理
此项目提供一个Downloader Middleware来更改请求头的“用户代理”。在
安装
pip install os-scrapy-random-useragent
使用
设置
- 在
在中启用下载中间件设置.py文件:
这个中间件将覆盖默认的Scrapy用户代理
^{pr2}$ 在 - 在
配置用户代理:
- 在
按文件:
在USER_AGENTS = "./your-useragets-file"
- 在
按字符串:
在USER_AGENTS = "Your-Useragent-String"
- 在
按列表:
在USER_AGENTS = ["User-Agent-01", "User-Agent-02"]
- 在
单元测试
tox
许可证
麻省理工学院授权。在
- 项目
标签: