Scrapy-UserAgents 0.0.1

概述

scrapy是一个很好的web爬行框架。这个下载中间件 根据settings.py、spider和 请求。

要求

• 在Python2.7和Python3.5上进行测试，但它应该在其他更高版本上工作 然后是python 3.3
• 在Linux上测试，但它是一个纯Python模块，应该在其他 支持官方python的平台，如windows、mac osx、bsd

安装

快捷方式：

pip install scrapy-useragents

或者把这个中间件放在scrapy项目旁边。

文档

在setting.py中，例如：

# -----------------------------------------------------------------------------
# USER AGENT
# -----------------------------------------------------------------------------

DOWNLOADER_MIDDLEWARES.update({
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
    'scrapy_useragents.downloadermiddlewares.useragents.UserAgentsMiddleware': 500,
})

USER_AGENTS = [
    ('Mozilla/5.0 (X11; Linux x86_64) '
     'AppleWebKit/537.36 (KHTML, like Gecko) '
     'Chrome/57.0.2987.110 '
     'Safari/537.36'),  # chrome
    ('Mozilla/5.0 (X11; Linux x86_64) '
     'AppleWebKit/537.36 (KHTML, like Gecko) '
     'Chrome/61.0.3163.79 '
     'Safari/537.36'),  # chrome
    ('Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:55.0) '
     'Gecko/20100101 '
     'Firefox/55.0')  # firefox
]

待办事项

• 从后端读取用户代理，例如MongoDB、MySQL，甚至是保存在 本地磁盘。
• 使用cookies旋转用户代理绑定，保持一致性
• 根据每个请求为用户代理选择添加元密钥