scrapy-botproxy 1.0.1

概述

botproxy是一个ip旋转http代理。将botproxy插入您的网络 正在删除应用程序，它将自动传送您的请求 通过我们的一个外发代理服务器。多个地点，新IP 每天的地址。典型的集成需要不到5分钟的时间 任何脚本或应用程序。

请注意，要使用此服务，您需要激活 订阅你可以在BotProxy website买到一个。

安装

pip install scrapy-botproxy

pip install -e git+https://github.com/botproxy/scrapy-botproxy@master#egg=scrapy_botproxy

用法

设置.py:

DOWNLOADER_MIDDLEWARES = {
    'scrapy_botproxy.BotProxyMiddleware': 100,
}

BOTPROXY_USER = 'proxy_username'
BOTPROXY_PASSWORD = 'proxy_password'
BOTPROXY_LOCATION = 'us-ny'  # optional
BOTPROXY_COUNTRY = 'US'  # optional

还可以使用scrapy^{tt1}控制botproxy行为$ 财产将botproxy_disable设置为True设置为临时绕过代理 对于当前请求。将location或country设置为路由请求 通过选定的地点或特定国家的任何地点。