os-scrapy-httpproxy-middleware 0.0.2

os scrapy httpproxy中间件

此项目提供中间件来增强scray内置的HttpProxyMiddleware。您可以将不带sheme的proxy设置为以下格式：

[user:password@]proxy:port

安装

^{pr2}$

您可以直接在项目根路径中运行示例spider

scrapy crawl example

使用

设置

• 在

  启用中间件，最好禁用垃圾的内置HttpProxyMiddleware

  DOWNLOADER_MIDDLEWARES = {
      "scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware": None,
      "os_scrapy_httpproxy_middleware.middlewares.HttpProxyMiddleware": 750,
  }
  

  在

单元测试

sh scripts/test.sh

许可证

麻省理工学院授权。在

标签：

• 项目

欢迎加入QQ群-->： 979659372

推荐PyPI第三方库

• dbp

  管理GBP Docker容器生命周期的简单程序。

• odoo10-addon-account-due-list-days-overdue

  应付款清单逾期天数

• sciencedates

  科学中使用的日期转换。

• django-inbox

  ['模拟电子邮件收件箱的非实时消息系统']

• whedon

  用于https://openbases.github.io的whedon python helper函数

• grokcore.annotation

  放大镜形状注释

• pysonos

  家庭助理用的带修理的索科叉子。

• django-country-blocker

  django应用程序引入了一个上下文处理器，它将用户位置信息添加到上下文中。

• odoo11-addon-account-tag-menu

  为帐户标记添加菜单项

• mwm

  用于读取二进制maps.me文件的库。

• torchtrainer

  专注于建立和优化pytorch模型，而不是训练循环

• cubicweb-compound

  用于处理组合实体程序集的库多维数据集

• pymautic

  python mautic api

• HDLTex

  hdltex：文本分类的分层深度学习

• bigcode-astgen

  从github搜索和获取代码的工具