os-scrapy-uvicorn 0.0.1

乌维科恩

这个项目提供了一个扩展，可以在同一个进程中启动asgihttp服务器（Uvicorn）。在

您可以使用ASGI framework（推荐使用FastAPI）创建与Scrapy通信的应用程序。在

要求：python3.6+，Scrapy 2.0+

安装

pip install os-scrapy-uvicorn

您可以直接在项目根路径中运行示例spider

^{pr2}$

设置

• 在

  use asyncio reactor

  TWISTED_REACTOR = "twisted.internet.asyncioreactor.AsyncioSelectorReactor"
  

  或者，您可以使用os-scrapy（与此项目一起安装）开始使用-r命令行选项进行爬网

  os-scrapy crawl -r asyncio example
  

  在
• 在

  启用扩展

  EXTENSIONS = {
      "os_scrapy_uvicorn.Uvicron": 1,
  }
  

  在
• 在

  app path，你可以使用ASGI应用框架来创建你的应用，推荐使用FastAPI

  UVICORN_APP = "app_module:app"
  

  在
• 在

  uvicorn服务器设置，supported settings

  UVICORN_CONFIG = {"host": "0.0.0.0", "port": 5000}
  

  在
• 在

  当服务器启动时，Scrapy crawler实例被附加到app上，它是与Scrapy通信的入口点

  在

单元测试

sh scripts/test.sh

许可证

麻省理工学院授权。在

标签：

• 项目

欢迎加入QQ群-->： 979659372

推荐PyPI第三方库

• rethinkdb_next

  下一个分支的rethinkdb数据库服务器的python驱动程序库

• jokekappa

  提供单行程序笑话的库。

• find-best-string

  在较大字符串中查找最佳匹配字符串。

• pybitbucket

  bitbucket api的python包装器

• django-intl-tel-input

  实现intl tel输入的django表单小部件。

• odoo11-addon-purchase-request-usage-department

  采购申请使用部门，

• jupyter_dashboards

  Jupyter笔记本的扩展，用于将笔记本作为动态仪表板进行布局、查看和部署

• textbisect

  排序文本文件中的二进制搜索

• pyocfagent

  pacemaker集群的python-ocf资源代理框架

• broom

  保持桌面整洁。

• django-shirow

  Django Shirow包装

• wmdlib

  与windows媒体设备api接口的库

• tocka-django-unslashed

  Django中间件，可以自动删除尾随URL斜杠和301重定向到非斜杠终止URL。

• tsp-rest-api-server

  tsp-rest-api-server使用dijsktra算法应用于旅行商问题。

• duobei-sdk

  用于Duobei的sdk。