由osscrapycookiecutter自动生成
os-scrapy-aio-resolver的Python项目详细描述
os scrapy aio解析器
此项目提供一个异步DNS解析程序。在
安装
pip install os-scrapy-aio-resolver
您可以直接在项目根路径中运行示例spider
^{pr2}$使用
设置
- 在
在项目设置文件中启用DNS解析程序：
在DNS_RESOLVER = "os_scrapy_aio_resolver.AsyncResolver" - 在
TWISTED_REACTOR = "twisted.internet.asyncioreactor.AsyncioSelectorReactor"或者您可以使用os scrapy命令行开始使用
-r asyncio进行爬网
在os-scrapy crawl example -r asyncio - 在
启用/禁用DNS缓存，设置缓存大小
在DNSCACHE_ENABLED = True DNSCACHE_SIZE = 10000
单元测试
sh scripts/test.sh
许可证
麻省理工学院授权。在
- 项目
标签：
欢迎加入QQ群-->： 979659372
