报废项目记录扩展
os-scrapy-record的Python项目详细描述
os废唱片
这个项目提供了过程响应/失败的扩展，生成标准项。在
安装
pip install os-scrapy-record
您可以直接在项目根路径中运行示例spider
^{pr2}$原料药
- 在
os_scrapy_record.ResponseCallback- 此扩展的
callback方法将替换默认的Request.callback，处理响应并生成FetchRecord - 当请求已设置回调函数时，
callback方法将不起作用 callback方法将覆盖spider的parse方法- 在项目中启用扩展设置.py文件：
在EXTENSIONS = { "os_scrapy_record.ResponseCallback": 1, } - 此扩展的
- 在
os_scrapy_record.ResponseErrback- 此扩展的
errback方法将替换默认的Request.errback，处理失败并生成FetchRecord - 当请求已经设置errback函数时，
errback方法将不起作用 - 在项目中启用扩展设置.py文件：
在EXTENSIONS = { "os_scrapy_record.ResponseErrback": 1, } - 此扩展的
- 在
os_scrapy_record.FetchRecord此类是Item的子类
这个班的学生有：
- 请求：
os_scrapy_record.items.RequestItem，成员：url、方法、头、正文 - meta:
dict，请求.meta，最好使用小写，并以''uu'作为分隔符作为键 - 响应：
os_scrapy_record.items.ResponseItem，成员：头、正文、状态、ip地址（scray 2.1.0+），失败
- 请求：
- 在
os_scrapy_record.fetch_status.FetchStatus响应项的数量，包括HTTP、DNS、网络和用户定义的状态。它是一个双元组对象：组和代码。例如，HTTP:200, DNS:-2个, 服务器：111, 规则：16在
在
单元测试
sh scripts/test.sh
许可证
麻省理工学院授权。在
- 项目
标签：
欢迎加入QQ群-->： 979659372
