这是一个简单的蜘蛛包。
Zpider的Python项目详细描述
# Zpider
这里是Zpider的说明文档，您也可以访问这里 [Github-Zpider](https://github.com/pntehan/Zpider) 查看更多. ##Introduction Zpider是一个非常简单的爬虫库，底层使用的是pysocks，使用socket.http连接方式， 进行get和post请求。在请求方式上采用的发送报文的方法。内容上还有许多不足， 但是在爬取简单的小网站时，还是可以的，在爬取比较正规的网站时。 会因为报文头部的格式的问题无法正确的连接，后续的改进会在头部信息进行优化。 ##Config 配置文件里存放了部分的user-agent代理头供选择 ##GET 该方法包括了六个参数：url, user_agent, proxy_ip, timeout, retry, cookies<br> url：请求的连接地址<br> user_agent：默认False不使用代理头，default使用配置文件的代理头，或者自行填写<br> proxy_ip：默认False不使用代理ip，否则为”<ip>:<port>”格式传参<br> timeout：设置链接时长，默认3s<br> retry：重新连接次数，默认3次<br> cookies：设置cookie，格式为字典格式<br> 该方法返回一个字典键值为：status, header, text, etree, content<br> status：服务端响应状态<br> header：为服务端响应头部<br> text：解码之后的Html信息，字符串格式<br> etree：html的树型结构，支持xpath路径直接获取元素<br> content：未解码的数据，供于文件下载 ##POST POST方法和GET方式的形式大同小异<br> 该方法包括了六个参数：url, data, user_agent, proxy_ip, timeout, retry, cookies<br> url：请求的连接地址<br> data：发送报文的正文内容，格式为字典类型<br> user_agent：默认False不使用代理头，default使用配置文件的代理头，或者自行填写<br> proxy_ip：默认False不使用代理ip，否则为”<ip>:<port>”格式传参<br> timeout：设置链接时长，默认3s<br> retry：重新连接次数，默认3次<br> cookies：设置cookie，格式为字典格式<br> 该方法返回一个字典键值为：status, header, text, etree, content<br> status：服务端响应状态<br> header：为服务端响应头部<br> text：解码之后的Html信息，字符串格式<br> etree：html的树型结构，支持xpath路径直接获取元素<br> content：未解码的数据，供于文件下载
- 项目
标签：
欢迎加入QQ群-->： 979659372
