zspider 1.0.2

分布式爬虫精简框架

安装

pip install zspider

框架依赖

• 由于使用了队列系统, 此爬虫框架依赖于ssdb

配置爬虫框架

• 创建一个目录, 这个目录作为你的爬虫组织主路径

mkdir /home/myspider
mkdir /home/myspider/log
mkdir /home/myspider/spiders

• 创建日志目录, 所有的爬虫的日志都将存放到这个目录

cd /home/myspider
mkdir log

• 创建配置文件

touch /etc/zspider/config.ini
# win系统: "c:/zspider/config.ini"
# 其他系统: "/etc/zspider/config.ini"
# 可以使用环境变量 ZSPIDER_CONFIG 指定配置文件路径, 优先级最高

• 修改配置文件为你的设置

[log]
;是否输出到流
;write_stream = true
;是否输出到文件
;write_file = true
;日志文件输出路径
;write_path = /home/myspider/log
;日志等级
;log_level = debug
;每隔几天就新增一个日志文件
;log_interval = 1
;保留几个旧的日志文件
;log_backupCount = 2

[seed_queue]
;种子队列查询后缀, 请不要更改这个配置, 除非你完全了解此爬虫框架的队列系统是如何运行的
;suffix = ['vip', 'd1', 'd2', 'd3', 'seed', 'error']

[public_constant]
;请求等待时间
;req_timeout = 20
;一次完整的任务逻辑中出错时, 等待一定时间后才能开始下一个任务
;spider_err_wait_time = 3
;种子队列为空后爬虫休眠时间
;empty_seed_wait_time = 120
;默认html编码方式
;default_html_encoding = 'utf-8'
;重试等待时间
;retry_wait_fixed = 0.5
;最大尝试次数
;max_attempt_count = 5

[ssdb]
;是否为集群
cluster = false
;主机地址
host = 你的ssdb服务主机
;主机端口
port = 你的ssdb服务端口

[proxy]
;use_proxy = false
;代理获取服务器ip和端口,如(xxx.xxx.xxx:1234)
;proxy_server =
;代理获取服务器路径,如(getproxy?format=json)
;proxy_path =
;无法获取代理地址时重试等待时间
;except_wait = 1
;代理模块包名
;proxy_pack_name = zspider.proxy_base
;代理模块名
;proxy_class_name = proxy_base

大功告成, 终于可以开始制作爬虫了

一个简单的爬虫

• 在爬虫目录下创建一个文件 my_spider.py, 写入如下内容

fromzspider.spider_baseimportspider_baseclassmy_spider(spider_base):spider_name='my_spider'defstart_seed(self):yieldself.make_seed('https://pypi.org/project/zspider',self.parser_html,encoding='utf8')defparser_html(self,res):self.log.info(res.response_text)if__name__=='__main__':a=my_spider()a.yield_for_start_seed()a.run()

• 运行它, 随后你可以在控制台看到打印出来的网页数据

这个爬虫做了什么

# 从爬虫框架zspider的spider_base模块中导入spider_base类fromzspider.spider_baseimportspider_base# 创建自己的爬虫类并继承spider_baseclassmy_spider(spider_base):#设置爬虫的名称为my_spider, 注意: 如果没有设置名称会报错spider_name='my_spider'#爬虫开始爬取网页时总有一个最开始的网址给它抓取, 这里提交最开始的网址给种子队列defstart_seed(self):#构建并提交一个url种子给种子队列, 这个种子包含了三种基本信息: 抓取的网址是'https://pypi.org/project/zspider', 用parser_html函数来解析网页, 这个网页的编码是utf8yieldself.make_seed('https://pypi.org/project/zspider',self.parser_html,encoding='utf8')#创建一个解析函数, 此函数接收一个参数, 此参数是_seed.Seed类的实例defparser_html(self,res):#将网页数据打印出来self.log.info(res.response_text)if__name__=='__main__':#爬虫实例化a=my_spider()#开始提交初始种子a.yield_for_start_seed()#开启爬虫a.run()

让爬虫不停的爬下去

    #在解析函数中
    def parser_html(self, res):
        urls = []
        #在此处写入自己的解析代码, 获取这个网页的一些url存入到urls中
        #遍历创建并提交url种子
        for url in urls:
            #去重检查, 只有第一次检查的数据才会返回True, 可以防止已经抓取的页面再次抓取导致死循环
            if self.dup_check(url):
                #这里没有写encoding, 爬虫框架会对每一个网页自动分析出合适的编码来解析网页, 就像浏览器一样
                yield self.make_seed(url, self.parser_html)

        self.save_result('你想要保存的数据, 它应该是一个dict')

spider_base内建参数说明

• 所有的重复参数遵循就近优先原则

spider_base方法说明

• run_of_error_parser

仅使用解析错误error_parser队列进行抓取, 对调试爬虫很有帮助

• run

运行爬虫

• dup_check

去重检查, 可以有效避免重复抓取页面

• clear_all_queue

清除队列, 慎用, 此函数会将爬虫的种子完全清除

• make_seed

此函数用户构建一个url种子, 它将和页面相关的一切信息保存到一个种子里面

• yield_for_start_seed

根据start_url函数提交初始种子

可继承函数说明

• spider_init

爬虫初始化完成后会调用这个函数

• start_seed

提交初始种子函数, yield_for_start_seed方法会调用此函数, 此函数允许提交多个初始种子

• check_has_need_data

页面解析预处理函数, 要使用此函数必须在构建种子的时候用参数check_html_func指明, 或者在spider_base内建参数中设置默认值, 如果你返回了False, 那么爬虫框架会重新抓取这个页面. 如果你的代码出错了, 爬虫框架会将这个种子放入error队列

• parser_response

页面解析函数, 要使用此函数必须在构建种子的时候用参数parser_func指明, 你可以在此函数内正式解析页面, 然后使用yield提交种子, 如果你的代码出错了, 爬虫框架会将这个种子放入error_parser队列

seed.Seed参数说明

• 你构建种子时传入的所有参数都将会成为种子实例的属性, 当爬虫框架使用这个种子成功抓取页面后, 以下属性将可用

seed.Seed方法说明

• url_join

补全连接地址为完整的网页地址

代理接口说明

• 创建一个类, 继承zspider.proxy_base模块中的proxy_base类

# my_proxy.pyfromzspider.proxy_baseimportproxy_baseclassmy_proxy_interface(proxy_base):defproxy_init(self):# 初始化后会调用这个函数passdefget_proxy(self):# 返回当前使用的代理, 字典{"http": "http://主机:端口", "https": "http://主机:端口"}passdefchange_proxy(self):# 要求切换代理地址pass# 然后修改配置文件中[proxy]表的proxy_pack_name为你的代理接口包名, 修改proxy_class_name为你的代理接口类名

更新日志

本项目仅供所有人学习交流使用, 禁止用于商业用途

标签：

• 项目

欢迎加入QQ群-->： 979659372

推荐PyPI第三方库

• cpraa

  概率抽象论证的检验器

• duckietown-shell-daffy-aido4

  未提供项目说明

• galaxytoolutil

  防止攻击的包

• divio-simple-sso

  Django的简单SSO

• smdebugrulesconfig

  防止攻击的包

• torchtraining

  用Pythorch进行功能性和柔性神经网络训练。

• AU-atomicunit

  原子单位与国际单位制封装之间的转换

• bsuite

  核心RL行为套件。强化学习实验集。

• jmsg1990-distributions

  高斯分布

• topsis-yash

  为给定数据集计算TOPSIS得分和排名的工具。

• bigquery-pipeline

  未提供项目说明

• waws

  Wluper提供的最小AWS EC2/S3包装

• bsdl-parser

  BSDL解析python

• django-transmeta-eh

  Transmeta是Django模型中可翻译内容的应用程序。

• pyenvclasses

  从环境中读取python数据类的包装器