2024-09-27 22:29:44 发布
网友
我是个新手,对爬虫和蜘蛛很困惑。似乎他们都可以抓取网站和解析项目。在
有一个爬虫程序类(/usr/local/lib/python2.7/dist-packages/scrapy/爬虫.py)和一个CrawlerSpider类(/usr/local/lib/python2.7/dist-packages/scrapy/contrib/spider/爬网.py)在发痒。有人能告诉我他们之间的区别吗?在什么条件下我应该用哪一种呢?在
提前谢谢你!在
CrawlerSpider是BaseSpider的一个子类:如果希望spider根据“规则”列表跟踪链接,则需要扩展这个调用。 “Crawler”是CrawlerProcess划分的主爬虫子类。 你将不得不在你的蜘蛛子类爬虫,但我不认为你将必须触摸爬虫。在
CrawlerSpider是BaseSpider的一个子类:如果希望spider根据“规则”列表跟踪链接,则需要扩展这个调用。 “Crawler”是CrawlerProcess划分的主爬虫子类。 你将不得不在你的蜘蛛子类爬虫,但我不认为你将必须触摸爬虫。在
相关问题 更多 >
编程相关推荐