之间的差异爬虫以及痒蜘蛛?

2024-09-27 22:29:44 发布

您现在位置:Python中文网/ 问答频道 /正文

我是个新手,对爬虫和蜘蛛很困惑。似乎他们都可以抓取网站和解析项目。在

有一个爬虫程序类(/usr/local/lib/python2.7/dist-packages/scrapy/爬虫.py)和一个CrawlerSpider类(/usr/local/lib/python2.7/dist-packages/scrapy/contrib/spider/爬网.py)在发痒。有人能告诉我他们之间的区别吗?在什么条件下我应该用哪一种呢?在

提前谢谢你!在


Tags: 项目py程序网站libpackagesusrlocal
1条回答
网友
1楼 · 发布于 2024-09-27 22:29:44

CrawlerSpider是BaseSpider的一个子类:如果希望spider根据“规则”列表跟踪链接,则需要扩展这个调用。 “Crawler”是CrawlerProcess划分的主爬虫子类。 你将不得不在你的蜘蛛子类爬虫,但我不认为你将必须触摸爬虫。在

相关问题 更多 >

    热门问题