有没有使用独立的爬虫管道的方法?

2024-06-26 02:00:08 发布

您现在位置:Python中文网/ 问答频道 /正文

我想获取不同域下的网页,这意味着我必须在“scrapy crawl myspider”命令下使用不同的蜘蛛。但是,由于web页面的内容不同,我不得不使用不同的管道逻辑将数据放入数据库。但是对于每一个蜘蛛,它们必须通过settings.py中定义的所有管道。有没有其他优雅的方法来为每个蜘蛛使用单独的管道?


Tags: 数据py命令web数据库网页内容管道