如何使用scrapy从一个站点抓取有限数量的页面?我需要爬网一些网站,我只想抓取每个网站一定数量的网页。那么如何实现这一点呢?在 我的想法是使用dict,它的键是域名,值是存储在mongodb中的页数。因此,当一个页面被爬网并成功存储在数据库中时,这 ...2024-10-06 已阅读: n次