使用Scrapy抓取ajax页面

Question

我用了一个月。我能够抓取和抓取几个网站（事实上我已经爬过900个网站）基于关键字给出管道。现在，问题是当我们遇到javapages（ajax）时，scrapy不刮。我正在尝试使用以下代码selenium code for scraping ajax pages using scrapy ，并对其进行适当的更改以刮取ajax页面

你们有什么好主意可以用scrapy来抓取javapages吗

第二个问题，我面对的是刮不刮登录页面

Answer 1

首先监视使用ajax发送的请求（为此使用fiddler或firefoxfirebug），然后在scrapy中发出类似的请求，它将得到响应。在

我不明白你说的“scrapy doesn scrape login page”是什么意思： 这是否意味着你不能丢弃那些需要你登录的页面或者登录页面本身