擅长:python、mysql、java
<p>要检查scrapy爬虫得到的响应:</p>
<ol>
<li>开放式终端</li>
<li>运行命令<strong>scrapy shell <a href="https://www.hackster.io/arduino/members" rel="nofollow noreferrer">https://www.hackster.io/arduino/members</a></strong></li>
<li>运行命令<strong>查看(响应)</strong></li>
</ol>
<p>对爬虫程序的响应将显示在默认的web浏览器中。你知道吗</p>
<p>从这个响应中,你可以检查你的爬虫是否得到了你想要抓取的内容!你知道吗</p>
<p>正如我从响应中看到的,您在响应中没有得到Arduinoúu Genino,这绝对是客户端javascript呈现的一个例子。你知道吗</p>
<p><a href="https://i.stack.imgur.com/jS5wK.png" rel="nofollow noreferrer">Screenshot of the webpage as visible to the crawler.</a></p>
<p><strong>要从这些页面中提取数据,您需要使用javascript呈现引擎,例如在您的页面上运行的scrapy splash本地主机:8050你知道吗</p>
<p>必须将url传递给splash呈现引擎,并在javascript完全加载到splash时经过一段时间本地主机:8050,你必须从那里抓取数据。你知道吗</p>
<p><strong>参考</strong>启动文档:<a href="https://splash.readthedocs.io/en/stable/api.html" rel="nofollow noreferrer">https://splash.readthedocs.io/en/stable/api.html</a></p>