擅长:python、mysql、java
<p>据我所知,网站使用JavaScript进行Ajax调用。<br/>
当您使用<code>scrapy</code>时,页面的JS不会加载。</p>
<p>您需要查看一下<a href="http://selenium-python.readthedocs.io/" rel="nofollow noreferrer">Selenium</a>是否可以刮掉此类页面。</p>
<p>或者找出正在进行的ajax调用并亲自发送它们。<br/>
检查一下这个<a href="https://stackoverflow.com/questions/8550114/can-scrapy-be-used-to-scrape-dynamic-content-from-websites-that-are-using-ajax?rq=1">Can scrapy be used to scrape dynamic content from websites that are using AJAX?</a>可能对你也有帮助</p>