硒与肉屑

Question

我正在尝试从网站http://southasiaterrorism.trfetzer.com/districts/17497-IND-Nandurbar.html中获取所有已记录事件的表。 我使用的是scrapy spider，但是它不可能得到那个表，因为它是动态加载的。 我试图使用selenium，但是没有结果，我得到了相同的静态html页面，没有加载表。 任何帮助都将不胜感激。在

Answer 1

正如@Stack所提到的，内容不是动态加载的，而是在<script>标记内的页面中。你可以试试这样的方法：

page = urllib2.urlopen(url).read()
soup = BeautifulSoup(page)
for tr in soup.find_all('tr')[2:]:
    tds = tr.find_all('td')
    print (tds)

来自this question。在

注意：此代码未经测试。在