抓取一个有表但表上的“下一步”按钮不会更改url的网站

Question

我想删除这个链接并获得整个玩家表：-https://www.nba.com/stats/leaders/?StatCategory=FG3M&PerMode=Totals&Season=2015-16&SeasonType=Regular%20Season

在这里，如果单击表中的“下一步”按钮，表的内容将更改，但顶部的url不会更改。但是按钮没有按钮标签。看起来是这样的：

<a class="stats-table-pagination__next" href="" alt="Next Page" ng-click="nav(1)">       
    <i class="fa fa-angle-right" aria-hidden="true"></i>
</a>

我试着使用beautiful soup和selenium来清理这个网站，但我不知道如何导航到表格的其他页面，以便我也可以清理它们。请提出解决办法

Answer 1

1. 您可以在开发者模式下使用GoogleChrome，找到包含图像中所有数据的json文件

2. 然后转到“网络”选项卡，刷新链接，再转到“xhr”选项卡，您会发现其中的许多链接包含玩家信息

3. 在获得准确的数据后，单击该链接复制地址并使用requests模块获取json数据并提取信息

import requests
res=requests.get("https://stats.nba.com/stats/leagueLeaders?LeagueID=00&PerMode=Totals&Scope=S&Season=2015-16&SeasonType=Regular+Season&StatCategory=FG3M")
data=res.json()
for i in range(len(data['resultSet']['rowSet'])):
    print(data['resultSet']['rowSet'][i][2])

输出：

Stephen Curry
Klay Thompson
James Harden
Damian Lillard
..

图片：