用python抓取javascriptpowered的“下一步”按钮有问题

Question

我试图刮一个网站，学习python和网页刮。 特别是，我试图在这个页面上搜集足球数据：https://www.whoscored.com/Regions/108/Tournaments/5/Seasons/7468/Stages/16548/PlayerStatistics/Italy-Serie-A-2018-2019

我的主要问题是如何刮除主数据表的所有页面，而不仅仅是第一个页面。我正在尝试使用selenium来解决这个问题，并在单击“下一步”按钮时分析浏览器发送的请求，但我遇到了一些问题。谢谢你的关注。你知道吗

Answer 1

单击“下一步”按钮时，可以使用浏览器的“网络”选项卡检查每次单击时发送到服务器的实际xhr（AJAX）请求。 请求发送到此URL:

https://www.whoscored.com/StatisticsFeed/1/GetPlayerStatistics?category=summary&subcategory=all&statsAccumulationType=0&isCurrent=true&playerId=&teamIds=&matchId=&stageId=16548&tournamentOptions=5&sortBy=Rating&sortAscending=&age=&ageComparisonType=&appearances=&appearancesComparisonType=&field=Overall&nationality=&positionOptions=&timeOfTheGameEnd=&timeOfTheGameStart=&isMinApp=true&page=2&includeZeroValues=&numberOfPlayersToPick=10

请注意“page”查询字符串参数-它随着您的每个请求而增加。而且，对每个请求的响应实际上非常容易解析JSON，所以您可以很好地处理它。你知道吗