Python中文网 - 问答频道, 解决您学习工作中的Python难题和Bug
Python常见问题
我正在创建一个webscraper，它将从这个网站上抓取动态生成的玩家数据
https://frozenpool.dobbersports.com/frozenpool_linecombo.php
我想创建一个循环，从下拉菜单中为玩家生成数据，刮取数据，然后在下拉菜单中循环浏览整个玩家列表
我很好奇，使用selenium与站点交互是否是最好的方式。但我也注意到，每个玩家的URL都遵循特定的模式，因此我考虑删除初始页面以收集我所需的所有数据，然后使用这些数据构建URL列表，然后在URL列表中循环并将其视为静态页面
是否有为这种特定类型的web抓取构建的python工具
Tags： 数据httpscomurl列表网站玩家动态
热门问题
- 如何添加虚拟方法
- 如何添加表示整数的擦边字符串？
- 如何添加要在Bokeh中使用的新font.ttf文件？
- 如何添加要显示的矩阵XY轴编号和XY轴
- 如何添加计数？
- 如何添加计数器函数？
- 如何添加计数器列来计算数据帧中另一列中的特定值？
- 如何添加计数器来跟踪while循环中的月份和年份？
- 如何添加计数并删除countplot的顶部和右侧脊椎？
- 如何添加计时器wx.应用程序更新窗口对象的主循环？
- 如何添加评论到帖子？PostDetailVew，Django 2.1.5
- 如何添加评论拉梅尔亚姆
- 如何添加诸如矩阵Python/Pandas之类的数据帧？
- 如何添加谷歌地点自动完成到Flask？
- 如何添加超时、python discord bot
- 如何添加超过1dp的检查
- 如何添加距离方法
- 如何添加跟随游戏的敌人精灵
- 如何添加路径以便python可以找到程序？
- 如何添加身份验证/安全性以使用happybase访问HBase？
热门文章
- Python覆盖写入文件
- 怎样创建一个 Python 列表？
- Python3 List append()方法使用
- 派森语言
- Python List pop()方法
- Python Django Web典型模块开发实战
- Python input() 函数
- Python3 列表(list) clear()方法
- Python游戏编程入门
- 如何创建一个空的set?
- python如何定义(创建)一个字符串
- Python标准库 [The Python Standard Library by Ex
- Python网络数据爬取及分析从入门到精通（分析篇）
- Python3 for 循环语句
- Python List insert() 方法
- Python 字典(Dictionary) update()方法
- Python编程无师自通 专业程序员的养成
- Python3 List count()方法
- Python 网络爬虫实战 [Web Crawler With Python]
- Python Cookbook（第2版）中文版
看起来您需要的所有信息都加载到了对https://frozenpool.dobbersports.com/frozenpool_linecombo.php的请求中。因为它不会发出额外的请求来获取更多信息
Selenium对于这个项目来说可能有点过头了，您可以继续使用BeautifulSoup我认为您的想法是正确的，即使用结构URL在每个播放器之间循环。如果这是一次性抓取，则直接从页面的html复制玩家列表以获取玩家ID，然后循环通过以下URL，用每个玩家标识符替换玩家ID
相关问题 更多 >
编程相关推荐