Python中文
首页
教程
问答
标签
搜索
登录
注册
使用Selenium(Python3)对网站的多个页面进行爬网
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我不断地碰壁。有谁能告诉我如何使用Selenium从一个网站抓取多个页面,而不必一遍又一遍地重复我的代码吗。在</p> <p>以下是我当前的代码:</p> <pre><code>RegionIDArray = ['de/7132/New-York-City/d687-allthingstodo', 'de/7132/London/d737-allthingstodo'] class Crawling(unittest.TestCase): def setUp(self): self.driver = webdriver.Firefox() self.driver.set_window_size(10, 10) self.base_url = "http://www.jsox.de/" self.accept_next_alert = True def test_sel(self): driver = self.driver delay = 3 for reg in RegionIDArray: page = 0 driver.get(self.base_url + str(reg)) for i in range(1,4): driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") time.sleep(2) </code></pre> <p>如果我运行这个代码,我只得到伦敦的结果,而不是第二城市纽约的结果。在</p> <p>现在,我可以通过一遍又一遍地重复我的代码,对每个单独的网站页面进行爬网,然后将每个数据帧的结果连接在一起,但这看起来很不和谐。我想知道有没有人有更快的方法或建议?在</p> <p>欢迎任何反馈:)</p> <p><strong>编辑</strong></p> <p>我根据对Anil的评论修改了我的代码。Selenium现在为纽约和伦敦打开了页面,但它只为伦敦提供了结果。知道吗,原因是什么?在</p> <p>修改代码:</p> ^{pr2}$
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>Python循环由缩进控制。在</p> <pre><code>for i in range(1,4): driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") time.sleep(2) </code></pre>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
当用户用PYTHON设置一个或一个不带值的URL时,他们怎么能输入一个/a的代码呢?
5 回答
当用户登录到站点时,如何显示不同的导航栏
10 回答
当用户登录时,在Flask中向用户显示处理结果
3 回答
当用户的Flask会话结束时,我如何从Redis后端中移除所有Celery结果?
1 回答
当用户的Okta配置文件字段当前为blan时,更新该字段
3 回答
当用户的付款逾期2天时,从Django模型检索数据
6 回答
当用户的消息以问号结尾时,如何让机器人说些什么?
9 回答
当用户的系统上可能也安装了Python 2.7时,如何在用户的系统上运行Python 3脚本?
5 回答
当用户确定打印数量时,使用Matplotlib打印动画
1 回答
当用户离开时是否可以删除整个网页?
7 回答
当用户给出一个单词时如何打印?
4 回答
当用户继续更改TKin中的值(使用trace方法)时,使用Entry并更新输入的条目
5 回答
当用户编辑表单字段时,从Django时间字段中删除秒数
8 回答
当用户被更改时,消息不会来自web套接字
7 回答
当用户访问表单时,如何使表单为只读,而不具有更改权限
1 回答
当用户试图更改对象的值时,使用描述符类引发RuntimeError
8 回答
当用户调整GUI的大小时,是否有方法更改GUI内容的大小?
2 回答
当用户调整风的大小时,pythontkinter小部件的大小会不均匀
5 回答
当用户购买某个类别时,是否查找其他类别的销售?
2 回答
当用户转到上一页时,Django和芹菜插入操作
3 回答