Python中文
首页
教程
问答
标签
搜索
登录
注册
如何使用python selenium在页面上打开不同的链接以进行抓取?
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p><a href="https://i.stack.imgur.com/2UwVF.png" rel="nofollow noreferrer"><img src="https://i.stack.imgur.com/2UwVF.png" alt="enter image description here"/></a>我有下面的代码,用于打开一个页面的“新建”链接,该页面包含我想要<strong>刮取的数据(如屏幕截图所示)。它工作正常,实际上点击了链接,但我得到的汤仍然是“流行”下的内容(如屏幕截图)</p> <p>我做错了什么</p> <pre><code>driver = webdriver.Chrome(ChromeDriverManager().install()) driver.get("https://www.homeworkmarket.com/fields/business-finance") time.sleep(2) doc = driver.find_elements_by_xpath('//*[@id="wrapper"]/div[2]/div[1]/div[1]/div[3]/div[1]/ul/li[1]/a')[0] doc.click() time.sleep(10) page = driver.page_source soup = BeautifulSoup(page, 'html.parser') </code></pre> <p><strong>刮取的其余代码<strong>href链接:</p> <pre><code>question_links = soup.find_all(class_='css-e5w42e') final_links = [] for link in question_links: if 'href' in link.attrs: link = 'https://www.homeworkmarket.com' + str(link.attrs['href']) print(link) final_links.append(link) </code></pre>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>这不会打开新页面,只会扩展现有页面上的某些区域。<br/> 页面源在可视化扩展之前就包含了这些数据,这就是为什么单击该按钮仍然通过执行</p> <pre><code>page = driver.page_source </code></pre>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
文本导入时标题行中的特殊字符
1 回答
文本小部件:在没有输入时更新并在循环后保持空闲
3 回答
文本小部件tkin
10 回答
文本小部件tkinter中的标签更改或文本外观更改是否有撤消功能?
9 回答
文本小部件tkinter复制图像选项
2 回答
文本小部件上的Python Tkinter ttk滚动条未缩放
3 回答
文本小部件上的滚动条可能需要根据制表符ord显示前进行滚动
9 回答
文本小部件不显示lis中的内容
2 回答
文本小部件不显示Unicode字符
6 回答
文本小部件中写入的行间距
1 回答
文本小部件中的文本作为变量
3 回答
文本小部件中的滚动条仅显示在底部
1 回答
文本小部件中的选项卡键空间计数
9 回答
文本小部件作为Lis
10 回答
文本小部件在主框架中扩展列宽
3 回答
文本小部件未使用删除功能清除
1 回答
文本小部件滚动动画(Tkinter、Python)
10 回答
文本居中。格式正确吗?
2 回答
文本差分算法
5 回答
文本已知时音频文件中的单词索引
3 回答