点击网站上的按钮，然后刮下网页页面

Question

我有一个网站，我想点击一个按钮，然后用python刮网站按钮之间的html代码是：

 <span id="exchange-testing" class="exchange-input nav-link" data track="&amp;lid=testing&amp;lpos=site_settings" data-value="testing">Testing</span>

这可能吗？我可以从页面中收集所需的所有数据，但我需要先单击按钮。

任何帮助都将不胜感激

Answer 1

基本上，你有两个选择：

• 高级方法：使用^{}自动化一个真正的浏览器，或者换句话说，让浏览器重复所有用户操作，以使用所需的数据到达页面。

• 低级方法：单击按钮时，调查引擎盖下正在发生的事情-浏览浏览器开发工具的“网络”选项卡，查看正在发出的请求。然后，在你的刮刀里模拟它们。在这里，您可以考虑使用诸如^{}、^{}之类的工具来发出请求、处理刮片会话、提交表单等，以及^{}、^{}之类的工具来进行html解析。另外，^{}web抓取框架是一个必看的东西。