需要多次单击时进行网页刮取

Question

请看一下这里https://www.cbp.gov/contact/find-broker-by-port/4901。试图从港口上搜刮所有经纪人的名单。我的问题是当需要多次单击（向前/向后）以获得单个/多个数据项时需要采取的方法。你能给我指一些关于这个或任何其他你认为合适的解决方案的阅读材料吗。非常感谢

Answer 1

您可以根据需要使用selenium自动执行多次单击（向前/向后），还可以识别特定的数据项

下面是一个很好的例子

[1]https://selenium-python.readthedocs.io/getting-started.html

更新：如果网站是静态的，另一种方法是将请求与beautifulsoup一起使用，这里是一个例子https://medium.com/@itylergarrett.tag/learning-web-scraping-with-python-requests-beautifulsoup-936e6445312