使用selenium的Web抓取问题

Question

我试图从这个URL中抓取数据，但是当使用selenium加载URL时，它不会加载这个URL，而是需要登录页面，但是我想要的数据是公共的

path = "C:/Users/gyaan/Desktop/chromedriver"
driver = webdriver.Chrome(path)
driver.get('http://www.egazette.com.sg/gazetteViewDetail.aspx?ct=gg&sc=Ads&year=2020&subscriber=1&stages=3')

please solve this or suggest what to do to open the URL i am passing directly

Answer 1

正如一位用户指出的那样，该链接是一个登录页面。可能是您已经登录到浏览器，因此您看不到登录页面。它不是一个公共页面

您可以设置Selenium为您键入登录凭据。我会考虑这样做

或者，如果它是“归档”页面之一，您可以配置Selenium以与您相同的方式导航到该页面

Answer 2

如果你登录了，它应该可以正常工作，你不必登录。我可以看到该页面没有“记住我”复选框，但是如果您在另一个浏览器窗口中打开该页面，它将在不登录的情况下工作

PS您将beautifulsoup放入标记中，但使用selenium