Selenium单击nextpage链接不加载下一页

Question

我对selenium和webscraping还不熟悉，我正在尝试从链接获取信息：https://www.carmudi.com.ph/cars/civic/distance:50km/?sort=suggested

下面是我使用的代码片段：

while max_pages > 0:
                results.extend(extract_content(driver.page_source))
                next_page = driver.find_element_by_xpath('//div[@class="next-page"]')
                driver.execute_script('arguments[0].click();', next_page)
                max_pages -= 1

当我试图打印结果时，我总是从第1页得到相同的结果（最多页数）。“Next page”按钮在页面中可见，当我试图查找同一类的元素时，它只显示1个元素。当我试图通过精确的xpath获取元素并对其执行click操作时，它并不起作用。我把它放在一个try-except块中，但是没有错误。为什么会这样？在

Answer 1

你让这件事变得更复杂了。在这里使用JS点击是没有意义的。。。只需使用正常的硒点击。在

while True:
    # do stuff on the page
    next = driver.find_element_by_css_selector("a[title='Next page']")
    if next
        next.click()
    else
        break

Answer 2

替换：

next_page = driver.find_element_by_xpath('//div[@class="next-page"]')
driver.execute_script('arguments[0].click();', next_page)

有：

^{pr2}$

如果您在控制台中尝试next = document.querySelector(".next-page"); next.click();，您可以看到它是有效的。在