Python、Selenium和美丽的URL汤

Question

我试图用Selenium编写一个脚本来访问pastebin做一个搜索，并在文本中打印出URL结果。我需要可见的网址结果，而没有其他。在

<div class="gs-bidi-start-align gs-visibleUrl gs-visibleUrl-long" dir="ltr" style="word-break:break-all;">pastebin.com/VYQTSbzY</div>

当前脚本为：

^{pr2}$

Answer 1

你实际上并不需要BeautifulSoup。selenium本身在定位元素方面非常强大：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.keys import Keys


browser = webdriver.Firefox()
browser.get('http://www.pastebin.com')

search = browser.find_element_by_name('q')
search.send_keys("test")
search.send_keys(Keys.RETURN)

# wait for results to appear
wait = WebDriverWait(browser, 10)
results = wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, "div.gsc-resultsbox-visible")))

# grab results
for link in results.find_elements_by_css_selector("a.gs-title"):
    print link.get_attribute("href")

browser.close()

印刷品：

^{pr2}$

请注意，Explicit Wait的使用有助于等待搜索结果的出现。在