输入数据并使用selenium刮取

Question

我想输入纬度和经度到http://www.earthpoint.us/TownshipsSearchByLatLon.aspx并获取结果乡镇信息

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

driver = webdriver.Firefox()
driver.get("http://www.earthpoint.us/TownshipsSearchByLatLon.aspx")
elem = driver.find_element_by_id("ContentPlaceHolder1_Latitude")
elem2 = driver.find_element_by_id("ContentPlaceHolder1_Longitude")

latitude = '32.8699363',
longitude = '-93.9224662'

elem.send_keys(latitude)
elem2.send_keys(longitude)

elem.send_keys(Keys.RETURN)

这将打开包含所需信息的页面。在

我会用needed_info = driver.find_element_by_xpath('some_path')之类的东西吗

硒是最好的方法吗？有没有办法不打开浏览器窗口？在

我检查了stackoverflow上的几个线程，selenium包似乎是最简单的使用方法。mechanize会更好吗？在

Answer 1

elem3 =  [symbol.text for symbol in driver.find_elements_by_xpath('//div[@id="ContentPlaceHolder1_LatLonLiteralDiv"]//table//tr[2]//td[@style="border: solid 1px black; padding: 6px"]//table[@width="225"]//tr//td[2]') if symbol.text]
elem3 = elem3[0].split(',')
print elem3

这样我就能得到我需要的信息。