使用Python+Selenium+PhantomJ拦截Ajax响应

Question

我需要从网页上提取电子邮件地址。该网页包含电子邮件地址的链接。我点击链接。它发送一个XHR请求。ajax响应由js脚本捕获，该脚本解析响应并打开邮件客户端。在

由于Ajax响应不会以任何方式更改html，所以我无法通过监视html来提取电子邮件。在

我需要自己捕获Ajax响应，以便解析它并将其保存到数据库中。在

#
# Initialize browser etc.
#
driver = webdriver.PhantomJS()
emailLink = driver.find_element_by_class_name('email_add')
emailLink.click()

#There is no change in html. I can't find the email address

通过使用firefoxwebdriver代替PhantomJS，我确保代码运行良好。Firefox打开一个邮件客户端来响应ajax回复。在

我尝试使用requests和urllib2发出请求，但不知何故，web服务器识别这些手动生成的请求并重定向到主页。在

Answer 1

I tried issuing the request using requests and urllib2, but somehow the webserver identifies these manually generated requests and redirects to the home page.

如果这是问题所在，那么让服务器认为请求来自浏览器。更改用户代理

Changing user agent on urllib2.urlopen