如何用Python和Selenium进行分页页面的刮取

Question

我一直试图从网站上取消“价格历史”标签下的表格 http://merolagani.com/CompanyDetail.aspx?symbol=ADBL

我已经使用Selenium自动化了这个过程，但实际上找不到实际结果，也无法更改到下一页

Answer 1

编辑：经过几次测试后，我看到这个url只给出了页面上绘图/图形使用的数据，而不是来自"Price History"的数据。我看不到包含"Price History"数据的url，所以这个答案不能解决问题。它需要更多地挖掘请求和代码。在

页面是用ASP.Net创建的，它有非常灵活的系统可以将信息发送到服务器。
它使用JavaScript和<form>来发送许多信息（在名为_VIEWSTATE的字段中）。在

---

JavaScript从以下URL读取数据（如JSON）

http://merolagani.com/handlers/webrequesthandler.ashx?type=g‌​et_company_graph&sym‌​bol=ADBL&dateRange=1‌​2

所以你也可以试试看

^{pr2}$

结果：

OK: ok
Symbol: ADBL
Name: Agriculture Development Bank Limited
  date: 12/18/2016
  open: 540.0
 close: 540.0
  high: 540.0
   low: 525.0
volume: 6847.0
   rsi: 0.0
           
  date: 12/19/2016
  open: 535.0
 close: 520.0
  high: 535.0
   low: 520.0
volume: 6963.0
   rsi: 0.0
           
  date: 12/20/2016
  open: 520.0
 close: 520.0
  high: 530.0
   low: 505.0
volume: 9974.0
   rsi: 0.0