如何从下拉列表中选择多个网页

Question

我该如何去抓取一个网站的多个页面，这些页面是通过一个下拉菜单和按钮来导航的？我知道如何通过在当前页面中找到指向下一页的链接来进行分页，但是这种情况下不能应用相同的技术。在

我想到的一个想法是找到下一个下拉选项的值，并将url改为直接指向相应的页面。这是一个有效的解决方案吗？在

下面是一个例子：http://highschoolsports.nj.com/football/standings/?grouping=15764

Answer 1

首先访问其中一个关于团队的页面。例如GMC Blue，然后从下拉选择中获取所有value。在

 <option value="">Select a Conference - Division</option>
 <option value="15764" selected="selected">GMC - Blue</option>
 <option value="15767">GMC - Red</option>
 <option value="15713">GMC - White</option>
 <option value="18380">Independent</option>
 <option value="15773">Mid-State 38 - Delaware</option>
 <option value="15854">Mid-State 38 - Mountain</option>
 <option value="15824">Mid-State 38 - Raritan</option>
  ....

http://highschoolsports.nj.com/football/standings/?grouping=18380创建for循环并更改每个请求中分组的值。在