如何在不同登录名的登录屏幕上刮取数据？

Question

我正试图从我学院的成绩页（exam.msrit.edu）上汇编我的课堂成绩

我的类的USN来自1MS16CS001-100

有没有什么方法可以让我编写一个scraper程序，在USN框中输入不同的值并收集数据

我对刮片非常陌生，但对Python和java有足够的了解

非常感谢您的建议：）

Answer 1

不一定是刮擦，但您可以使用SeleniumWeb驱动程序浏览页面并为您输入所有内容。Selenium Web驱动程序可以在here中找到

本质上，一旦安装了驱动程序，您只需要实例化驱动程序，然后在运行时循环输入一系列值

from selenium import webdriver
# V sets up browser. If you want to use chrome addtional setup required
browser = webdriver.Firefox()     
for i in len(100):               #loops to arbitrary amount
    browser.get("http://exam.msrit.edu/") #HTTP GET Request to page
    elem = browser.find_element_by_id('id') #This is an html id. Could also use name, xpath, etc.
    elem.send_keys("your string {}".format(i)) #sends up keys
    elem. browser.find_element_by_id('id) #id for search button
    elem.click() #clicks that element

关于selenium的文档非常好http://selenium-python.readthedocs.io/navigating.html

这将打开一个实际的浏览器，并需要一些时间来加载，所以这不是最快的方式，但它会工作。你甚至可以截图