我如何在登录后抓取网站?

2024-06-28 19:30:54 发布

您现在位置:Python中文网/ 问答频道 /正文

我正试图从网页上抓取一个需要登录才能访问的登录页。我当前的脚本(基于我找到的视频教程)返回400错误响应。 该网站的推荐人政策是“交叉来源时严格来源”,而我能找到的所有视频都处理“降级时无推荐人”的政策,我认为这是导致错误的原因。以下是我的脚本,我想知道需要进行哪些修改才能使其正常工作:

payload = {
   'username':username,
   'password':password
   }

url = "https://audiogo.adswizz.com/"
login = "api/v2/auth/login"

headers = {
   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36', 
   'Origin':url,
   'Accept':'application/json, text/plain, */*',
   'Accept-Encoding':'gzip, deflate, br',
   'Accept-Language':'en-US,en;q=0.9',
   'Content-Type':'application/json;charset=UTF-8'}

s = requests.session()
s.post(url=url+login, headers = headers, data = payload)

Tags: 脚本jsonurlapplication错误来源usernamelogin