登录到Si的问题

Question

我正试图建立一个小脚本，登录到一个网页，然后从那里我可以做其他事情。你知道吗

我没有问题获得未经验证的网页，但当我尝试“登录”，它似乎没有张贴网页。我不确定这是否是一个问题，没有形式的行动，也有另一个隐藏的形式在这个页面上。你知道吗

当我尝试我的代码时，返回的html用我提供的user/pass填充字段。好像“登录”按钮还没按下。你知道吗

这是表格：

<form method="POST">
   <table border=1  bgcolor="#a7a7a7"  style="border-collapse:collapse;border-style:solid; border-color:#006600" >
      <tr>
         <td>
            <table  cellspacing=2 cellpadding=4>
               <tr>
                  <td align="right"  bgcolor="#b7b7b7" >your email</td>
                  <td  bgcolor="#c7c7c7" ><input name="user_email" type="text" size=30 value=""><br></td>
               </tr>
               <tr>
                  <td align="right"  bgcolor="#b7b7b7" >your password</td>
                  <td  bgcolor="#c7c7c7" ><input name="user_password" type="password" size=30><br></td>
               </tr>
               <tr>
                  <td align="center" colspan=2><input type="submit" name="do_login" value="log in"></td>
               </tr>
            </table>
         </td>
      </tr>
   </table>
   <input type="hidden" name="allhidden[0]" value="dummy">
   <input type="hidden" name="allhidden[_ga]" value="1234">
   <input type="hidden" name="allhidden[_gid]" value="1234">
   <input type="hidden" name="allhidden[gd_session]" value="eFmcHb">
   <input type="hidden" name="allhidden[grey_cookie]" value="&&&">
   <br>
</form>

这是我的代码：

s = requests.Session()

# Perform login
result = s.post(LOGIN_URL, data={
    "user_email": USERNAME, 
    "user_password": PASSWORD, 
})

# Scrape url
html = s.get(DASHBOARD_URL).content
print(html)
soup = BeautifulSoup(html, "html.parser")

尝试了不同的代码，但知道上面的作品在正常的网页。我还需要传递或启动提交按钮吗？你知道吗

谢谢你的帮助！你知道吗

Answer 1

检查^[1]请求后，可以看到以下字段是必需的：

z: 7T2RlN
user_email: USERNAME
user_password: PASSWORD
do_login: log in
allhidden[0]: dummy

您需要首先从http://greyhound-data.com/login.htm中刮取z的值，这是一个隐藏字段值：<input type="hidden" name="z" value="7T2RlN">。你知道吗

import requests
from bs4 import BeautifulSoup

with requests.Session() as s:
    r = s.get('http://greyhound-data.com/login.htm')
    soup = BeautifulSoup(r.text, 'lxml')
    z = soup.find('input', {'name': 'z'})['value']
    data = {
        'z': z,
        'user_email': USERNAME,
        'user_password': PASSWORD,
        'do_login': 'log in',
        'allhidden[0]': 'dummy',
    }
    r = s.post('http://greyhound-data.com/login.htm', data=data)
    print('You are now successfully logged in.' in r.text)
    # True

[1]：检查请求：

1. 打开开发人员工具（Ctrl+Shift+I）
2. 点击网络
3. 输入登录详细信息并提交表单
4. 点击login.htm

---

更新代码：

import requests
from bs4 import BeautifulSoup

with requests.Session() as s:
    r = s.get('http://greyhound-data.com/login.htm')
    soup = BeautifulSoup(r.text, 'lxml')

    data = {
        'user_email': USERNAME,
        'user_password': PASSWORD,
        'do_login': 'log in',
    }

    for hidden_field in soup.find_all('input', type='hidden', value=True):
        data[hidden_field['name']] = hidden_field['value']

    r = s.post('http://greyhound-data.com/login.htm', data=data)
    print('You are now successfully logged in.' in r.text)