我正在尝试使用下面的脚本从a webpage获取一些表格内容。要手动填充内容,必须在点击Submit
按钮之前从this image中显示的下拉列表中选择选项。我尝试相应地模拟post http请求。然而,我可能出了什么问题,这就是为什么脚本不起作用。具体来说,this is我试图获取的内容
我就是这样尝试的:
import requests
from bs4 import BeautifulSoup
URL = 'https://www.lgindiasocial.com/microsites/brand-store-web-five/locate.aspx'
headers = {
'x-microsoftajax': 'Delta=true',
'origin': 'https://www.lgindiasocial.com',
'content-type': 'application/x-www-form-urlencoded; charset=UTF-8',
'referer': 'https://www.lgindiasocial.com/microsites/brand-store-web-five/locate.aspx',
}
with requests.Session() as s:
s.headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'
r = s.get(URL)
soup = BeautifulSoup(r.text,"lxml")
payload = {i['name']:i.get('value','') for i in soup.select('input[name]')}
payload['ScriptManager1'] = 'UpdatePanel1|btnsubmit'
payload['ddlState:'] = 'Assam'
payload['ddlCity'] = 'Golaghat'
payload['ddllocation'] = 'Golaghat'
s.headers.update(headers)
r = s.post(URL,data=payload)
soup = BeautifulSoup(r.text,"lxml")
item = soup.select_one("table")
print(item)
当我运行脚本时,我没有得到任何输出
如何使用post请求从搜索结果中获取表格内容?
编辑:如果我直接从dev工具复制the content个有效负载,并在有效负载中使用相同的内容,我会得到想要的结果
import requests
from bs4 import BeautifulSoup
URL = 'https://www.lgindiasocial.com/microsites/brand-store-web-five/locate.aspx'
payload = "ScriptManager1=UpdatePanel1%7Cbtnsubmit&hidcity=&ddlState=Assam&ddlCity=Golaghat&ddllocation=Golaghat&__EVENTTARGET=&__EVENTARGUMENT=&__LASTFOCUS=&__VIEWSTATE=M%2BqldpZhV90EX2sawXMrHD7jYtOMXnrPuP8XfVtS21GKmxK0YYuBnqm3I7tU%2BKMtFGZgzWpsYK%2FYJtfTBUK%2F0WobR21tjbWjdrZiXS5FlLcS6qgYMNKfqyZRcK13dbz667H7T6QZqpITTRSqsM%2BrM91VW989KXoknFdx0H6EkRFCJRu4WsBsUxeJnd5Lf5IAUN%2BTNKDYE5GuclDNKnmU1pMmHhrjKQysvYtw8cjD5DdDkNb7NDkLiVxm7DISyXZtVJyOBV6dFa%2Blm1%2FR9M7F2nyepARAl0XIiNP9dhFvomLNdlP%2BU%2FNyllJ5IXW4D%2Fl5Kfx5yaRP8XSKURtAc915i%2F2T48a0dyAR42tJ40eit1IWs7MCwgesNtF35zkuKN1SRhyhHqcnKjcMYW%2BkLqKsLvKpLQcDuXrIAzYyqlgJZ%2FlBQJo%2BiM4tTOH4mEqDkSZW%2Fk94KX1OM70s9%2FS%2Fd5trrHIgNoKw1bCRI8IQ41ZEicMsJPTp67KnqoMZz0F0cCmo%2F49zYkuHw0kqaZmKCrRUNW8Xcr%2F5A3AfNg%2FB8WURD0g2x%2BwzcLXDcVCJ6ngf0LdOc%2BTppM6EOZpTGJGjjDqK116tzWAOPfiJHgBuIPkiZJTaEHnwwjcYXuuLN%2FTgPFUJkXVjBSyRdCnPXsebInNd4Wsu2lnNdwZUO3rnNuu5eY%2FHf7YemcmCEzji%2FxLG%2FynnG0sG61TC1bJCyFw2E3V6ZGshbuqDfh7QQyxqPDEt2uaCN7s%2FOZ%2FwiXeVY2henUVBZSVrxUvF6QT0eO4SIY0OlNYBLK7cO4YG4zC0tURSBr7lZwR%2B%2FowLieNGSO7sOeLQVwL71GKnzBAOZVQH1hw%2B8FIRPoc0pn3v7RjK5CMgTtrZlar67Cv1lTi2nUyAIpX%2BhGkaQeOsg%2ByaIqDIo%2FWwcrg9VV9QP%2FdmwP8hTtq3KTVs0Ncja4Yvizm12BkEwWtMJ9fqzLBXt%2F2J2EjsG7GudgXypwSU7U8oY%2Fq%2BCk93y%2FeTr1ftEFbpGRTRm4hNVXeoCYRyuJceU%2BvO4U5E29ZPqBIolidYtKKH7lnRxKNk2BHtY93VNHPZEjTEDnHcGbgtHmxlBjHRQZlzJKWTjY5ccdFABihGx%2FzY0VCwaehpx2BWxy5qXqW1fX7e5uxxxHteYVt7YyrzYPsX%2B%2FlKiYwt23fsJzmmVkHwmu5%2FTSk1Ms9yJmBE%2B8pEF%2Bum01L8jRH4zxyTaD4s779uLZwLAUUzpi5cfseKTrjGv7uNjCpNci9BXbSdCdqrKa8aPiJX0lWUH9zid%2B8Jc7Jhx%2Bb6nzJpbZ8E9sPpUlcHVGUSzqixsiK91W%2FDDk2LCOvTqJJ9JXmy5cwRhL9r95okWq%2BDImTetFhdYk9%2F9VH3JsACpv4dqqdviEjjFpvmEp7SBMLSWw7toPUIRortPtriz3u9velTqNpHgmbmig8Znb%2F4Q8JrYfjPZzfRxN%2FuQXQyxUNUY2IsYbC5Bm7JWTMZe869muBdE%2FlMLujUkOFCXaOwZXuZHbr7neq0nro3RvYUggBLqxGFlG1Bp52iDNklcx8nfjVMOhOybfCMcxz6mq4Ew2hdLv4IslLRawI5u%2FPQe0vu0TG9LeBeR6Ok1sf72rWpvhD6yl4GTy8oJC1UglabWo8i5aMprxxAWuz%2BzLzizI3aRTQsl1MFKsD9gIGZsaFNAIb7gEgFgw%2B%2BSjTGR51mGES3sOUYXscIJVBciBs3F9vnr8u5gfKD3hLwqvc4djKMBxVQfjLEs%2FQwb7mlOx8XodaV6uOrkiZpw2WZNja5RPBIp4VXeXKXIxqBNsNA4eGT%2Bx2b2JadVB8%3D&__VIEWSTATEGENERATOR=06ED1D24&__VIEWSTATEENCRYPTED=&__ASYNCPOST=true&btnsubmit=Submit"
with requests.Session() as s:
s.headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'
s.headers.update({'content-type':'application/x-www-form-urlencoded; charset=UTF-8'})
r = s.post(URL,data=payload)
soup = BeautifulSoup(r.text,"lxml")
item = soup.select_one("table")
print(item)
最后一篇文章的结果如下所示。它不包含您期望的表,但它不是一个完整的HTML文档。我怀疑这通常是使用AJAX加载的,因此只更新DOM的一部分,然后在处理之后执行更多JavaScript来加载您所查找的表。我建议您使用
selenium
之类的工具来驱动浏览器。例如,使用Chrome:印刷品:
更新:
我看到你已经更新了你的问题。我假设您已经进行了网络跟踪,以查看后续的AJAX POST请求用于获得最终结果的内容。您非常依赖于网站应用程序的内部结构,不会发生变化,但我认为只要它们保持不变,您的代码就可以工作
我已经更新了我的解决方案,在尝试在下一个下拉列表中进行选择之前,不必每次在下拉列表中进行选择时任意等待1秒。例如,在“状态”下拉列表中进行选择后,将重新创建当前“城市”下拉列表(并且原始下拉列表将变为“过时”)。新代码只是重复地等待当前城市下拉列表变得过时,然后再寻找新的。因此,应该少浪费时间
第二个变化是简单地将完整的HTML加载到BeautifulSoup中
当然,这段代码取决于用户界面是否不变。但是,当用户界面确实发生变化时,这一点非常明显,并且该代码很容易适应这种变化
原始发帖请求的结果:
首先,在代码中输入一个小的输入错误,(在那里加上冒号)
更大的问题在于页面的构造方式。该页面有三个下拉列表,这些下拉列表发送POST请求。每个POST请求都返回一个修改的_VIEWSTATE,该状态需要包含在后续请求的标头中
在您的代码中,您仅从原始GET请求的输入[form]获取_VIEWSTATE,您需要从上一个POST请求获取_VIEWSTATE。因此,以下措施应该有效:
这段代码还有一些优化的空间。我试图使问题透明化
相关问题 更多 >
编程相关推荐