我正在做一个项目在刮下面的网站
http://www.akvariefisk.dk/market/
在进入这个站点时,在从中获取数据之前,我想将下面源代码中看到的列表设置为一个特定的值—在当前情况下,它是值1。在
html源代码
^{pr2}$我当前的代码如下所示,如何在调用请求.get?在
import requests
from bs4 import BeautifulSoup
url = "http://www.akvariefisk.dk/market/"
#obtain data
req = requests.get(url)
如果你在googlechrome的Inspector中打开Network选项卡,你会看到当你选择选项1“Stork…”时,网站会向web服务器发送一个POST请求,并得到页面的HTML代码作为响应。在
所以只需发送一个包含数据的POST请求:
requests
仅用于抓取网站,而不是更改网站。有两种选择:您可以从站点中获取选项并获取第一个选项的值,然后发送一个请求(可能是POST请求),类似于此表单发送的请求。如果您想知道应该使用哪个请求和应该发送哪些参数,只需查看
inputs
标记或使用Chrome DevTools
来嗅探请求(按F12并转到network
部分)。您可以用Selenium webdriver模拟web浏览器。
希望这有帮助:)
相关问题 更多 >
编程相关推荐