使用请求提取html内容,并将html中的list设置为特定值

2024-09-30 01:21:03 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在做一个项目在刮下面的网站

http://www.akvariefisk.dk/market/

在进入这个站点时,在从中获取数据之前,我想将下面源代码中看到的列表设置为一个特定的值—在当前情况下,它是值1。在

html源代码

^{pr2}$

我当前的代码如下所示,如何在调用请求.get?在

import requests
from bs4 import BeautifulSoup
url = "http://www.akvariefisk.dk/market/"
#obtain data
req = requests.get(url)

Tags: 项目importhttpurl列表get源代码站点
2条回答

如果你在googlechrome的Inspector中打开Network选项卡,你会看到当你选择选项1“Stork…”时,网站会向web服务器发送一个POST请求,并得到页面的HTML代码作为响应。在

所以只需发送一个包含数据的POST请求:

r = requests.post('http://www.akvariefisk.dk/market/', {'area': 1})

requests仅用于抓取网站,而不是更改网站。有两种选择:

  • 您可以从站点中获取选项并获取第一个选项的值,然后发送一个请求(可能是POST请求),类似于此表单发送的请求。如果您想知道应该使用哪个请求和应该发送哪些参数,只需查看inputs标记或使用Chrome DevTools来嗅探请求(按F12并转到network部分)。

  • 您可以用Selenium webdriver模拟web浏览器。

希望这有帮助:)

相关问题 更多 >

    热门问题