我想刮下下面的产品https://www.decathlon.it/p/disco-ghisa-bodybuilding-28mm/_/R-p-7278?mc=1042303&c=NERO
但是对于产品,我们可以选择不同的重量(从0.5到20公斤)。我创建了以下代码,但它只给我第一个重量(0,5kg),而没有给我另一个
import requests
import re
import time
urls = ['p/disco-ghisa-bodybuilding-28mm/_/R-p-7278.html']
user_agent = {'User-agent': 'Mozilla/5.0'}
def main(site):
with requests.Session() as req:
for url in urls:
r = req.get(site.format(url), headers=user_agent)
match = re.search('availability.+org\/(.*?)"', r.text)
print("url: {:<70}, status: {}".format(r.url, match.group(1)))
while True:
main("https://www.decathlon.it/{}")
time.sleep(1)
但我想计算出以下输出
weight 0,5kg outofstock, 1kg outofstock and so on.
您可能应该从这个链接Unable to scrape drop down menu using BeautifulSoup and Requests中查看BeautifulSoup python库和讨论,或者使用Selenium来更改下拉菜单中的选项,您可以在这里了解更多信息https://www.guru99.com/select-option-dropdown-selenium-webdriver.html
相关问题 更多 >
编程相关推荐