beautifulsoup4查找所有在沃尔玛杂货店网站上找不到任何数据

Question

我试图从url链接的here中获取一些基本的产品信息，但是bs4find_all命令找不到任何与产品div关联的类名称的数据。具体来说，我正在尝试：

url = https://www.walmart.com/grocery/browse/Cereal-&-Breakfast-Food?aisle=1255027787111_1255027787501
r = requests.get(url)
soup = BeautifulSoup(r.content, 'lxml')
product_list = soup.find_all('div', class_='productListTile')
print(product_list)

但这会打印一个空列表[]。查看了Chrome上的网页后，我知道“productListTile”是正确的类名。知道我做错了什么吗

Answer 1

您很可能需要使用硒。漂亮的汤请求被重定向到“验证您的身份”页面

这是一个与此非常相似的问题，它的代码与硒和美丽的汤协同工作，以刮沃尔玛

python web scraping using beautiful soup is not working

Answer 2

网站抓取技术因网站而异。在这种情况下，您可以使用硒，这是一个很好的选择，在这里，我添加了另一种方法与美丽的汤本身，这对我帮助很大

在这种情况下，请检查网页，然后选择网络，请刷新网页。

然后按类型排序： 在下图中，我用红色标记了他们调用的API，以从后端获取数据。因此，您可以直接调用后端API来获取播放器的数据。

检查“Headers”，您将看到API端点，在预览中，您可以看到JSON格式的API响应。

现在如果你想得到这些图片，请检查图片的来源，你会看到这些图片，你可以下载图片并用id映射。