使用BeautifulSoup刮取的数据与源代码不匹配

2024-10-01 17:32:49 发布

您现在位置：Python中文网/ 问答频道 /正文
7356 3

我是个新手。我看过一些关于如何使用beautifulsoup刮取网站的教程。 作为练习，我想从房地产网站中提取数据。 我要刮取的特定页面是：https://www.immoweb.be/fr/recherche/maison-et-appartement/a-vendre?countries=BE&page=1

我的目标是提取每个房地产销售的所有链接的列表。 之后，我想循环浏览链接列表，以提取每次销售的所有数据（价格、位置、nb卧室等）

我遇到的第一个问题是，使用经典beautifulsoup代码刮取的数据与网页的源代码不匹配

这是我的代码：

URL = "https://www.immoweb.be/fr/recherche/maison-et-appartement/a-vendre?countries=BE&page=1"
page = requests.get(URL)
html = page.content
soup = BeautifulSoup(html, 'html.parser')
print(soup)

因此，在寻找位于

soup.find_all("a", class_="card__title-link")

它输出一个空列表。事实上，这些标签实际上并没有正确地从我上面的代码中提取出来。 为什么呢？我应该如何确保提取的html与网站源代码中可见的内容正确对应

谢谢：-）


Tags： 数据代码https列表网站htmlwwwpage
1条回答
网友
1楼 · 发布于 2024-10-01 17:32:49

您看到的数据以Json格式嵌入到页面中。您可以使用以下示例了解如何加载它：

import json
import requests
from bs4 import BeautifulSoup

url = "https://www.immoweb.be/fr/recherche/maison-et-appartement/a-vendre?countries=BE&page=1"
soup = BeautifulSoup(requests.get(url).content, "html.parser")
data = json.loads(soup.find("iw-search")[":results"])

# uncomment this to print all data:
# print(json.dumps(data, indent=4))

# print some data:
for ad in data:
    print(
        "{:<63} {:<8} {}".format(
            ad["property"]["title"],
            ad["transaction"]["sale"]["price"] or "-",
            "https://www.immoweb.be/fr/annonce/{}".format(ad["id"]),
        )
    )

印刷品：

Triplex appartement met 3 slaapkamers en garage.                239000   https://www.immoweb.be/fr/annonce/9309298
Appartement                                                     285000   https://www.immoweb.be/fr/annonce/9309895
Heel ruime, moderne, lichtrijke Duplex te koop, bij centrum     269000   https://www.immoweb.be/fr/annonce/9303797
À VENDRE PAR LANDBERGH : appartement de deux chambres à Gand    359000   https://www.immoweb.be/fr/annonce/9310300
Prachtige nieuwbouw appartementen                               -        https://www.immoweb.be/fr/annonce/9309278
Prachtige nieuwbouw appartementen                               -        https://www.immoweb.be/fr/annonce/9309251
Prachtige nieuwbouw appartementen                               -        https://www.immoweb.be/fr/annonce/9309264
Appartement intéressant avec agréable vue panoramique verdoy    219000   https://www.immoweb.be/fr/annonce/9309366
Projet Utopia by Godin                                          -        https://www.immoweb.be/fr/annonce/9309458
Appartement 2-ch avec vue unique!                               270000   https://www.immoweb.be/fr/annonce/9309183
Residentieel wonen in Hélécine, dichtbij de natuur en de sne    -        https://www.immoweb.be/fr/annonce/9309241
Appartement                                                     375000   https://www.immoweb.be/fr/annonce/9309187
DUPLEX LUMIEUX ET SPACIEUX                                      380000   https://www.immoweb.be/fr/annonce/9298271
SINT-PIETERS-LEEUW / Magnifique maison de ±130m² avec jardin    430000   https://www.immoweb.be/fr/annonce/9310259
PARC PARMENTIER // APP MODERNE 3CH                              490000   https://www.immoweb.be/fr/annonce/9262193
BOIS DE LA CAMBRE – AV DE FRE – CLINIQUES DE L’EUROPE           575000   https://www.immoweb.be/fr/annonce/9309664
Entre Stockel et le Stade Fallon                                675000   https://www.immoweb.be/fr/annonce/9310094
Maisons neuves dans un cadre verdoyant                          -        https://www.immoweb.be/fr/annonce/6792221
Nieuwbouwproject Dockside Gardens - Gent                        -        https://www.immoweb.be/fr/annonce/9008956
Appartement                                                     139000   https://www.immoweb.be/fr/annonce/9187904
A VENDRE CHEZ LANDBERGH: appartements à Merelbeke Flora         -        https://www.immoweb.be/fr/annonce/9306877
Très beau studio avec une belle vue sur la plage et la mer!     319000   https://www.immoweb.be/fr/annonce/9306787
BEL APPARTEMENT LUMINEUX DIAMANT / PLASKY                       320000   https://www.immoweb.be/fr/annonce/9264748
Un projet d'appartements neufs à proximité de Woluwé-St-Lamb    -        https://www.immoweb.be/fr/annonce/9308037
PLACE JOURDAN - 2 CHAMBRES                                      345000   https://www.immoweb.be/fr/annonce/9306953
Magnifiek appartement in de Brugse Rand - Assebroek             399000   https://www.immoweb.be/fr/annonce/9306613
Bien d'exception                                                415000   https://www.immoweb.be/fr/annonce/9308022
Appartement                                                     435000   https://www.immoweb.be/fr/annonce/9307802
Magnifique maison 5CH - 3SDB - bureau - dressing - garage       465000   https://www.immoweb.be/fr/annonce/9307178
Magnifique maison 5CH - 3SDB - bureau - dressing - garage       465000   https://www.immoweb.be/fr/annonce/9307177

编辑：添加了URL列

相关问题 更多 >

    编程相关推荐

    热门问题