为什么我不能从动态网页中刮取表格

Question

import requests
from bs4 import BeautifulSoup
import pandas as pd

url = "https://ntr.tourism.government.bg/CategoryzationAll.nsf/mn.xsp"
page = requests.get(url)
soup = BeautifulSoup(page.text,'lxml')

print(soup)



data = []
table = soup.find('table', {'class':'table table-striped table-hover mnastaniavane dataTable no-footer'})
table_body = table.find('tbody')
rows = table_body.find_all('tr')
for row in rows:
    cols = row.find_all('td')
    cols = [ele.text.strip() for ele in cols]
    data.append([ele for ele in cols if ele])

这是一个网页：https://ntr.tourism.government.bg/CategoryzationAll.nsf/mn.xsp我想为一个大学项目在一个特定的地点拍摄所有酒店的照片（例如，瓦尔纳-该地点在西里尔语）。我找到了源代码并描述了确切的表-但我无法从表中刮取任何行/元素等。 有什么推荐吗！？ 虽然目前有很多信息，但我没有找到一个有用的代码来整理表格

Answer 1

您可以使用selenium（python库）从动态生成数据的网页中获取数据，您可以从here下载chrome drive

from bs4 import BeautifulSoup
import pandas as pd
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as ec

options.add_argument(' headless')
driver = webdriver.Chrome("path/to/chromedriver", options=options)

url = "https://ntr.tourism.government.bg/CategoryzationAll.nsf/mn.xsp"
driver.get(url)

table_confirm = WebDriverWait(driver, 20).until(
  ec.presence_of_element_located((By.ID, "mnastaniavane"))
)
page_source = driver.page_source
soup = BeautifulSoup(page_source,'lxml')

print(soup)



data = []
table = soup.find('table', {'class':'table table-striped table-hover mnastaniavane dataTable no-footer'})
table_body = table.find('tbody')
rows = table_body.find_all('tr')
for row in rows:
    cols = row.find_all('td')
    cols = [ele.text.strip() for ele in cols]
    data.append([ele for ele in cols if ele])

Answer 2

数据来自Ajax请求，因此您只需执行Ajax请求，而无需呈现页面，这会更快

例如，这是页面20行中的前4列：

import requests

url = "https://ntr.tourism.government.bg/CategoryzationAll.nsf/api/data/collections/name/vRegistarMNValid?sortcolumn=CNumber&sortorder=ascending&ps=20&page=0&_=1624898715559"
rows = requests.get(url).json() # list of the 20 rows, rows are dict.

# Uncomment to see all the columns title.
# print(rows[0].keys())

for row in rows:
    print(row["CNumber"], row["TOSubType1"], row["TOName"], row["TOCity"])

输出：

0000000012 Семеен хотел Семеен хотел "ХЕЛГА" Горна Митрополия
00001 Къща за гости "ЛИДИЯ" Батак
00001 Стаи за гости самостоятелни стаи к-с "Барите" Чернево
00001 Стаи за гости СТАИ ЗА ГОСТИ "ГОРХИМ" Рила
00001 Стаи за гости СТАИ ЗА ГОСТИ Брестовица
00001 Къща за гости Къща за гости - ловен и селски туризъм Хърсово
00001 Хотел Иглен Ъглен
00001 Къща за гости РЕЛАКС/RELAX/ Батак
00001 Къща за гости  Батак
00001 Къща за гости ВИЛИ-ПЕТЯ № 1 Батак
00001 Къща за гости "Форест Лодж" Банско
00001 Къща за гости "ОМД" ООД Земен
00001 Стаи за гости Дунавска перла Попина
00001 Къща за гости КЪЩА ЗА ГОСТИ "БЛАГОВЕСТА" Илинденци
00001 Стаи за гости Георгиевата къща Генерал Кантарджиево
00001 Къща за гости "Дунковата къща" Падала
000011 Къща за гости Гостилица Гостилица
00002 Стаи за гости Стаи за гости Загражден
00002 Апартаменти за гости апартамент за гости №15 в жилищна сграда ,Мърфис Лодж" Банско
00002 Къща за гости ВИЛИ-ПЕТЯ № 2 Батак