为什么我不能从动态网页中刮取表格

Question

import requests
from bs4 import BeautifulSoup
import pandas as pd

url = "https://ntr.tourism.government.bg/CategoryzationAll.nsf/mn.xsp"
page = requests.get(url)
soup = BeautifulSoup(page.text,'lxml')

print(soup)



data = []
table = soup.find('table', {'class':'table table-striped table-hover mnastaniavane dataTable no-footer'})
table_body = table.find('tbody')
rows = table_body.find_all('tr')
for row in rows:
    cols = row.find_all('td')
    cols = [ele.text.strip() for ele in cols]
    data.append([ele for ele in cols if ele])

这是一个网页：https://ntr.tourism.government.bg/CategoryzationAll.nsf/mn.xsp我想为一个大学项目在一个特定的地点拍摄所有酒店的照片（例如，瓦尔纳-该地点在西里尔语）。我找到了源代码并描述了确切的表-但我无法从表中刮取任何行/元素等。 有什么推荐吗！？ 虽然目前有很多信息，但我没有找到一个有用的代码来整理表格

Answer 1

数据来自Ajax请求，因此您只需执行Ajax请求，而无需呈现页面，这会更快

例如，这是页面20行中的前4列：

import requests

url = "https://ntr.tourism.government.bg/CategoryzationAll.nsf/api/data/collections/name/vRegistarMNValid?sortcolumn=CNumber&sortorder=ascending&ps=20&page=0&_=1624898715559"
rows = requests.get(url).json() # list of the 20 rows, rows are dict.

# Uncomment to see all the columns title.
# print(rows[0].keys())

for row in rows:
    print(row["CNumber"], row["TOSubType1"], row["TOName"], row["TOCity"])

输出：

0000000012 Семеен хотел Семеен хотел "ХЕЛГА" Горна Митрополия
00001 Къща за гости "ЛИДИЯ" Батак
00001 Стаи за гости самостоятелни стаи к-с "Барите" Чернево
00001 Стаи за гости СТАИ ЗА ГОСТИ "ГОРХИМ" Рила
00001 Стаи за гости СТАИ ЗА ГОСТИ Брестовица
00001 Къща за гости Къща за гости - ловен и селски туризъм Хърсово
00001 Хотел Иглен Ъглен
00001 Къща за гости РЕЛАКС/RELAX/ Батак
00001 Къща за гости  Батак
00001 Къща за гости ВИЛИ-ПЕТЯ № 1 Батак
00001 Къща за гости "Форест Лодж" Банско
00001 Къща за гости "ОМД" ООД Земен
00001 Стаи за гости Дунавска перла Попина
00001 Къща за гости КЪЩА ЗА ГОСТИ "БЛАГОВЕСТА" Илинденци
00001 Стаи за гости Георгиевата къща Генерал Кантарджиево
00001 Къща за гости "Дунковата къща" Падала
000011 Къща за гости Гостилица Гостилица
00002 Стаи за гости Стаи за гости Загражден
00002 Апартаменти за гости апартамент за гости №15 в жилищна сграда ,Мърфис Лодж" Банско
00002 Къща за гости ВИЛИ-ПЕТЯ № 2 Батак