BS4 findall未返回所有div

Question

我试图找到站点中最下面的表，但是findall（）一直返回空对象，所以我一个接一个地得到了同一级别上的所有div，并注意到当我试图得到最后两个div时，它给了我一个[]

the_page=urllib.request.urlopen("https://theunderminejournal.com/#eu/sylvanas/item/124105")
bsObj=BeautifulSoup(the_page,'html.parser')
test=bsObj.findAll('div',{'class':'page','id':"item-page"})
print(test)

我已经看过了我得到的bs4对象和我要找的2个div不在它。什么发生了什么？在

我要找的div在https://theunderminejournal.com/#eu/sylvanas/item/124105

this is the div im trying to extract

Answer 1

您将需要使用selenium而不是普通的请求库。在

注意，我不能发布所有的输出，因为HTML解析是巨大的。在

代码：

from bs4 import BeautifulSoup
from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://theunderminejournal.com/#eu/sylvanas/item/124105")
bsObj = BeautifulSoup(driver.page_source,'html.parser')
test = bsObj.find('div', id='item-page')
print(test.prettify())

输出：

^{pr2}$