硒响应数据不包含某些元素

Question

我想把这一页刮下来

https://www.tribeofdumo.com/product-page/gbemi-dress-purple

尤其是我试图通过访问元素<div class ='option-selection-item'>来获取下拉菜单中的大小列表

我在执行inspect元素时可以看到这个元素，但是在来自Selenium的响应数据中，我找不到这个元素。那么如何从“大小”下拉列表中提取数据呢

这是我的密码：

from time import sleep
import re
from scrapy.selector import Selector
from selenium import webdriver

driver = webdriver.Firefox()
driver.get("https://www.tribeofdumo.com/product-page/gbemi-dress-purple")
sleep(10)
driver.switch_to.frame("TPAMultiSection_jc31t3yyiframe")
sleep(10)
html = driver.execute_script("return document.documentElement.outerHTML;")

Answer 1

我不确定你是否打算做下面的事。但是，它会在该下拉列表中生成不同的可用大小：

from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://www.tribeofdumo.com/product-page/gbemi-dress-purple")
driver.switch_to.frame(driver.find_element_by_id("TPAMultiSection_jc31t3yyiframe"))
driver.find_element_by_css_selector(".select2-arrow").click()
for item in driver.find_elements_by_css_selector(".ui-select-container .option-selection-item"):
    print(item.text)

driver.quit()

输出：

S
M
L
XL
2XL