如何使用python从javascript网站抓取数据

Question

我无法从网站上抓取数据，因为我有一个URL链接https://autodesk.wd1.myworkdayjobs.com/Ext/0/refreshFacet/318c8bb6f553100021d223d9780d30be 当我打开这个链接时，会有很多工作列表显示，当我滚动页面时，会自动加载更多工作列表当我检查页面时，只会显示JavaScript，我需要提取以下数据工作位置、工作描述、工作URL、全职或兼职，json格式的最低要求我不知道如何在我的代码下面做到这一点

from bs4 import BeautifulSoup
import pandas as pd
from selenium import webdriver
from datetime import datetime
startTime = datetime.now()
import time
print('startTime',startTime)
driver = webdriver.Chrome('C:\\Users\\arif khan\\Downloads\\chromedriver.exe')
driver.get('https://autodesk.wd1.myworkdayjobs.com/Ext/0/refreshFacet/318c8bb6f553100021d223d9780d30be')

Answer 1

您必须从div中提取它：

jobs = driver.find_elements_by_xpath("//div[@class='WNOO WBOO']/ul/li")
for job in jobs:
    print(job)

在网站上，右键单击并使用“Inspect Element”查看任何特定元素的代码。例如，如果您右键单击文本“Finance Manager”，然后单击“Inspect Element”，它将显示它的代码