擅长:python、mysql、java
<p>这些网站受到Cloudflare的保护,并希望在访问网站时启用javascript,就像真正的浏览器一样,<code>requests</code>库无法执行。因此,您可以尝试使用<code>Selenium</code></p>
<p>另一件事我注意到在<code>headless</code>模式中使用<code>Selenium</code>会抛出captcha,但<code>non-headless</code>有效。最后,您可以使用<code>Beautifusoup</code>进行解析</p>
<p><strong>试试这个:</strong></p>
<pre><code>from selenium import webdriver
from bs4 import BeautifulSoup
chrome_path = ('Add your chromedriver path here')
driver = webdriver.Chrome(executable_path=chrome_path)
url = 'https://www.atptour.com/en/scores/results-archive?year=2016'
driver.get(url)
data = driver.page_source
soup = BeautifulSoup(data, 'html.parser')
table = soup.find('table', class_="results-archive-table mega-table")
print(table)
driver.quit()
</code></pre>