如何使用python从隐藏的div和类中抓取文本？

Question

我正在编写一个脚本，从这个网页上抓取视频标题 “https://www.google.com.eg/trends/hotvideos” 但是问题是标题隐藏在html源页面上，但是如果我使用检查器来查找它，我可以看到它

这是我的代码，使用这个（“class”：“wrap”）可以很好地工作 但当我把它和隐藏的“class”一起使用时，“hotvideos single trend title container”并没有给我任何输出信息

#import urllib2
from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen('https://www.google.com.eg/trends/hotvideos').read()
soup = BeautifulSoup(html)
print (soup.findAll('div',{"class":"hotvideos-single-trend-title-container"}))
#wrap

Answer 1

页面是使用Javascript生成/填充的。在

BeautifulSoup在这里帮不了你，你需要一个支持Javascript生成的HTML页面的库，请参阅此处获取list或查看一下{a2}