Python中文网 - 问答频道, 解决您学习工作中的Python难题和Bug
Python常见问题
作为实习的一部分，我正在构建一个网络爬虫，当我按某些属性过滤时，我找不到得到空列表的原因。我正在努力搜集会议的名称、日期和地点。你知道吗
我试过几种不同的方法，结果都一样。下面是我尝试过的所有不同方法：
class AACRSpider(scrapy.Spider):
name = 'aacr'
allowed_domains = ['aacr.org/MEETINGS']
start_urls = ['https://www.aacr.org/MEETINGS/PAGES/EVENTLISTING.ASPX#k=']
def parse(self, response):
soup = BeautifulSoup(response.text, "lxml")
response.css("#Groups a::text").getall() #~ returns []
response.css(".result-event-date::text").getall() #~ returns []
soup.find_all('span', {'class':'result-event-date'}) #~ returns []
soup.find_all(class_="result-event-date") #~ returns []
#....
以上4种方法都返回空列表，而不是返回我知道存在于网页上的文本。据我所知，这些标记不是iframe的一部分。我不是很熟悉js，它是否限制了我的爬虫程序可以访问什么？你知道吗
Tags： 方法textorgevent列表dateresponseresult
热门问题
- 为什么在使用strptime时会出现未进行转换的数据错误？
- 为什么在使用strptim时会出现这个datetime日期错误
- 为什么在使用StyleFrame时索引列的标题不显示sf.至excel()?
- 为什么在使用sum（）函数时会发生“int”对象不可调用的错误？
- 为什么在使用sympy.dsolve时会得到“'list'对象没有属性'func'”？
- 为什么在使用tabla时会得到一个空的数据帧？
- 为什么在使用tensorboard时需要add_graph（）的第二个参数？
- 为什么在使用TensorFlow Lite转换YOLOv4时，推断时间/大小没有改进？有什么可能的改进吗？
- 为什么在使用Tensorflow加载训练批时会出现内存泄漏？
- 为什么在使用tensorflow时会收到警告/错误（使用函数API，但未实现错误）
- 为什么在使用tetpyclient发出POST请求时出现403错误？
- 为什么在使用TextBlob时会出现HTTP错误？
- 为什么在使用TFIDF时出现错误“IndexError:list index out of range”pyspark.ml.feature？
- 为什么在使用timedelta格式化之后，我在python中的日期是错误的？
- 为什么在使用timeit或exec函数时，函数中的变量不会在提供的全局命名空间中搜索？
- 为什么在使用tkinter时不能使用复选框？
- 为什么在使用todoistpythonapi时会返回这个奇怪的ID？
- 为什么在使用TQM时，在调整图像大小时，处理时间会有很大的差异？
- 为什么在使用Tweepy下载用户时间线时收到错误消息
- 为什么在使用twitter帐户登录Django应用程序时重定向127.0.0.1:8000？
热门文章
- Python覆盖写入文件
- 怎样创建一个 Python 列表？
- Python3 List append()方法使用
- 派森语言
- Python List pop()方法
- Python Django Web典型模块开发实战
- Python input() 函数
- Python3 列表(list) clear()方法
- Python游戏编程入门
- 如何创建一个空的set?
- python如何定义(创建)一个字符串
- Python标准库 [The Python Standard Library by Ex
- Python网络数据爬取及分析从入门到精通（分析篇）
- Python3 for 循环语句
- Python List insert() 方法
- Python 字典(Dictionary) update()方法
- Python编程无师自通 专业程序员的养成
- Python3 List count()方法
- Python 网络爬虫实战 [Web Crawler With Python]
- Python Cookbook（第2版）中文版
如果你在访问页面（googledev工具中的network选项卡）时查看网络流量，你会发现原来的html不包含这些信息，直到页面完全加载后才会出现。我查看了一些http请求，与以下url关联的请求似乎就是获取会议的请求：
您可以复制cURL命令并使用它，也可以使用Selenium之类的工具以友好的方式处理页面。你知道吗
您可以按照页面动态获取内容的方式，以xhr格式发送xml。它以POST请求的形式发送，如下所示。然后解析出包含所需信息的json。你知道吗
相关问题 更多 >
编程相关推荐