Python中文
首页
教程
问答
标签
搜索
登录
注册
如何从弹出窗口中刮取文本?[Python和Scrapy]
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>请注意-我非常缺乏经验,这是我的第一个真正的项目</p> <p>我会尽我所能解释我的问题,如果有些术语不正确,我会道歉</p> <p>我正在尝试刮取以下网页-<a href="https://www.eaab.org.za/agent_agency_search?type=Agents&search_agent=+&submit_agent_search=GO" rel="nofollow noreferrer">https://www.eaab.org.za/agent_agency_search?type=Agents&search_agent=+&submit_agent_search=GO</a></p> <p>我可以抓取“姓名”和“状态”,但我还需要在“完整详细信息”弹出窗口中获取一些信息</p> <p>我注意到,当点击“完整详细信息”按钮时,URL保持不变</p> <p>下面是我的代码的样子:</p> <pre><code>import scrapy from FirstScrape.items import FirstscrapeItem class FirstSpider(scrapy.Spider): name = "spiderman" start_urls = [ "https://www.eaab.org.za/agent_agency_search?type=Agents&search_agent=+&submit_agent_search=GO" ] def parse(self, response): item = FirstscrapeItem() item['name'] = response.xpath("//tr[@class='even']/td[1]/text()").get() item['status'] = response.xpath("//tr[@class='even']/td[2]/text()").get() #first refers to firstname in the popup window item['first'] = response.xpath("//div[@class='result-list default']/tbody/tr[2]/td[2]/text()").get() return item </code></pre> <p>我从终端启动代码并将其导出到.csv文件</p> <p>不确定这是否有帮助,但这是弹出式/花式方框窗口:</p> <p><a href="https://i.stack.imgur.com/QsJfi.png" rel="nofollow noreferrer">popup window</a></p> <p>我是否需要使用Selenium来点击按钮,或者我只是遗漏了什么?任何帮助都将不胜感激</p> <p>我非常渴望了解更多关于Python和刮片的知识</p> <p>多谢各位</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>这是您需要从起始页提取的URL:</p> <pre><code><a href="/listing_detail.php?agents_id=169039" class="agent-detail">Full Detail</a> </code></pre> <p>要获取弹出窗口的内容,请将此提取的URL作为另一个请求打开</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
如何添加虚拟方法
10 回答
如何添加表示整数的擦边字符串?
7 回答
如何添加要在Bokeh中使用的新font.ttf文件?
4 回答
如何添加要显示的矩阵XY轴编号和XY轴
3 回答
如何添加计数?
5 回答
如何添加计数器函数?
6 回答
如何添加计数器列来计算数据帧中另一列中的特定值?
6 回答
如何添加计数器来跟踪while循环中的月份和年份?
5 回答
如何添加计数并删除countplot的顶部和右侧脊椎?
1 回答
如何添加计时器wx.应用程序更新窗口对象的主循环?
4 回答
如何添加评论到帖子?PostDetailVew,Django 2.1.5
10 回答
如何添加评论拉梅尔亚姆
1 回答
如何添加诸如矩阵Python/Pandas之类的数据帧?
3 回答
如何添加谷歌地点自动完成到Flask?
2 回答
如何添加超时、python discord bot
1 回答
如何添加超过1dp的检查
7 回答
如何添加距离方法
1 回答
如何添加跟随游戏的敌人精灵
5 回答
如何添加路径以便python可以找到程序?
2 回答
如何添加身份验证/安全性以使用happybase访问HBase?
9 回答