Python中文
首页
教程
问答
标签
搜索
登录
注册
如何在Python BeautifulSoup中抓取网站中的每个页面
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>有没有办法抓取URL中的每个页面</p> <p>例如<a href="https://gogo.mn/" rel="nofollow noreferrer">https://gogo.mn/</a>查找URL中的每个文章页面</p> <p>以下是我到目前为止的情况。问题是新闻文章模式很奇怪,例如<code>https://gogo.mn/r/qqm4m</code></p> <p>所以像下面这样的代码永远找不到文章</p> <pre><code>base_url = 'https://gogo.mn/' for i in range(number_pages): url = base_url+str(i) req = requests.get(url) soup = BeautifulSoup(req.content) </code></pre> <p>我如何抓取这样的网站</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>我没有用刮痧。但要仅使用<code>request</code>和<code>BeautifulSoup</code>获取所有内容,您需要找到网站的索引页(有时是存档或搜索结果),保存所有页面的URL,循环浏览URL,并保存页面内容</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
如何在乒乓球比赛中预测球的轨迹,对于AI球拍预测?
5 回答
如何在乒乓球游戏中阻止球
6 回答
如何在乘法和模中不乘空间?
1 回答
如何在乘法和除以2个不同的数字之间进行交换?
10 回答
如何在也是数据一部分的单个字符上拆分大字符串
3 回答
如何在乾草堆中找到針,有更好的解決方案嗎?
5 回答
如何在事件wxWidgets中传递自定义数据
6 回答
如何在事件中使用lambda i=i?
9 回答
如何在事件中心只接收最近的数据
5 回答
如何在事件发生之前保持云函数运行?
5 回答
如何在事件发生后使页面重定向到同一页面
8 回答
如何在事件回调之间保持python生成器的状态
7 回答
如何在事件处理程序(pythonsocket、sphinx)中保留docstring
9 回答
如何在事件处理程序中更改wxRichTextCtrl的光标位置?
3 回答
如何在事件处理程序中访问外部对象?
9 回答
如何在事件循环中将协程打包为正常函数?
9 回答
如何在事件循环之外运行协同程序?
2 回答
如何在事件循环结束时为并发未来的所有线程调用类方法?
4 回答
如何在事件文件中只保留一份摘要?
1 回答
如何在事件模板中添加事件
1 回答