使用BeautifulSoup进行网页抓取时，如何移动到新页面？

Question

下面是从craigslist上提取记录的代码。一切都很好，但我需要能够进入下一组记录，重复相同的过程，但作为一个新的编程我被卡住了。从页面代码来看，我应该单击此处span中包含的箭头按钮，直到它不包含href:

<a href="/search/syp?s=120" class="button next" title="next page">next &gt; </a> 

我在想也许这是一个循环中的循环，但我想这也可能是一个try/except情况。听起来对吗？你将如何实现这一点？在

^{pr2}$

Answer 1

这不是如何访问“下一步”按钮的直接答案，但这可能是您的问题的解决方案。当我在过去浏览网页时，我会使用每个页面的url来循环搜索结果。 在craiglist上，当你点击“下一页”时，网址就会改变。这种变化通常有一种模式可以利用。我不需要花很长时间看，但看起来craigslist的第二页是：https://nh.craigslist.org/search/syp?s=120，第三页是https://nh.craigslist.org/search/syp?s=240。看起来URL的最后一部分每次都会更改120次。 您可以创建一个120的倍数列表，然后构建一个for循环，将该值添加到每个URL的末尾。 然后在这个for循环中嵌套当前的for循环。在