如何单击页面上的“查看更多”按钮以获取结果

Question

我要按的按钮看起来像：

<a data-hide="#mvc-paginate-acf46b3a1b68090c" data-append="true" data-container="#posts-container" class="hubmvc-ajax-get mvc-more btn btn-skel-generic" href="https://example.com/linear-box-load-more/?load_more=1&amp;pg=2&amp;limit=36&amp;offset=14&amp;additional_class=gems&amp;ajax_hook=next_page&amp;_wpnonce=8762751649&amp;start_pg=1">View More</a>

在使用BeautifulSoup进行刮擦之前，我试着按几次。我尝试使用来自selenium的webdriver，但显然，根据这个答案，Scrape page with "load more results" button

Answer 1

我查看了Chrome开发工具中的Network选项卡，发现当点击按钮时，页面发出了get请求。下面的代码发出一个get请求，以获取该特定“页面”的文章。在params中，将pg number更改为您想要的任何数字。当我测试它时，它起作用了。唯一的问题可能是它没有得到所有文章的html，只得到特定页面上的文章。如果您创建一个请求会话或循环访问所有页面的get请求，您可能可以获得所有页面的html。在

---

import requests

params = {
    'load_more': '1',
    'pg': '2',
    'limit': '36',
    'offset': '14',
    'additional_class': 'gems',
    'ajax_hook': 'next_page',
    '_wpnonce': '8762751649',
    'start_pg': '1',
    'hub_mvc_ajax': '1',
    'mvc_fastload': '3a0a558385',
}
next_url = "https://newsnetwork.mayoclinic.org/linear-box-load-more/"

next_page = requests.get(next_url, params=params)

print(next_page.text)