Python 3：检测ajax查询

Question

我试图借助Python和BeautifulSoup来抓取一些网站。
当网站使用带有此类URL的ajax查询时：

https://techcrunch.com/wp-json/tc/v1/magazine?page=2&_embed=true

我可以获取JSON内容并进行分析。 但是如何检测这些链接以自动执行查询以获取JSON内容呢

谢谢， 拉塔

Answer 1

如果您还没有使用BeautifulSoup，我建议您使用请求库

假设您有一种可靠的方法来抓取这些URL，您可以执行以下操作：

    import requests

    # ...

    response = requests.get('https://techcrunch.com/wp-json/tc/v1/magazine?page=2&_embed=true')

    try:
      json_response = response.json()
      # GET request returned a JSON response
      # ...

    except ValueError:
      # GET request did not return JSON response
      # ...