有 Java 编程相关的问题?

你可以在下面搜索框中键入要查询的问题!

java jsoup在尝试刮取google时返回太多请求错误

我试图用jsoup来抓取google,我每10秒抓取一次,但在抓取了一段时间后,它给了我“org.jsoup.HttpStatusException:HTTP error fetching URL.Status=429”,这意味着我提出了太多的请求,但我每10秒只抓取一次

现在,每当我尝试刮取它时,它都返回“null”,这意味着它给了我太多的请求错误,不再让我刮取。我甚至尝试等待10分钟,然后再尝试刮,但它仍然给出了太多的请求错误。我该如何解决这个问题

主要活动。爪哇:

public String getContent(String link) throws InterruptedException, IOException {

        tuna tuna = new tuna(link);
        Thread thread = new Thread(tuna);
        thread.start();
        thread.join();
        String value = tuna.getValue();

}

String link = "www.google.com";
string content = getContent(link);

金枪鱼。爪哇:

public class tuna implements Runnable {


    String link;
    Document doc;
    String content;
    public tuna (String x) throws IOException {
    link = x;
    }

    public void run() {

        try {
            doc = Jsoup.connect(link).get();
            content = doc.html();
        } catch (IOException e) {
            e.printStackTrace();
        }

    }

    public String getValue() {
        String returnContent = content;
        return returnContent;
    }


}

共 (0) 个答案