java jsoup在尝试刮取google时返回太多请求错误
我试图用jsoup来抓取google,我每10秒抓取一次,但在抓取了一段时间后,它给了我“org.jsoup.HttpStatusException:HTTP error fetching URL.Status=429”,这意味着我提出了太多的请求,但我每10秒只抓取一次
现在,每当我尝试刮取它时,它都返回“null”,这意味着它给了我太多的请求错误,不再让我刮取。我甚至尝试等待10分钟,然后再尝试刮,但它仍然给出了太多的请求错误。我该如何解决这个问题
主要活动。爪哇:
public String getContent(String link) throws InterruptedException, IOException {
tuna tuna = new tuna(link);
Thread thread = new Thread(tuna);
thread.start();
thread.join();
String value = tuna.getValue();
}
String link = "www.google.com";
string content = getContent(link);
金枪鱼。爪哇:
public class tuna implements Runnable {
String link;
Document doc;
String content;
public tuna (String x) throws IOException {
link = x;
}
public void run() {
try {
doc = Jsoup.connect(link).get();
content = doc.html();
} catch (IOException e) {
e.printStackTrace();
}
}
public String getValue() {
String returnContent = content;
return returnContent;
}
}
共 (0) 个答案