在servlet中调用java jsoup爬虫程序时出错

Question

我正在尝试对flipkart产品规范进行爬网，当我将其作为java应用程序运行时，代码运行良好。但当我在servlet中调用它时，它会给我一个错误：

org.jsoup.nodes.Document doc;

Elements specs = null;

try {
    doc = Jsoup.connect(link).timeout(250000).get();
    specs = doc.select("table[class=specTable]");

    System.out.println(specs);

} catch (IOException e) {
    // TODO Auto-generated catch block
    e.printStackTrace();
}

错误：

java.io.IOException: 500 error loading URL http://www.......
at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:414)
at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:425)

Answer 1

当我使用userAgent mozilla时工作

doc3 = Jsoup.connect(link).userAgent("Mozilla").timeout(250000).get();