Peter20150926 2022-09-17 20:13 采纳率: 78.3%
浏览 26
已结题

Jsoup写的一个简单的爬虫出现502

我写了一个爬虫,用线程池执行,报502的错误

如何解决?

for (int i = 1; i <= 402; i++) {
                int finalI = i;
                threadPoolExecutor.execute(() -> {
                    try {
                        DownloadSource.download("https://xxxxxxx/page/"+ finalI);
                        System.out.println("--------------------------------第"+ finalI +"页 加载完毕------------------------------------------");
                    } catch (Exception e) {
                        e.printStackTrace();
                    }
                });
            }

报错:

org.jsoup.HttpStatusException: HTTP error fetching URL. Status=502, URL=https://xxxxx
at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:762)
    at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:707)
    at org.jsoup.helper.HttpConnection.execute(HttpConnection.java:297)
    at org.jsoup.helper.HttpConnection.get(HttpConnection.java:286)
    at com.DownloadSource.download(DownloadSource.java:25)
    at com.DownloadSource.lambda$main$0(DownloadSource.java:53)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)

  • 写回答

1条回答 默认 最新

  • CSDN-Ada助手 CSDN-AI 官方账号 2022-09-17 21:20
    关注
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 10月20日
  • 已采纳回答 10月12日
  • 创建了问题 9月17日