直接用jsoup也可以得到网页的代码呀 为什么还要通过httpClient呢 菜鸟问下
3条回答 默认 最新
爱上一条鱼 2012-05-31 23:24关注应该是httpClient抓取更牛逼吧，属于专业的抓取网页的库，可以设置代理，抓取失败可以重试抓取之类的
在抓取上jsoup比较弱，API简单，所以功能也简单么，主要是扩展htmlparser的功能吧，解析html。。本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报
分享
- 2017-10-25 07:48回答 1 已采纳 这是一个随机值，只是确保每次浏览器重新获取图片，而不是从缓存获取，导致验证码不刷新。 换言之，你用相同的random请求两次，得到的验证码图片还是不同的。
- 2022-02-21 14:18回答 2 已采纳 官方有个开源的库 Okhttp用着挺好
- 2015-12-28 16:14回答 2 已采纳 httpclient最长只有20秒。你可以用循环增加长度
- 涉及技术 : HttpClient，Jsoup，MySQL，详细介绍及使用指南见 : JDBookCrawler 2.0 涉及技术 : WebMagic，MyBatis，MySQL，详细介绍及使用指南见 : JDBookCrawler 3.0 涉及技术 : Spring Boot，WebMagic，MyBatis，...
- 2016-06-04 08:29回答 1 已采纳 对，内部做了对结果的读写操作。 一般会抛出io异常，包括读写和连接
- 2018-03-28 04:05回答 3 已采纳 注解中属性代表该请求返回参数类型为json格式； 下面代码无非就是设置http请求header中的contentType格式，和设置请求体内容
- 2020-10-11 18:10回答 1 已采纳 这个HttpClient实现不了，因为它底层是对inet的封装，没有额外的控制功能。你得用socket自己去写。
- 2023-12-25 21:24【标题】"基于SSM+maven+httpClient+jsoup实现小说网站项目" 是一个综合性的IT项目，旨在利用一系列技术和工具构建一个小说阅读平台。在这个项目中，开发者使用了Spring、SpringMVC和MyBatis（简称SSM）作为主要的...
- 2017-08-07 08:55回答 5 已采纳 可能原因是 你在项目设置里导包 Tomcat启动失败 是因为你没在项目目录里把包放进去
- 2022-10-10 11:03回答 2 已采纳 try catch 捕获异常，出现异常那么输出失败
- 2022-04-09 14:45回答 2 已采纳 会不会是因为传的参数不对。导致下载出错？用node写api试一试。
- 2023-02-17 18:38键舞者的博客 爬虫也叫网络机器人，可以代替人工，自动的在网络上采集和处理信息。爬虫包括数据采集，分析，存储三部爬虫引入依赖--引入httpClient依赖-->
- 2021-03-01 09:34灯灯藕粉的博客 jsoup官方文档：https://www.open-open.com/jsoup/parsing-a-document.htm一、jsoup简介jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似...
- 2018-12-13 17:21小母牛倒立的博客 最近爬取一个.net网站遇到一个隐藏字段__VIEWSTATE的问题 一开始天真的直接把火狐捕抓到的 __VIEWSTATE中的values设置进去结果一直报500，...public class Jsoup_getdocuments { private static Map&l...
- 2018-10-19 17:46weixin_30951389的博客 前言 用过老版本UC看小说的同学都知道，当年版权问题比较松懈，我们可以再UC搜索不同来源的小说，并且阅读，那么它是怎么...在我的上一篇博客中实现了小说采集并保存到本地TXT文件 HttpClients+Jsoup抓取笔趣阁小...
- 没有解决我的问题, 去提问
