我用HtmlUnit中的WebClient.getPage()爬微博手机网页，但输出后发现比用浏览器查看的源码要少一部分标签，请教一下这是什么原因呢？有没有什么解决办法。
HtmlUnit爬网页不完整，缺少一些标签该如何解决？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答 默认 最新
- 2018-12-20 18:15回答 2 已采纳 抓包看下服务器返回的数据对不对，报什么错。你访问的网站是你自己内网的，这个还是需要你自己调试。
- 2011-05-31 10:39回答 3 已采纳 Perhaps take a look at Apache Http Client ? You can create a HttpClient per thread and use that t
- 2014-07-25 17:44回答 5 已采纳 我之前也遇到过这个问题，网上说法很多，不过觉得都没有解决问题，后来相过有什么功能可以获取请求某一个url地址时所附带请求的其他链接地址，但是这个好像说是用抓包可以实现，不过我没实现 只能采用最原
- 2020-05-02 10:00眨眼睛1024的博客 需求:爬取项目中指定url页面,获取js执行后的html页面; 调整样式,将此html页面(需支持... 测试1:基于java嵌套浏览器:JBrowserDriver package test.mail.demo;...import java.io.File;...import java.io.IOExceptio...
- 2017-05-03 08:37回答 1 已采纳 其实他这个是算异步获取数据的，以前我在公司也抓过www.weather.com也和你一样的情况，基本上都是靠Fiddler4一个请求一个请求的检查
- 2018-12-24 10:39回答 3 已采纳 不支持vue,axios的请求HtmlUnit发不出去的
- 2020-09-19 15:38贰货不二的博客 尝试过Htmlunit和PhantomJS都无法抓取JS动态生成的页面，这两种方式实际抓取的都是原页面并不是js渲染之后的页面，后来经过尝试终于确定 Selenium + Chrome的方式能抓取js渲染之后的界面，其中也有不少坑，在这里...
- 2016-09-29 07:33回答 1 已采纳 醉了,都没人说,我自己解决了. // 为该浏览器添加凭证 DefaultCredentialsProvider provider = new DefaultCredentialsProvide
- 2015-04-10 18:13回答 5 已采纳 可以通过相对关系找到，或者根据outerhtml加上判断
- 2017-05-08 08:02回答 1 已采纳 用ie f12抓包，直接取它ajax异步请求，照着写，不要原始的页面
- 2019-09-22 21:34fall_hat的博客 1.因为是第一次接触用java写爬虫，所以去查了一些有关java爬虫方面的资料，对比了几个爬虫框架之后，决定先使用webmagic作为框架来使用看看。 2.选择网站清单里的一个网站，使用webmagic来试试看爬虫怎么写，写了个...
- 2018-01-03 07:56回答 2 已采纳 http://blog.csdn.net/qq43599939/article/details/68958676 这是我之前的解决方案，但是后面运行一段时间发现还是会js内存泄露， 后面改方案也就是
- 2016-12-13 10:43励志不回头的博客 如果你是爬虫开发老手，那么WebMagic会非常容易上手，它几乎使用Java原生的开发方式，只不过提供了一些模块化的约束，封装一些繁琐的操作，并且提供了一些便捷的功能。 如果你是爬虫开发新手，那么使用并了解...
- 2020-12-16 11:23小智大愚的博客 Rhino，由 Mozilla 基金会管理，开放源代码，完全以 Java 编写，用于 HTMLUnit SpiderMonkey (Mozilla)，第一款 JavaScript 引擎，早期用于 Netscape Navigator，现时用于 Mozilla Firefox。 Chakra (JScript 引擎)...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 RichTextBox中追加文本时报错
- ¥15 关于c语言的学习问题
- ¥15 activity升级到flowable工作流act_ge_bytearray的草稿json数据复制到act_de_model 的model_editor_json的脚本
- ¥15 cvi使用CreateThread创建线程时，出现存储空间不足无法处理此命令的错误
- ¥15 求苹果推信imessage批量推信技术
- ¥15 ubuntu 22.04 系统盘空间不足。隐藏的docker空间占用？（相关搜索：移动硬盘|管理系统）
- ¥15 c++ word自动化，为什么可用接口是空的？
- ¥15 Matlab计算100000*100000的矩阵运算问题：
- ¥50 VB6.0如何识别粘连的不规则的数字图片验证码
- ¥16 需要完整的这份订单所有的代码，可以加钱