第一次学习爬虫，要爬几层的链接，但是爬到js链接时就报错，不知什么解决，有用过HTMLunit的大神没
1条回答 默认 最新
- 2018-12-20 18:15回答 2 已采纳 抓包看下服务器返回的数据对不对，报什么错。你访问的网站是你自己内网的，这个还是需要你自己调试。
- 2017-05-03 08:37回答 1 已采纳 其实他这个是算异步获取数据的，以前我在公司也抓过www.weather.com也和你一样的情况，基本上都是靠Fiddler4一个请求一个请求的检查
- 2011-05-31 10:39回答 3 已采纳 Perhaps take a look at Apache Http Client ? You can create a HttpClient per thread and use that t
- 2020-12-02 14:27whitexxxkkk的博客 java htmlunit jsoup实现爬取网页img标签中的图片 htmlunit 是一款开源的java 页面分析工具，可以模拟浏览器执行js代码并获取执行之后的html网页代码。 jsoup 是一款Java 的HTML解析器，可以使用简单的语法获取html...
- 2018-12-24 10:39回答 3 已采纳 不支持vue,axios的请求HtmlUnit发不出去的
- 2015-04-10 18:13回答 5 已采纳 可以通过相对关系找到，或者根据outerhtml加上判断
- 2017-05-08 08:02回答 1 已采纳 用ie f12抓包，直接取它ajax异步请求，照着写，不要原始的页面
- 2022-04-21 15:38Wzy000001的博客 htmlunit的读取js渲染的页面
- 2008-11-07 17:03回答 3 已采纳 这个原因很简单，因为所有javascript都是执行再浏览器上的，你再后台代码中调用click()方法，根本就没有任何javascript解析器能执行这个，而submit不一样，htmlSubmitI
- 2014-07-25 17:44回答 5 已采纳 我之前也遇到过这个问题，网上说法很多，不过觉得都没有解决问题，后来相过有什么功能可以获取请求某一个url地址时所附带请求的其他链接地址，但是这个好像说是用抓包可以实现，不过我没实现 只能采用最原
- 2018-01-03 07:56回答 2 已采纳 http://blog.csdn.net/qq43599939/article/details/68958676 这是我之前的解决方案，但是后面运行一段时间发现还是会js内存泄露， 后面改方案也就是
- 2023-06-23 21:39piggy514的博客 在Eclipse里运行成功（即，得到了html里js渲染后拉取到的服务端数据）后，右键Export - Runnable JAR file - 起名为例如 ...java里是写死了url，后边做成参数的或读取某个配置文件（例如，里边每行一个所要读取的url）
- 2022-08-04 17:07Do_GH的博客 利用HtmlUtil和HttpClient实现爬取网页内容
- 2020-05-02 10:00眨眼睛1024的博客 需求:爬取项目中指定url页面,获取js执行后的html页面; 调整样式,将此html页面(需支持highchart图表,表格,表单等),通过邮件方式发送给用户查看. 测试1:基于java嵌套浏览器:JBrowserDriver package test.mail....
- 2017-09-25 14:54bohu83的博客 因为爬取数据需要，代理跟验证码识别属于不可避免的问题。本文总结了下因为爬取免费代理IP数据遇到的js加密cookie问题。 二 问题： 对于常见的静态页面来说，jsoup的解析是比较常见的。 但是这个网站如果直接用...
- 2019-01-27 19:55开发者如是说的博客 今天，我们就来介绍下使用 Java 爬取页面信息的几种思路。 说起爬虫，自从 Python 兴起之后，人们可能更多地使用 Python 进行爬虫. 毕竟，Python 有许多封装好的库。但对于 Javaer，如果你觉得学习 Python 成本比较...
- 2021-03-09 07:26木有头的博客 新人第一次发文，请多多指教。selenium设计目的是进行自动化测试，但是很显然这样的功能同样是爬虫所...具体的网页首先分析网页结构：？？？？是up的uid。打开开发者工具，发现动态是这样排列的：一条条动态这些动...
- 2018-03-04 02:50Richard_Yi的博客 前言 ... 因为这一过程的调试探索还是蛮多内容的，我更倾向于记录...首先，既然要模拟js的加密过程，当然是要调试前端代码，从定位到起加密作用的js代码上面。 F12浏览器调试时，source目录下可以看到当前的浏览器的一...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 关于无人驾驶的航向角
- ¥15 keil的map文件中Image component sizes各项意思
- ¥30 BC260Y用MQTT向阿里云发布主题消息一直错误
- ¥20 求个正点原子stm32f407开发版的贪吃蛇游戏
- ¥15 划分vlan后，链路不通了？
- ¥20 求各位懂行的人，注册表能不能看到usb使用得具体信息，干了什么，传输了什么数据
- ¥15 Vue3 大型图片数据拖动排序
- ¥15 Centos / PETGEM
- ¥15 划分vlan后不通了
- ¥20 用雷电模拟器安装百达屋apk一直闪退