大佬们好，我目前刚刚开始研究Java爬虫。在尝试爬取通过Javascript生成数据的网页时，我使用了HTMLUnit去模拟JS的各种操作，但是即便使用了多线程，也觉得效率很一般。希望各位大佬提供一个最高效的爬虫方法。感谢！
0条回答 默认 最新
- 2017-09-26 09:29回答 4 已采纳 除了非正常方式登录，无解
- 2018-04-10 08:23回答 3 已采纳 https://blog.csdn.net/a812919698/article/details/52243080
- 2021-04-06 16:22回答 6 已采纳 可以先用webdriver获取动态更新后的html代码，再交给BeautifulSoup处理。 from selenium import webdriver from bs4 import Bea
- 2020-10-19 21:21主要介绍了Java爬虫Jsoup+httpclient获取动态生成的数据的相关资料,需要的朋友可以参考下
- 2021-12-18 19:23回答 1 已采纳 爬下一页就好了
- 2022-02-28 22:22回答 1 已采纳 看你想怎么处理了，可以放到一行，可以放到word里，可以用Excel，你选一个，我教你另外你的代码需要看一下，要不不好改
- 2018-12-20 18:15回答 2 已采纳 抓包看下服务器返回的数据对不对，报什么错。你访问的网站是你自己内网的，这个还是需要你自己调试。
- 2021-02-12 22:04褚召鹏的博客 问题：有些网页数据是由js动态生成的，一般我们抓包可以看出真正的数据实体是由哪一个异步请求获取到的，但是获取数据的请求链接也可能由其他js产生，这个时候我们希望直接拿到js加载后的最终网页数据。解决方法：...
- 2023-02-22 21:55回答 3 已采纳 这个问题在于html_data()函数中的return语句放在了for循环内部，这导致函数只能返回第一个电影的信息。把return语句缩进移动到for循环之外，这样才能返回整个页面的电影信息。另外，s
- 2022-08-25 16:21回答 5 已采纳 emmm，你可以先打开浏览器进行登录，再让selenium接管浏览器：https://blog.csdn.net/qq254271304/article/details/103493969或者你再程序
- 2021-11-27 11:36回答 3 已采纳 你爬虫应该是用requests发送http请求的吧，这个是无法从elements找到，你要在network的doc分析网页，你找不到的数据很大可能是ajax请求渲染前端的
- 2021-08-07 10:58syf_wfl的博客 最开始采用的HttpClient获取页面+Jsoup分析页面，但是获取不到想要的页面内容，发现自己想要的数据是js生成的，HttpClient加了头和Cookie还是获取不到，最后采用的htmlunit获取页面就可以了。 WebClient webClient=...
- 2023-02-13 14:54回答 3 已采纳 每个网站的数据请求方式可能不一样，甚至有些网站不让下载，能够检测到不是人工下载。你可以手动打开那个不能下载的url，复制到浏览器上打开看能否正常显示，其次url是否发生了变化。望采纳！！
- 2024-03-08 11:18如果您下载了本程序，但是该程序...爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而，使用爬虫需要遵守法律和伦理规范，尊重网站的使用政策，并确保对被访问网站的服务器负责。
- 2021-03-10 08:48飒飒是也的博客 在写爬虫的时候需要下载一个页面上的附件，比如http://www.jsqts.gov.cn/zjxx/... 这个网站上面的附件，但是直接用jsoup抓取页面的话html里什么都没有，百度了之后知道好多内容是js动态加载的，于是使用了httpunit，...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 ue5 .3之前好好的现在只要是激活关卡就会崩溃
- ¥50 MATLAB实现圆柱体容器内球形颗粒堆积
- ¥15 python如何将动态的多个子列表，拼接后进行集合的交集
- ¥20 vitis-ai量化基于pytorch框架下的yolov5模型
- ¥15 如何实现H5在QQ平台上的二次分享卡片效果？
- ¥15 python爬取bilibili校园招聘网站
- ¥30 求解达问题（有红包）
- ¥15 请解包一个pak文件
- ¥15 不同系统编译兼容问题
- ¥100 三相直流充电模块对数字电源芯片在物理上它必须具备哪些功能和性能？