大佬们好，我目前刚刚开始研究Java爬虫。在尝试爬取通过Javascript生成数据的网页时，我使用了HTMLUnit去模拟JS的各种操作，但是即便使用了多线程，也觉得效率很一般。希望各位大佬提供一个最高效的爬虫方法。感谢！
0条回答
- 2017-09-26 09:29回答 4 已采纳 除了非正常方式登录，无解
- 2018-04-10 08:23回答 3 已采纳 https://blog.csdn.net/a812919698/article/details/52243080
- 2021-04-06 16:22回答 6 已采纳 可以先用webdriver获取动态更新后的html代码，再交给BeautifulSoup处理。 from selenium import webdriver from bs4 import Bea
- 2020-10-19 21:21主要介绍了Java爬虫Jsoup+httpclient获取动态生成的数据的相关资料,需要的朋友可以参考下
- 2021-12-18 19:23回答 1 已采纳 爬下一页就好了
- 2022-02-28 22:22回答 1 已采纳 看你想怎么处理了，可以放到一行，可以放到word里，可以用Excel，你选一个，我教你另外你的代码需要看一下，要不不好改
- 2018-12-20 18:15回答 2 已采纳 抓包看下服务器返回的数据对不对，报什么错。你访问的网站是你自己内网的，这个还是需要你自己调试。
- 2021-02-12 22:04褚召鹏的博客 问题：有些网页数据是由js动态生成的，一般我们抓包可以看出真正的数据实体是由哪一个异步请求获取到的，但是获取数据的请求链接也可能由其他js产生，这个时候我们希望直接拿到js加载后的最终网页数据。解决方法：...
- 2023-02-22 21:55回答 3 已采纳 这个问题在于html_data()函数中的return语句放在了for循环内部，这导致函数只能返回第一个电影的信息。把return语句缩进移动到for循环之外，这样才能返回整个页面的电影信息。另外，s
- 2022-08-25 16:21回答 5 已采纳 emmm，你可以先打开浏览器进行登录，再让selenium接管浏览器：https://blog.csdn.net/qq254271304/article/details/103493969或者你再程序
- 2021-11-27 11:36回答 3 已采纳 你爬虫应该是用requests发送http请求的吧，这个是无法从elements找到，你要在network的doc分析网页，你找不到的数据很大可能是ajax请求渲染前端的
- 2021-08-07 10:58syf_wfl的博客 最开始采用的HttpClient获取页面+Jsoup分析页面，但是获取不到想要的页面内容，发现自己想要的数据是js生成的，HttpClient加了头和Cookie还是获取不到，最后采用的htmlunit获取页面就可以了。 WebClient webClient=...
- 2023-02-13 14:54回答 3 已采纳 每个网站的数据请求方式可能不一样，甚至有些网站不让下载，能够检测到不是人工下载。你可以手动打开那个不能下载的url，复制到浏览器上打开看能否正常显示，其次url是否发生了变化。望采纳！！
- 2024-03-08 11:18如果您下载了本程序，但是该程序...爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而，使用爬虫需要遵守法律和伦理规范，尊重网站的使用政策，并确保对被访问网站的服务器负责。
- 2021-03-10 03:01本命咸鱼的博客 java基于windows爬取ajax加载的动态页面需要一定的辅助工具支持，本文爬取ajax加载的动态页面所使用的工具是phantomJS(关于phantomJS的介绍百度一大堆)下载之后解压文件，为了后面方便使用建议单独放在一个文件夹...
- 没有解决我的问题, 去提问
