大佬们好！作为一个爬虫新手，最近在尝试用Java爬虫获取动态网页数据是遇到了一些问题。我要爬的网站在点击之后数据会产生一些变化，我在用select定位到我需要的数据后依然无法成功将其打印出来，想请教一下在这种情况下怎么获取我需要的数据。感谢！
Java爬虫如何实现在需要点击的网页中获取需要的内容
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答
- 2022-10-26 16:35回答 1 已采纳 post和get方法的使用不是你决定的，二十接口使用的是什么请求方式，如果它是get请求那就只能用get请求，是post就只能用post
- 2017-06-30 01:53回答 2 已采纳 请参考我发的一个帖子[完整的小说站点爬虫-spring-mybatis-jsoup-http-client ](http://www.52pojie.cn/thread-542306-1-1.html
- 2023-03-27 16:42回答 2 已采纳 你的意思是做一个网站，本身去爬取另一个网站，然后对外发布么？这个你可以用 flask 或者 django，如果你用的是 python 的话还得学习下数据库。
- 2021-02-01 04:40本库的灵感来自 ，API也与此基本上保持一致，做这个库是为了方便使用Java应对Chrome或Chromium Jvppeteer通过控制Chromium或Chrome。默认情况下，以headless模式运行，也可以通过配置运行'有头'模式。 您可以在...
- 2017-09-26 09:29回答 4 已采纳 除了非正常方式登录，无解
- 2023-04-13 13:18回答 1 已采纳 爬虫严格来讲并不算一个大方向，更偏向于js逆向，python的话推荐走后端方向至于系统学习的话，推荐去blibili找一些路线，然后根据路线去找bilibili上播放量比较高的视频进行系统学习
- 2022-04-16 15:54回答 1 已采纳 你抓回来的数据比如name,是这样的[name,],不是字符串就是个列表，你把列表再往表格里写，当然写不进去，你爬下来的比如name之类用join都给变成单个字符串，就能写进去了
- 2022-07-18 21:05python是最好的语言.java的博客 以下是通过HTTP编程，获取指定网页中图片的代码实现 package com.my.hyz1; import java.io.BufferedInputStream; import java.io.BufferedOutputStream; import java.io.BufferedReader; import java.io....
- 2021-11-27 19:16回答 2 已采纳 该页面数据是动态加载的，需要用此链接用post请求去获取https://www.xuetangx.com/api/v1/lms/get_product_list/?page=1
- 2023-03-01 15:21回答 2 已采纳 你访问的这个接口就只有五千多条数据，您可以在返回的数据中看到，你可以把获取到的数据输出下resp.json()：totalCount': 5860, 'totalPages': 59因此，如果要爬取更
- 2021-08-07 13:04回答 3 已采纳 你可以用time模块进行计时，每过10分钟先用os.system()重新打开程序，然后调用sys.exit()关闭旧进程如果有用，希望采纳哦~
- 2022-12-01 21:54Dylan～～～的博客 java通过url爬虫获取公众号文章内容，同时涉及CSDN文章内容爬取，基于开源工具mlunit实现
- 2021-10-31 23:19回答 1 已采纳 beautifulsoup是爬静态网页的，应该是有些内容属于动态，可以尝试selenium
- 2022-09-19 23:30_Morain的博客 最近想做一个基于爬虫获取数据的小网站，Pyhton爬虫是做的差不多了，但是最终还是要回到Java做后端的，这就有个问题了，那就是怎么样用java执行python脚本，向脚本传递参数，并获取脚本返回的信息。本文将介绍如何...
- 2024-03-06 11:33请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的HTML内容。这通常通过HTTP请求库实现，如Python中的Requests库。 解析内容： 爬虫对获取的HTML进行解析，提取有用的信息。常用的解析工具有正则...
- 没有解决我的问题, 去提问
