大概需求：要用java编写：到某个网站上抓取网络上页面的数据到本地，然后插入到数据库里面去，比如：我用一个账号登陆微博，然后程序就开始抓取网络上面的数据，如她给我的留言啊，信息啊等等！附加----插入到数据库里面的代码已经做好了，主要是到网站上抓取页面的数据到本地来不会做，没有思路！求助啊....
3条回答 默认 最新
- 2020-06-01 15:18回答 1 已采纳 抓包看看，尤其注意url上的参数、cookie、postdata、method(get/post)、referer、useragent和content-type
- 2022-06-24 19:43回答 1 已采纳 其实有的，但是这个网站应该是为了懒加载把url用base64密了一下，然后再动态加载， 其实我下面发的这个就是url 是base64后的url 解码后就是https://s1.aigei.com/
- 2021-12-05 21:39回答 1 已采纳 你输出下str_data 看看源代码中有你需要爬取的内容吗 你检查下这个网页中的内容是不是通过js代码读取外部json数据来动态更新的。requests只能获取网页的静态源代码，动态更新的内容取不到。
- 2022-06-12 08:47基于Python和Echarts职位画像系统，使用Scrapy抓取职位招聘数据，使用Django+echarts完成数据可视化。 环境安装配置 建议直接安装anconda，然后git clone后进入项目目录，执行pip install -r requirements.txt ...
- 2018-08-25 08:43回答 4 已采纳 楼主问的可能有点不清楚，我的理解是：https://zh.flightaware.com/live/airport/+{机场代号} 楼主有几千个机场代号，需要爬取这几千个URL的https://zh
- 2022-09-08 16:31回答 3 已采纳 你输出con，输出的con是空列表，说明你节点的定位是有问题的，直接去开发者面板复制定位路径
- 2022-11-15 23:10回答 1 已采纳 可以查看请求目标地址头的时候，是否有加密参数这一点很重要
- 2020-08-17 17:26Python爬取2345天气网中2017-2019年上海天气数据，日常练习用案例，附完整源代码及爬取数据结果
- 2022-07-20 16:02回答 2 已采纳 你确定你传的这两个参数能返回出有值的data？
- 2022-02-28 22:22回答 1 已采纳 看你想怎么处理了，可以放到一行，可以放到word里，可以用Excel，你选一个，我教你另外你的代码需要看一下，要不不好改
- 2022-04-05 22:09回答 3 已采纳 因为 个别标签字典中没有bond_nm和bond_nm_tip键 data2 = data_get['bond_nm'] data5 = data_get['bond_nm_tip']
- 2024-01-10 14:40是一款工具，它允许用户通过可视化的方式抓取网站数据，无需任何编程知识。使用Portia时，您可以对网页进行注解，标识出希望提取的数据内容，然后Portia将根据这些注解理解并学会如何从类似的页面中抓取数据
- 2021-05-22 21:34回答 1 已采纳 这里我们以爬取淘宝评论为例子讲解一下如何去做到的。 这里主要分为了四步： 一 获取淘宝评论时，ajax请求链接（url） 二 获取该ajax请求返回的json数据 三 使用python解析js
- 2019-08-10 07:38从微信公众号平台获取微信公众所有文章的url
- 2020-02-22 23:30Python爬虫工程师-App数据抓取思维导图，便捷整理思路，目标、对项目、公司、个人的意义、爬虫工程师技术储备
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 import arcpy出现importing _arcgisscripting 找不到相关程序
- ¥15 onvif+openssl，vs2022编译openssl64
- ¥15 iOS 自定义输入法-第三方输入法
- ¥15 很想要一个很好的答案或提示
- ¥15 扫描项目中发现AndroidOS.Agent、Android/SmsThief.LI!tr
- ¥15 怀疑手机被监控，请问怎么解决和防止
- ¥15 Qt下使用tcp获取数据的详细操作
- ¥15 idea右下角设置编码是灰色的
- ¥15 全志H618ROM新增分区
- ¥15 在grasshopper里DrawViewportWires更改预览后，禁用电池仍然显示