做爬虫得时候遇到一个比较难搞定的网站,同事介绍说可以用webkit试下,我的具体需求是
模拟真实浏览器,取出登录之后的页面内容。
不知道webkit能否实现,有没有大神对webkit熟悉的。。。
webKit 实现爬虫 java
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
4条回答 默认 最新
- threenewbee 2018-05-28 10:50关注
webkit和ie是两种浏览器的内核。
要模拟访问网站,我们一般不直接用浏览器内核(你又不是开发浏览器)
我们可以用webbrowser(C#、VB)、selenium(python)、JxBrowser(java)等。
因为上面说的就是在你的程序里调用真实的浏览器,除了验证码比较麻烦一点,别的和人操作都没有区别,人能做的,程序肯定能做。解决 无用评论 打赏 举报
悬赏问题
- ¥15 改算法,照着压缩包里边,参考其他代码封装的格式 写到main函数里
- ¥15 用windows做服务的同志有吗
- ¥60 求一个简单的网页(标签-安全|关键词-上传)
- ¥35 lstm时间序列共享单车预测,loss值优化,参数优化算法
- ¥15 Python中的request,如何使用ssr节点,通过代理requests网页。本人在泰国,需要用大陆ip才能玩网页游戏,合法合规。
- ¥100 为什么这个恒流源电路不能恒流?
- ¥15 有偿求跨组件数据流路径图
- ¥15 写一个方法checkPerson,入参实体类Person,出参布尔值
- ¥15 我想咨询一下路面纹理三维点云数据处理的一些问题,上传的坐标文件里是怎么对无序点进行编号的,以及xy坐标在处理的时候是进行整体模型分片处理的吗
- ¥15 一直显示正在等待HID—ISP