最近在开发一个爬虫,抓取新浪网页,直接通过下载新浪首页的源码,然后字符串解析源码里面的所有url,再递归式的抓取一定深度后停止。
但是,现在网页基本都是动态网页,有些url可能是加载后才能生成的,所以目前的方法导致抓取的网页里面有些东西下载不全。
目前的想法是,linux下有没有什么框架可以模拟浏览器,获得加载后的网页内容,再提取里面的url,或者截获加载过程中浏览器发出的http请求的url,这样应该可以确保抓取网页的完整性。另外,目前是linux下c++开发的,最好不用换平台和语言,多谢各位了!
关于linux下模拟浏览器获取动态网页的方法
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
2条回答
悬赏问题
- ¥15 C#算法问题, 不知道怎么处理这个数据的转换
- ¥15 YoloV5 第三方库的版本对照问题
- ¥15 请完成下列相关问题!
- ¥15 drone 推送镜像时候 purge: true 推送完毕后没有删除对应的镜像,手动拷贝到服务器执行结果正确在样才能让指令自动执行成功删除对应镜像,如何解决?
- ¥15 求daily translation(DT)偏差订正方法的代码
- ¥15 js调用html页面需要隐藏某个按钮
- ¥15 ads仿真结果在圆图上是怎么读数的
- ¥20 Cotex M3的调试和程序执行方式是什么样的?
- ¥20 java项目连接sqlserver时报ssl相关错误
- ¥15 一道python难题3