关于linux下模拟浏览器获取动态网页的方法 6C
   最近在开发一个爬虫,抓取新浪网页,直接通过下载新浪首页的源码,然后字符串解析源码里面的所有url,再递归式的抓取一定深度后停止。
  但是,现在网页基本都是动态网页,有些url可能是加载后才能生成的,所以目前的方法导致抓取的网页里面有些东西下载不全。
   目前的想法是,linux下有没有什么框架可以模拟浏览器,获得加载后的网页内容,再提取里面的url,或者截获加载过程中浏览器发出的http请求的url,这样应该可以确保抓取网页的完整性。另外,目前是linux下c++开发的,最好不用换平台和语言,多谢各位了!

2个回答

可以用linux下的curl软件包

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问
相关内容推荐