yueyang68
2015-10-14 06:11
采纳率: 0%
浏览 8.7k

Python爬虫爬到的页面内容与看到的不一致

利用python+BeautifulSoup写了一个爬虫,用来抓http://www.cbooo.cn/paipian 上的数据,可是爬虫返回的页面代码与浏览器中看到的不一致,并没有表格标签。

  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

4条回答 默认 最新

  • oyljerry 2015-10-14 06:13

    有些页面是ajax异步返回的,所以直接请求不到内容,需要用selenium等webdriver

    打赏 评论
  • js动态生成的内容无法获取到。。爬虫得到的内容和你右键浏览器查看源代码得到的一模一样

    打赏 评论
  • threenewbee 2015-10-14 06:25

    先用fiddler等抓包,然后再照着写。对于ajax请求,需要单独获取其中的数据。

    打赏 评论
  • qq_23214785 2016-05-25 05:02

    要爬取异步生成的数据,推荐你看一下这个教程,讲地很细致:http://blog.csdn.net/youmumzcs/article/details/51384741

    打赏 评论

相关推荐 更多相似问题