畅情
2021-08-14 11:26
采纳率: 50%
浏览 49
已结题

想请教一些练习爬虫时候遇到的问题

练习爬虫时,爬取今日头条网页代码的时候发现网页的内容集在doc,看到一些以前的回答,他们需要的网页信息都是集中在xhr,以及这个sourcemapping里面的内容通过requests请求是的不到的,这是什么原因
img

  • 收藏

3条回答 默认 最新

  • CSDN专家-showbo 2021-08-14 11:48
    已采纳

    requests.get得到的是和浏览查看源代码一样的内容,js动态生成的内容requests.get无法获取,需要用Selenium来解析才行。

    要么就找到数据接口直接reqeusts.get接口获取数据,头条搜索结果内容是在页面里面的用beautifulsoup解析下就行了。有帮助或启发麻烦点个采纳【本回答右上角】,谢谢~~有其他问题可以继续交流~

    打赏 评论
  • 指过三千繁星 2021-08-14 11:40

    题主你好,首先如果你使用浏览器的检查功能的话,的确实能够查看到网页的代码,不过这些都是javascript动态生成的,如果右击浏览器直接点击查看源代码这个选项,针对你给出的这个页面,咱们打开后发现页面是这样的

    img
    这就说明头条前端开发人员用了一些手段做出了限制,这种情况在很多其他平台比如淘宝京东是一样的,外部人与那是看不到源代码的,所有这种界面requests库是得不到真正的源码的

    打赏 评论
  • C_Code_P 2021-08-14 12:16

    又没有采纳,凭啥给你说呢😱😱,今日头条也不算小站点

    打赏 评论

相关推荐 更多相似问题