永不秃头的ssf 2019-04-17 07:37 采纳率: 0%
浏览 392
已采纳

python入门爬虫时的问题

在爬取csdn论坛页面时，发现有些节点 取不到：

图片说明

这就是我想要获取的节点，这一列li标签

当我想用children便利div子节点时，发现什么也没有：
图片说明

然后我尝试去获取其中一个节点，也发现没有：
图片说明

这是为什么呢

  • 写回答

2条回答 默认 最新

  • qq_39597728 2019-04-17 10:39
    关注

    这是一种反爬手段，只有在浏览器打开，或者模拟浏览器打开，才能看到这些内容。
    可以学一下selenium库，专门针对动态页面的爬取

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题？

  • python入门爬虫时的问题 python
    2019-04-17 07:37
    回答 3 已采纳 这是一种反爬手段，只有在浏览器打开，或者模拟浏览器打开，才能看到这些内容。 可以学一下selenium库，专门针对动态页面的爬取
  • python爬虫入门问题 python 有问必答
    2021-06-16 16:50
    回答 3 已采纳 有两个错误的地方，一是在askURL函数里，不要把return html放到except里,否则没有异常时返回为None，将其写成与try,except对齐；二是在函数 getData里，for循环
  • python爬虫入门请教问题 python 有问必答
    2021-03-29 21:25
    回答 4 已采纳 你只是爬了个静态的，网页还有很多动态元素；有一些是相对路径的，在对方的服务器上，你本地无法加载到。你看百度的快照，跟你这种差不多，如果你想完全一样的页面，除了一些小网站，其他基本不可能。
  • Python爬虫入门教程.docx
    2023-07-23 21:08
    Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程...
  • python入门爬虫，爬不出来图片。 python
    2021-10-12 15:12
    回答 2 已采纳 在爬虫过程中，最好把请求头添加上 #!/usr/bin/env python # -*- coding:utf-8 -*- import re,requests from urllib.reques
  • python爬虫入门 python 有问必答
    2021-07-01 19:02
    回答 3 已采纳 1.在soup=BeautifulSoup(htm,'lxml')里的hml加上text,即写成htm.text 2.在最后，写上main(),调用main(),运行程序。
  • Python爬虫入门 html5 javascript python
    2020-12-11 23:58
    回答 6 已采纳 爬虫入门先学python语法，之后就是各种爬虫库了，入门到提高可以看下这篇文章我用#CSDN#这个app发现了有技术含量的博客，小伙伴们求同去《Python爬虫100例教程导航帖（已完结）》, 一起来
  • Python 入门爬虫和数据分析实战
    2023-08-16 18:43
    Python 入门爬虫和数据分析实战
  • 入门级别python问题 python 爬虫
    2022-12-31 00:53
    回答 8 已采纳 1首先你的代码压根就没返回相应内容 头信息不全无法获取2.其次你的定位不到是最后的这个tbody（也就是最后的那个table后面那个）浏览器会对html文本进行一定的规范化，所以会自动在路径中加入tb
  • 新手入门python爬虫问题请教，急急急 python
    2019-05-01 11:52
    回答 1 已采纳 urllib.request.urlopen('https://python.org')
  • python爬虫编程习题 python 有问必答
    2022-12-20 19:53
    回答 6 已采纳 兰州博文科技学院 http://www.bowenedu.cn/
  • python爬虫教程从入门到精通
    2023-08-16 03:15
    第01章从零开始系统入门python爬虫工程师-课程导学第02章彻底解决让人头疼的环境搭建问题第03章我们从了解网络爬虫开始，重新认识爬虫第04章爬虫工程师基本功--计算机网络协议基础第05章爬虫工程师基本功-前端基础第...
  • python入门爬虫架构代码设计，新手入门通俗易懂
    2023-12-14 18:01
    前面几篇爬虫入门篇文章记录了一些简单的爬虫知识，今天结合网络请求流程，实现一个基本的爬虫架构。以后可以根据这个架构代码，对自己的爬虫需求进行拓展
  • Python网络爬虫与数据采集.pdf
    2021-08-14 15:11
    Python网络爬虫与数据采集
  • Python爬虫入门教程
    2023-11-21 11:16
    Python爬虫入门教程
  • 没有解决我的问题, 去提问

悬赏问题

  • ¥15 如何用stata画出文献中常见的安慰剂检验图
  • ¥15 c语言链表结构体数据插入
  • ¥40 使用MATLAB解答线性代数问题
  • ¥15 COCOS的问题COCOS的问题
  • ¥15 FPGA-SRIO初始化失败
  • ¥15 MapReduce实现倒排索引失败
  • ¥15 ZABBIX6.0L连接数据库报错，如何解决？(操作系统-centos)
  • ¥15 找一位技术过硬的游戏pj程序员
  • ¥15 matlab生成电测深三层曲线模型代码
  • ¥50 随机森林与房贷信用风险模型