永不秃头的ssf 2019-04-17 07:37 采纳率: 0%
浏览 392
已采纳

python入门爬虫时的问题

在爬取csdn论坛页面时，发现有些节点 取不到：

图片说明

这就是我想要获取的节点，这一列li标签

当我想用children便利div子节点时，发现什么也没有：
图片说明

然后我尝试去获取其中一个节点，也发现没有：
图片说明

这是为什么呢

  • 写回答

2条回答 默认 最新

  • qq_39597728 2019-04-17 10:39
    关注

    这是一种反爬手段，只有在浏览器打开，或者模拟浏览器打开，才能看到这些内容。
    可以学一下selenium库，专门针对动态页面的爬取

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题？

  • python入门爬虫时的问题 python
    2019-04-17 07:37
    回答 3 已采纳 这是一种反爬手段，只有在浏览器打开，或者模拟浏览器打开，才能看到这些内容。 可以学一下selenium库，专门针对动态页面的爬取
  • python爬虫入门问题 python 有问必答
    2021-06-16 16:50
    回答 3 已采纳 有两个错误的地方，一是在askURL函数里，不要把return html放到except里,否则没有异常时返回为None，将其写成与try,except对齐；二是在函数 getData里，for循环
  • python爬虫入门请教问题 python 有问必答
    2021-03-29 21:25
    回答 4 已采纳 你只是爬了个静态的，网页还有很多动态元素；有一些是相对路径的，在对方的服务器上，你本地无法加载到。你看百度的快照，跟你这种差不多，如果你想完全一样的页面，除了一些小网站，其他基本不可能。
  • Python爬虫入门教程.docx
    2023-07-23 21:08
    Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程Python爬虫入门教程...
  • python入门爬虫，爬不出来图片。 python
    2021-10-12 15:12
    回答 2 已采纳 在爬虫过程中，最好把请求头添加上 #!/usr/bin/env python # -*- coding:utf-8 -*- import re,requests from urllib.reques
  • python爬虫入门 python 有问必答
    2021-07-01 19:02
    回答 3 已采纳 1.在soup=BeautifulSoup(htm,'lxml')里的hml加上text,即写成htm.text 2.在最后，写上main(),调用main(),运行程序。
  • Python爬虫入门 html5 javascript python
    2020-12-11 23:58
    回答 6 已采纳 爬虫入门先学python语法，之后就是各种爬虫库了，入门到提高可以看下这篇文章我用#CSDN#这个app发现了有技术含量的博客，小伙伴们求同去《Python爬虫100例教程导航帖（已完结）》, 一起来
  • Python 入门爬虫和数据分析实战
    2023-08-16 18:43
    Python 入门爬虫和数据分析实战
  • 入门级别python问题 python 爬虫
    2022-12-31 00:53
    回答 8 已采纳 1首先你的代码压根就没返回相应内容 头信息不全无法获取2.其次你的定位不到是最后的这个tbody（也就是最后的那个table后面那个）浏览器会对html文本进行一定的规范化，所以会自动在路径中加入tb
  • 新手入门python爬虫问题请教，急急急 python
    2019-05-01 11:52
    回答 1 已采纳 urllib.request.urlopen('https://python.org')
  • python爬虫编程习题 python 有问必答
    2022-12-20 19:53
    回答 6 已采纳 兰州博文科技学院 http://www.bowenedu.cn/
  • Python 入门爬虫和数据分析实战.zip
    2024-04-25 22:44
    Python 入门爬虫和数据分析实战.zip
  • python 爬虫入门实例.docx
    2024-04-25 07:29
    爬虫python入门 爬虫python入门 Python爬虫，简而言之，就是使用Python编程语言来编写的网络爬虫程序。网络爬虫是一种自动化程序，能够在互联网上自动抓取并提取所需的信息。Python作为一种功能强大且易于学习的编程...
  • python爬虫教程从入门到精通
    2023-08-16 03:15
    第01章从零开始系统入门python爬虫工程师-课程导学第02章彻底解决让人头疼的环境搭建问题第03章我们从了解网络爬虫开始，重新认识爬虫第04章爬虫工程师基本功--计算机网络协议基础第05章爬虫工程师基本功-前端基础第...
  • python 爬虫入门实例.zip
    2024-04-25 07:29
    爬虫python入门 Python爬虫，简而言之，就是使用Python编程语言来编写的网络爬虫程序。网络爬虫是一种自动化程序，能够在互联网上自动抓取并提取所需的信息。Python作为一种功能强大且易于学习的编程语言，特别适合...
  • 没有解决我的问题, 去提问

悬赏问题

  • ¥15 使用C#，asp.net读取Excel文件并保存到Oracle数据库
  • ¥15 C# datagridview 单元格显示进度及值
  • ¥15 thinkphp6配合social login单点登录问题
  • ¥15 HFSS 中的 H 场图与 MATLAB 中绘制的 B1 场 部分对应不上
  • ¥15 如何在scanpy上做差异基因和通路富集？
  • ¥20 关于#硬件工程#的问题，请各位专家解答！
  • ¥15 关于#matlab#的问题：期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707，使系统具有较小的超调量
  • ¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
  • ¥30 截图中的mathematics程序转换成matlab
  • ¥15 动力学代码报错，维度不匹配