永不秃头的ssf 2019-04-17 07:37 采纳率: 0%
浏览 397
已采纳

python入门爬虫时的问题

在爬取csdn论坛页面时，发现有些节点 取不到：

图片说明

这就是我想要获取的节点，这一列li标签

当我想用children便利div子节点时，发现什么也没有：
图片说明

然后我尝试去获取其中一个节点，也发现没有：
图片说明

这是为什么呢

  • 写回答

2条回答 默认 最新

  • qq_39597728 2019-04-17 10:39
    关注

    这是一种反爬手段，只有在浏览器打开，或者模拟浏览器打开，才能看到这些内容。
    可以学一下selenium库，专门针对动态页面的爬取

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题？

  • python爬虫入门问题 python 有问必答
    2021-06-16 16:50
    回答 3 已采纳 有两个错误的地方，一是在askURL函数里，不要把return html放到except里,否则没有异常时返回为None，将其写成与try,except对齐；二是在函数 getData里，for循环
  • python爬虫入门请教问题 python 有问必答
    2021-03-29 21:25
    回答 4 已采纳 你只是爬了个静态的，网页还有很多动态元素；有一些是相对路径的，在对方的服务器上，你本地无法加载到。你看百度的快照，跟你这种差不多，如果你想完全一样的页面，除了一些小网站，其他基本不可能。
  • python入门爬虫，爬不出来图片。 python
    2021-10-12 15:12
    回答 2 已采纳 在爬虫过程中，最好把请求头添加上 #!/usr/bin/env python # -*- coding:utf-8 -*- import re,requests from urllib.reques
  • python爬虫从入门到精通（模块）
    2023-03-17 18:50
    这份文档旨在帮助想要学习Python爬虫的初学者，从入门到精通逐步提升自己的技能。以下是我们将要涵盖的主题： ## 入门篇 1. Python爬虫简介 2. Requests库的使用 3. Beautiful Soup库的使用 4. 爬虫实战：爬取百度...
  • python爬虫入门 python 有问必答
    2021-07-01 19:02
    回答 3 已采纳 1.在soup=BeautifulSoup(htm,'lxml')里的hml加上text,即写成htm.text 2.在最后，写上main(),调用main(),运行程序。
  • Python爬虫入门 html5 javascript python
    2020-12-11 23:58
    回答 6 已采纳 爬虫入门先学python语法，之后就是各种爬虫库了，入门到提高可以看下这篇文章我用#CSDN#这个app发现了有技术含量的博客，小伙伴们求同去《Python爬虫100例教程导航帖（已完结）》, 一起来
  • 入门级别python问题 python 爬虫
    2022-12-31 00:53
    回答 8 已采纳 1首先你的代码压根就没返回相应内容 头信息不全无法获取2.其次你的定位不到是最后的这个tbody（也就是最后的那个table后面那个）浏览器会对html文本进行一定的规范化，所以会自动在路径中加入tb
  • python爬虫 python 入门 python100道题
    2023-12-06 19:44
    python爬虫 python100道题 python 入门
  • 新手入门python爬虫问题请教，急急急 python
    2019-05-01 11:52
    回答 1 已采纳 urllib.request.urlopen('https://python.org')
  • python爬虫编程习题 python 有问必答
    2022-12-20 19:53
    回答 6 已采纳 兰州博文科技学院 http://www.bowenedu.cn/
  • 新手关于Python爬虫的问题 python 前端 爬虫
    2016-02-01 07:47
    回答 4 已采纳 XML Regular Expression HTML Javascript CSS Shell Linux 能学的尽量都学，知识面广点。
  • Python爬虫入门教程：超级简单的Python爬虫教程Python入门实例中文PDF版最新版本
    2024-11-30 07:30
    Python爬虫入门教程是一篇超详细介绍 Python 爬虫入门的教程，从实战出发，适合初学者。读者只需在阅读过程紧跟文章思路，理清相应的实现代码，30 分钟即可学会编写简单的 Python 爬虫。 Python 爬虫入门实例主要...
  • python 爬虫入门实例.zip
    2024-04-25 07:29
    爬虫python入门 Python爬虫，简而言之，就是使用Python编程语言来编写的网络爬虫程序。网络爬虫是一种自动化程序，能够在互联网上自动抓取并提取所需的信息。Python作为一种功能强大且易于学习的编程语言，特别适合...
  • Python-爬虫如何入门学习？
    2024-11-22 09:21
    Python-爬虫如何入门学习？
  • python爬虫入门开发
    2024-08-19 15:24
    python爬虫入门开发，帮你踏出第一步
  • 没有解决我的问题, 去提问

悬赏问题

  • ¥15 能给我一些人生建议吗
  • ¥15 mac电脑，安装charles后无法正常抓包
  • ¥18 visio打开文件一直显示文件未找到
  • ¥15 请教一下，openwrt如何让同一usb储存设备拔插后设备符号不变？
  • ¥30 使用quartz框架进行分布式任务定时调度，启动了两个实例，但是只有一个实例参与调度，另外一个实例没有参与调度，不知道是为什么？请各位帮助看一下原因！！
  • ¥50 怎么获取Ace Editor中的python代码后怎么调用Skulpt执行代码
  • ¥30 fpga基于dds生成幅值相位频率和波形可调的容易信号发生器。
  • ¥15 R语言shiny包和ncdf4包报错
  • ¥15 origin绘制有显著差异的柱状图和聚类热图
  • ¥20 simulink实现滑模控制和pid控制对比，提现前者优势