2301_76968906 2023-03-12 01:58 采纳率: 100%
浏览 20
已结题

python爬虫有一些小问题

想问一问各位，为什么我这个爬虫没有爬出div之间的数据，爬取的数据是中国天气网上的各省会气温，这个程序单独输出标题那些又可以正确输出

img

img

img

  • 写回答

4条回答 默认 最新

  • 文盲老顾 WEB应用领新星创作者 2023-03-12 08:11
    关注

    。。。。你要明白，源文件和查看元素的区别

    在浏览器里，使用查看元素方式得到的是已经经过浏览器渲染之后的数据

    而查看源文件，则是真正这个页面返回的数据

    那么问题来了，你在查看元素时有，但抓取时没有，那么就只有两种情况了

    1、数据不是在源文件里，需要通过加载其他文件后通过js渲染
    2、数据再源文件里，但是需要通过js渲染

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
  • CSDN-Ada助手 CSDN-AI 官方账号 2023-03-12 04:04
    关注
    评论
  • threenewbee 2023-03-12 09:53
    关注

    用webdriver一类的方式抓取动态加载的数据

    评论
  • 瞬间的醒悟 2023-03-12 10:39
    关注

    可以看下这个数据是不是动态js渲染出来的，如果是可以用senlium自动化技术来进行抓取

    评论
查看更多回答(3条)

报告相同问题？

  • python爬虫有一些小问题 pycharm python 爬虫
    2023-03-12 01:58
    回答 4 已采纳 。。。。你要明白，源文件和查看元素的区别 在浏览器里，使用查看元素方式得到的是已经经过浏览器渲染之后的数据 而查看源文件，则是真正这个页面返回的数据 那么问题来了，你在查看元素时有，但抓取时没有，那么
  • python爬虫爬取网页代码遇到了一些问题 python 爬虫
    2022-08-17 17:07
    回答 3 已采纳 因为元素里的你要的内容是通过 ajax 请求动态加载的，可以浏览器抓包去看下，你想要的这条数据到底是哪个请求返回的，找到真正的请求，然后模拟发送就行了
  • python爬虫使用selenium切换窗口问题 python selenium 有问必答 爬虫
    2022-03-18 12:30
    回答 2 已采纳 driver.swith_to.window(driver.window_handles[1]),函数名写错了，不是swith是switch，少写了个c，改成：driver.switch_to.win
  • Python 爬虫基础 网络爬虫、数据采集、Python编程、数据处理
    2023-08-12 18:32
    资源描述： 这个资源是关于Python爬虫基础的教程，旨在帮助初学者掌握如何使用Python编程语言构建简单的网络爬虫，从网页中抓取数据，并进行基本的数据处理和存储。 内容概要： 教程涵盖了Python爬虫的基本概念、...
  • python爬虫问题 python 爬虫
    2022-10-09 11:41
    回答 2 已采纳
  • python爬虫位置问题 python 爬虫
    2023-03-08 13:31
    回答 2 已采纳 该回答引用GPTᴼᴾᴱᴺᴬᴵ如果您想要提取 div class="detail-context"标签下所有的 tr 标签，并进一步提取每个 tr 中的 td 标签内的内容，可以使用以下代码： impo
  • 关于使用python实现的网页爬虫程序卡死的问题 python 有问必答 爬虫
    2021-08-07 13:04
    回答 3 已采纳 你可以用time模块进行计时，每过10分钟先用os.system()重新打开程序，然后调用sys.exit()关闭旧进程如果有用，希望采纳哦~
  • python爬虫实战教学
    2021-06-09 13:08
    本课程是Tom老师精心准备的关于python爬虫的课程，通过本课程的学习，同学们能够使用python制作自己的爬虫，能够获取互联网上的数据。希望同学们好好学习网络爬虫，通过爬虫获取自己想要的数据并且进行大数据分析
  • 请问python爬虫复习有哪些推荐的书 python 爬虫
    2021-08-18 19:28
    回答 1 已采纳 看看基础，多怕几百个站点，就行了
  • 用python做爬虫遇到的问题 python 爬虫
    2021-09-11 14:26
    回答 2 已采纳
  • python 爬虫爬取图片问题 python 有问必答 爬虫
    2022-06-06 20:12
    回答 4 已采纳 你题目的解答代码如下： #coding=gbk import requests from io import BytesIO from PIL import Image from selenium
  • 小白如何入门 Python 爬虫？.docx
    2023-04-26 22:12
    编程语言基础语法无非是数据类型、数据结构、运算符、逻辑结构、函数、文件IO、错误处理这些，学起来会显枯燥但并不难。 刚开始入门爬虫，你甚至不需要去学习python的类、多线程、模块之类的略难内容。找一个面向...
  • python爬虫html获取不全 html python 爬虫
    2022-06-24 19:43
    回答 1 已采纳 其实有的，但是这个网站应该是为了懒加载把url用base64密了一下，然后再动态加载， 其实我下面发的这个就是url 是base64后的url 解码后就是https://s1.aigei.com/
  • python爬虫练习.zip
    2023-01-14 21:14
    很简单的爬虫，有几个网址的爬取小案例，可以导入pycharm练习，代码很简单，基本上练习时看两遍就会了。
  • Python爬虫应用案例视频课程
    2021-06-10 18:52
    本课程以通俗易懂的方式讲解Python爬虫技术，以案例为导向，手把手的Python爬虫实战教程，让你少走弯路！课程内容包括：1.爬虫简介，Python爬虫入门、2.基本用法、3.爬虫应用（电影评论数据分析）。教学全程采用笔记...
  • 没有解决我的问题, 去提问

问题事件

  • 系统已结题 3月22日
  • 已采纳回答 3月14日
  • 修改了问题 3月12日
  • 创建了问题 3月12日

悬赏问题

  • ¥30 android百度地图SDK海量点显示标题
  • ¥15 windows导入environment.yml运行conda env create -f environment_win.yml命令报错
  • ¥15 这段代码可以正常运行，打包后无法执行，在执行for内容之前一直不断弹窗，请修改调整
  • ¥15 C语言判断有向图是否存在环路
  • ¥15 请问4.11到4.18以及4.27和4.29公式的具体推导过程是怎样的呢
  • ¥20 将resnet50中的卷积替换微ODConv动态卷积
  • ¥15 通过文本框输入商品信息点击按钮将商品信息列举出来点击加入购物车商品信息添加到表单中
  • ¥100 这是什么压缩算法？如何解压？
  • ¥20 upload上传实验报错500，如何解决？(操作系统-windows)
  • ¥15 谁知道 ShaderGraph 那个节点可以接入 Particle System -> Custom Data