coopyzhu 2017-09-29 14:07 采纳率: 100%
浏览 3676
已采纳

python爬虫获取源码与网页不同

使用requests和bs4库

静态爬取页面2017年数据

Soup获得部分源码如图

图片说明

对应网页源码如图

图片说明

可见，该tr中第一个<td&gt1</td>;在Soup中变成了<td>1<td> ,而末尾处也多了一个</td>

该问题发生在每一个tr中，但爬取2016年数据并没有出现该问题。

代码照抄教程，应该不存在问题

  • 写回答

1条回答 默认 最新

  • threenewbee 2017-09-30 00:48
    关注

    网页中有js脚本的话，可以在下载网页后动态修改/添加网页本身，也就是ajax

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

  • python爬虫爬取网页代码遇到了一些问题 python 爬虫
    2022-08-17 17:07
    回答 3 已采纳 因为元素里的你要的内容是通过 ajax 请求动态加载的，可以浏览器抓包去看下，你想要的这条数据到底是哪个请求返回的，找到真正的请求，然后模拟发送就行了
  • Python爬虫requests反还内容与网页内容不相同 python 有问必答
    2022-03-08 22:50
    回答 2 已采纳 requests.get得到的是源代码，ajax动态加载或者js动态生成的html代码获取不到，需要直接请求接口获取数据或者从源代码中找到js数据源进行解析。截图中右边块的数据接口为下面这个，直接re
  • python爬虫 爬虫的网站源码不齐全怎么办 python
    2019-04-26 16:05
    回答 1 已采纳 现在都是动态网页,你爬取到的只是一个基本框架而已。 你可以用f12 然后检测一下http请求，基本上获取到的都是第一个请求。 后面的数据都是通过js修改后的网页。 交互式的。所以要想做复杂爬虫，
  • python爬虫代码源码.rar
    2023-02-25 12:42
    python爬虫程序可用于收集数据。这也是最直接和最常用的方法。由于爬虫程序是一个程序，程序运行得非常快，不会因为重复的事情而感到疲倦，因此使用爬虫程序获取大量数据变得非常简单和快速。 由于99%以上的网站是...
  • python爬虫爬到的网页内容不完全 python 爬虫 网络
    2021-10-31 23:19
    回答 1 已采纳 beautifulsoup是爬静态网页的，应该是有些内容属于动态，可以尝试selenium
  • python爬虫数据显示问题 python 爬虫
    2022-07-20 16:54
    回答 3 已采纳 首先，你这里写错了divs = query(".cm-content-box").items()
  • Python爬虫requests.get方法无法显示div中折叠内容 https python 有问必答 爬虫
    2021-11-27 19:16
    回答 2 已采纳 该页面数据是动态加载的，需要用此链接用post请求去获取https://www.xuetangx.com/api/v1/lms/get_product_list/?page=1
  • 爬虫代码实例源码大全+Python 爬虫Scrapy课件源码.zip
    2024-03-27 03:27
    "爬虫代码实例源码大全（纯源码不带视频的实例）"这部分是学习Python爬虫的重要资料。源码实例通常包括了各种常见的爬虫应用场景，如爬取网页HTML内容、解析JSON或XML数据、处理JavaScript加载的内容、登录验证、...
  • python爬虫问题，在网页代码找不到自己想要的数据 python 爬虫
    2022-02-24 11:15
    回答 2 已采纳 那个网站啊.你看下是不是写在接口中.F12开发者模式.选择XHR看下
  • python爬虫如何解析到$0里的内容 python 有问必答
    2021-08-29 16:20
    回答 1 已采纳 解析不到要么xpath没有写正确，要么是该元素是js动态加载。查看一下requests.get()到得的网页代码，可使用bs4对节点标签解析试试。
  • Python爬虫学习之获取指定网页
    2020-09-18 22:53
    Python爬虫获取指定网页源码的基础知识点主要涉及Python编程语言以及网络爬虫的基本原理和技术。以下是针对标题和描述中知识点的详细说明： 1. Python编程基础：Python是一种高级编程语言，它以其简洁的语法和强大...
  • 81个Python爬虫源代码
    2018-12-13 14:23
    81个Python爬虫源代码，内容包含新闻、视频、中介、招聘、图片资源等网站的爬虫资源
  • 豆瓣python爬虫+源代码（适合爬虫学习）
    2024-05-21 12:51
    本资源以"豆瓣Python爬虫+源代码（适合爬虫学习）"为主题，为初学者提供了一次深入学习和实践Python爬虫的机会。 首先，我们要理解什么是Python爬虫。Python爬虫是利用Python编程语言编写的一种程序，它可以自动化...
  • python网页爬虫源代码
    2023-07-21 14:08
    在如此海量的信息碎片中，我们如何获取对自己有用的信息呢？答案是筛选！通过某项技术将相关的内容收集起来，在分析删选才能得到...利用python快速爬取网页有用信息，方便快捷，能够实现高效办公，高效分析，好用有效。
  • 没有解决我的问题, 去提问

悬赏问题

  • ¥15 MATLAB代码补全插值
  • ¥15 Typegoose 中如何使用 arrayFilters 筛选并更新深度嵌套的子文档数组信息
  • ¥15 前后端分离的学习疑问？
  • ¥15 stata实证代码答疑
  • ¥50 husky+jaco2实现在gazebo与rviz中联合仿真
  • ¥15 dpabi预处理报错：Error using y_ExtractROISignal (line 251)
  • ¥15 在虚拟机中配置flume，无法将slave1节点的文件采集到master节点中
  • ¥15 husky+kinova jaco2 仿真
  • ¥15 zigbee终端设备入网失败
  • ¥15 金融监管系统怎么对7+4机构进行监管的