可883 2022-04-17 18:40 采纳率: 33.3%
浏览 49
已结题

关于爬虫爬取动态网站的问题

本人用BeautifulSoup爬取一个网站内容，但是操作中发现，网页下滑会加载新的内容，致使爬取信息不完整。想请问如何可以解决？
代码如下：

img

img

  • 写回答

2条回答 默认 最新

查看更多回答(1条)

报告相同问题？

  • 关于爬虫爬取动态网站的问题 python 有问必答 爬虫
    2022-04-17 18:40
    回答 2 已采纳 你这个网页中的内容通过 js代码读取外部json数据来动态更新的。可以通过F12控制台分析页面数据加载的链接，找到真正json数据的地址进行爬取。 或者参考selenium滚动到页面底部的几种解决方案
  • 关于爬虫爬取页数的问题 json python 爬虫
    2022-09-14 23:27
    回答 2 已采纳 import requests import re import json import time fh = open('测试写入.txt', 'a') for i in range(1, 20,
  • python 爬虫，如何爬取相关数据 python 有问必答 爬虫
    2021-11-11 11:15
    回答 1 已采纳 先确定需要爬取的网站，然后分析网站的数据来源，是后端生成数据还是ajax生成数据，确定数据来源方式就根据HTTP请求编写代码，这个涉及一些请求参数的加密、转换等等处理，然后清洗数据和数据入库
  • 关于爬虫爬取动态网页的问题 python
    2018-12-17 03:04
    回答 2 已采纳 1.是服务器做了一些认证，所以需要其他的一些头，尤其User-Agent，这样它才认为你是浏览器等 2. 页面内容可能是ajax异步返回的，所以你get的时候，页面内容很多都是空的，这个你需要用we
  • 关于#python#的问题：python爬虫爬取百度图片 python 有问必答 爬虫
    2021-11-27 22:00
    回答 2 已采纳 你检查下这个网页中的内容是不是通过js代码读取外部json数据来动态更新的。requests只能获取网页的静态源代码，动态更新的内容取不到。对于动态更新的内容要用selenium 来爬取。 或者是通
  • python 爬虫爬取图片问题 python 有问必答 爬虫
    2022-06-06 20:12
    回答 4 已采纳 你题目的解答代码如下： #coding=gbk import requests from io import BytesIO from PIL import Image from selenium
  • python爬虫 爬取超清壁纸代码实例
    2020-09-18 19:31
    主要介绍了python爬虫学习 爬取超清壁纸代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
  • python爬虫爬取网页代码遇到了一些问题 python 爬虫
    2022-08-17 17:07
    回答 3 已采纳 因为元素里的你要的内容是通过 ajax 请求动态加载的，可以浏览器抓包去看下，你想要的这条数据到底是哪个请求返回的，找到真正的请求，然后模拟发送就行了
  • python爬虫爬取图片，图片打不开 python 爬虫
    2022-10-18 21:52
    回答 1 已采纳 图片是从cdn上过来的，做了防盗链。在headers中添加Refer，指向该网站就行了。 import re import requests import os if not os.path.ex
  • python爬虫爬取jsonp请求的响应数据怎么获取 json python
    2021-05-22 21:34
    回答 1 已采纳 这里我们以爬取淘宝评论为例子讲解一下如何去做到的。 这里主要分为了四步： 一 获取淘宝评论时，ajax请求链接（url） 二 获取该ajax请求返回的json数据 三 使用python解析js
  • Python爬虫爬取某网站数据
    2024-01-23 17:26
    代码仅供参考学习！ Scrapy爬虫 爬取某网站数据 Scrapy爬虫 爬取某网站数据 Scrapy爬虫 爬取某网站数据 Scrapy爬虫 爬取某网站数据
  • python爬虫问题求解 python 爬虫
    2022-04-29 11:12
    回答 1 已采纳 我给你改了一下，你对比看看吧： from bs4 import BeautifulSoup import pandas as pd import requests def crawer_travel
  • python爬虫爬取幽默笑话网站
    2020-09-18 13:20
    主要介绍了python爬虫爬取幽默笑话网站,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
  • 没有解决我的问题, 去提问

问题事件

  • 系统已结题 4月29日
  • 已采纳回答 4月21日
  • 创建了问题 4月17日

悬赏问题

  • ¥15 请问我该如何添加自己的数据去运行蚁群算法代码
  • ¥20 用HslCommunication 连接欧姆龙 plc有时会连接失败。报异常为“未知错误”
  • ¥15 网络设备配置与管理这个该怎么弄
  • ¥20 机器学习能否像多层线性模型一样处理嵌套数据
  • ¥20 西门子S7-Graph,S7-300，梯形图
  • ¥50 用易语言http 访问不了网页
  • ¥50 safari浏览器fetch提交数据后数据丢失问题
  • ¥15 matlab不知道怎么改，求解答！！
  • ¥15 永磁直线电机的电流环pi调不出来
  • ¥15 用stata实现聚类的代码