m0_75238709 2022-11-15 23:10 采纳率: 66.7%
浏览 29
已结题

Python爬虫遇到获取不了页面数据

初学者遇到用request模块爬取opensea数据时，获取不到页面数据，估计被拦在外面了，该怎么解决？求帮助

  • 写回答

1条回答 默认 最新

  • 梦想橡皮擦 Python领域优质创作者 2022-11-16 09:08
    关注

    可以查看请求目标地址头的时候，是否有加密参数
    这一点很重要

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

  • Python爬虫遇到获取不了页面数据 python
    2022-11-15 23:10
    回答 1 已采纳 可以查看请求目标地址头的时候，是否有加密参数这一点很重要
  • python爬虫html获取不全 html python 爬虫
    2022-06-24 19:43
    回答 1 已采纳 其实有的，但是这个网站应该是为了懒加载把url用base64密了一下，然后再动态加载， 其实我下面发的这个就是url 是base64后的url 解码后就是https://s1.aigei.com/
  • python爬虫获取内容不全是怎么回事？ python 爬虫
    2023-03-01 15:21
    回答 2 已采纳 你访问的这个接口就只有五千多条数据，您可以在返回的数据中看到，你可以把获取到的数据输出下resp.json()：totalCount': 5860, 'totalPages': 59因此，如果要爬取更
  • 【大数据语言】怎样利用Python爬虫，高效获取大规模数据
    2021-08-11 10:50
    叶涛网站推广优化的博客 原标题：【大数据语言】怎样利用Python爬虫，高效获取大规模数据 　在不同的操作系统中，Python存在细微的差别，因此有几点你需要牢记在心。这里我使用的是Python3版本。Python自带一个在终端窗口中运行的解释器，...
  • python 爬虫，如何爬取相关数据 python 有问必答 爬虫
    2021-11-11 11:15
    回答 1 已采纳 先确定需要爬取的网站，然后分析网站的数据来源，是后端生成数据还是ajax生成数据，确定数据来源方式就根据HTTP请求编写代码，这个涉及一些请求参数的加密、转换等等处理，然后清洗数据和数据入库
  • python爬虫遇到标签不全的网页 python
    2022-07-23 10:52
    回答 3 已采纳 我知道问题的原因了,不是代码的问题,而是整个网站有url访问限制,谢谢各位了
  • python爬虫爬取jsonp请求的响应数据怎么获取 json python
    2021-05-22 21:34
    回答 1 已采纳 这里我们以爬取淘宝评论为例子讲解一下如何去做到的。 这里主要分为了四步： 一 获取淘宝评论时，ajax请求链接（url） 二 获取该ajax请求返回的json数据 三 使用python解析js
  • Python-数据爬取（爬虫）
    2024-07-12 17:01
    .房东的猫的博客 定义： 深度优先搜索是一种遍历或搜索树或图的算法，从起始节点开始，一直沿着一个分支走到底，再回溯到上一个节点继续搜索下一个分支，...在大规模数据爬取时，选择合适的存储方式取决于数据的规模、结构和访问需求。
  • Python 爬虫爬取页面pagetext不完整 是静态页面 python 有问必答 爬虫
    2021-10-21 15:16
    回答 1 已采纳 该页面信息通过用户选择选项，js动态渲染加载数据的，比如在选项框中输入name,在XHR中就可以看到name的动态加载链接，对其进行请求可获取相关信息的json数据信息。
  • python爬虫爬取网页为什么获得的不是正常网页数据 python 爬虫
    2022-05-12 14:48
    回答 2 已采纳 这代码里面好多错误，你是怎么运行成功的？
  • 关于Python 网络数据爬虫爬取不到数据 python
    2020-06-01 15:18
    回答 1 已采纳 抓包看看，尤其注意url上的参数、cookie、postdata、method(get/post)、referer、useragent和content-type
  • Python 入门爬虫和数据分析实战
    2023-08-16 18:43
    Python作为一门易学且功能强大的编程语言，深受程序员和数据分析师的喜爱。在“Python入门爬虫和数据分析实战”中，我们将深入探讨如何利用Python进行网页抓取和数据处理，为初学者提供一条清晰的学习路径。 首先，...
  • 爬虫xpath获取不到数据 python 爬虫
    2022-12-12 01:38
    回答 2 已采纳 数据有可能是动态加载的，你没有爬到，先打印整个页面内容，搜索一下看有没有你需要的内容，没有的话，那内容就是动态加载的，request肯定爬取不到，那xpath肯定就提取不了呗！1.对于动态加载的数据，
  • python大作业：爬虫获取并分析天气数据.zip
    2024-06-14 22:12
    在这个Python大作业中，我们将探讨如何使用Python编程语言来实现一个网络爬虫，以获取并分析天气数据。这个任务特别适合Python初学者，因为它能够帮助巩固基础知识，同时提供了一个实际项目来增强技能。 首先，我们...
  • python链家数据爬虫
    2024-05-01 11:46
    Python链家数据爬虫是一个利用Python编程语言进行网络数据抓取的项目，主要目标是获取链家网站上的房产数据，并将其存储到MongoDB数据库中。这个项目涉及到的技术点包括网络爬虫的基础知识、Python编程、网页解析...
  • 没有解决我的问题, 去提问

问题事件

  • 系统已结题 11月24日
  • 已采纳回答 11月16日
  • 创建了问题 11月15日

悬赏问题

  • ¥15 Stata链式中介效应代码修改
  • ¥15 latex投稿显示click download
  • ¥15 请问读取环境变量文件失败是什么原因？
  • ¥15 在若依框架下实现人脸识别
  • ¥15 网络科学导论，网络控制
  • ¥100 安卓tv程序连接SQLSERVER2008问题
  • ¥15 利用Sentinel-2和Landsat8做一个水库的长时序NDVI的对比，为什么Snetinel-2计算的结果最小值特别小，而Lansat8就很平均
  • ¥15 metadata提取的PDF元数据，如何转换为一个Excel
  • ¥15 关于arduino编程toCharArray()函数的使用
  • ¥100 vc++混合CEF采用CLR方式编译报错