初学者遇到用request模块爬取opensea数据时，获取不到页面数据，估计被拦在外面了，该怎么解决？求帮助
1条回答 默认 最新
关注可以查看请求目标地址头的时候，是否有加密参数
这一点很重要本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报
分享
- 2022-06-24 19:43回答 1 已采纳 其实有的，但是这个网站应该是为了懒加载把url用base64密了一下，然后再动态加载， 其实我下面发的这个就是url 是base64后的url 解码后就是https://s1.aigei.com/
- 2023-03-01 15:21回答 2 已采纳 你访问的这个接口就只有五千多条数据，您可以在返回的数据中看到，你可以把获取到的数据输出下resp.json()：totalCount': 5860, 'totalPages': 59因此，如果要爬取更
- 2021-11-11 11:15回答 1 已采纳 先确定需要爬取的网站，然后分析网站的数据来源，是后端生成数据还是ajax生成数据，确定数据来源方式就根据HTTP请求编写代码，这个涉及一些请求参数的加密、转换等等处理，然后清洗数据和数据入库
- 2024-07-12 17:01.房东的猫的博客 定义： 深度优先搜索是一种遍历或搜索树或图的算法，从起始节点开始，一直沿着一个分支走到底，再回溯到上一个节点继续搜索下一个分支，...在大规模数据爬取时，选择合适的存储方式取决于数据的规模、结构和访问需求。
- 2022-07-23 10:52回答 3 已采纳 我知道问题的原因了,不是代码的问题,而是整个网站有url访问限制,谢谢各位了
- 2021-05-22 21:34回答 1 已采纳 这里我们以爬取淘宝评论为例子讲解一下如何去做到的。 这里主要分为了四步： 一 获取淘宝评论时，ajax请求链接（url） 二 获取该ajax请求返回的json数据 三 使用python解析js
- 2021-10-21 15:16回答 1 已采纳 该页面信息通过用户选择选项，js动态渲染加载数据的，比如在选项框中输入name,在XHR中就可以看到name的动态加载链接，对其进行请求可获取相关信息的json数据信息。
- 2021-08-11 10:50叶涛网站推广优化的博客 原标题：【大数据语言】怎样利用Python爬虫，高效获取大规模数据 在不同的操作系统中，Python存在细微的差别，因此有几点你需要牢记在心。这里我使用的是Python3版本。Python自带一个在终端窗口中运行的解释器，...
- 2022-05-12 14:48回答 2 已采纳 这代码里面好多错误，你是怎么运行成功的？
- 2020-06-01 15:18回答 1 已采纳 抓包看看，尤其注意url上的参数、cookie、postdata、method(get/post)、referer、useragent和content-type
- 2018-08-25 08:43回答 4 已采纳 楼主问的可能有点不清楚，我的理解是：https://zh.flightaware.com/live/airport/+{机场代号} 楼主有几千个机场代号，需要爬取这几千个URL的https://zh
- 2024-06-14 22:12在这个Python大作业中，我们将探讨如何使用Python编程语言来实现一个网络爬虫，以获取并分析天气数据。这个任务特别适合Python初学者，因为它能够帮助巩固基础知识，同时提供了一个实际项目来增强技能。 首先，我们...
- 2023-08-16 18:43Python作为一门易学且功能强大的编程语言，深受程序员和数据分析师的喜爱。在“Python入门爬虫和数据分析实战”中，我们将深入探讨如何利用Python进行网页抓取和数据处理，为初学者提供一条清晰的学习路径。 首先，...
- 2024-05-01 11:46Python链家数据爬虫是一个利用Python编程语言进行网络数据抓取的项目，主要目标是获取链家网站上的房产数据，并将其存储到MongoDB数据库中。这个项目涉及到的技术点包括网络爬虫的基础知识、Python编程、网页解析...
- 2021-12-08 11:43在本课程设计中，我们将深入探讨如何利用Python编程语言构建一个网络爬虫，专注于抓取百度贴吧中的数据。Python爬虫是一种自动化工具，用于从互联网上提取大量信息，而百度贴吧是中国最大的网络社区之一，拥有丰富的...
- 没有解决我的问题, 去提问
问题事件
系统已结题
11月24日
已采纳回答
11月16日-
创建了问题
11月15日
悬赏问题
- ¥15 (标签-python)
- ¥15 第一个已完成，求第二个做法
- ¥20 搭建awx,试了很多版本都有错
- ¥15 java corba的客户端该如何指定使用本地某个固定IP去连接服务端？
- ¥15 activiti工作流问题，求解答
- ¥15 有人写过RPA后台管理系统么？
- ¥15 Bioage计算生物学年龄
- ¥20 如何将FPGA Alveo U50恢复原来出厂设置哇？
- ¥50 cocos2d-x lua 在mac上接入lua protobuf？
- ¥15 es 7.17.20版本生成时间戳