响应码是<Response [200]>，但服务器返回的是404页面，这种情况该怎么爬取内容

最近在练习python爬虫，在爬取某个网站时，发现这个网站的响应码是200，可他返回的却是一个404页面，服务器使用的是nginx。

在网上查了一下应该是设置了反爬虫策略，这种情况应该怎么获取真正的url呢？

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

2条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
江天暮雪丨 2021-05-17 09:06
关注
可能是请求头中有必须传的参数，用postman模拟请求试试

本回答被题主选为最佳回答 , 对您是否有帮助呢?

解决 1
无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

查看更多回答(1条)

报告相同问题？

关注问题

响应码是<Response [200]>，但服务器返回的是404页面，这种情况该怎么爬取内容 nginx python
2021-05-16 11:55

回答 2 已采纳可能是请求头中有必须传的参数，用postman模拟请求试试
requests.exceptions.InvalidURL: Failed to parse: <Response [200]> python 有问必答爬虫
2021-08-26 09:47

回答 2 已采纳 url_get = requests.get(" http://music.163.com/song/media/outer/url?id%22
用PYTHON 的 requests库请求一个post 状态码是200，但是返回内容是空 javascript python 爬虫
2022-07-16 17:00

回答 5 已采纳 body中的data参数是用urlencoded形式传过去的，用urlencode处理一下 import requests from urllib.parse import urlencode i
php通过cURL爬取数据(2):CURLINFO_HTTP_CODE返回0
2023-06-05 19:53

漏刻有时的博客在项目中，主要是和小鹅云curl验证的token，在人员集中使用的时候会出现这种情况，而换台服务器是正常的，最大的原因应该就是使用的服务器的问题。总之，请求超时和服务器配置、CPU 的使用率之间有关系，需要注意...
Retrofit请求javaweb服务器OnResponse方法返回对象response.body为空并且javaweb服务器没有响应，如何解决？ android java 有问必答服务器
2022-01-12 11:53

回答 3 已采纳 PrintWriter write = resp.getWriter(); write.println(json.toString()); write.flush();
服务器后端接口发送请求时发现返回值为200，response为前端内容 nginx 服务器腾讯云
2022-04-01 23:05

回答 2 已采纳你的请求地址是啥？地址中是否有/api
SpringBoot实现文件下载使用ResponseEntity<FileSystemResource>报错 http java spring boot
2021-12-31 10:12

回答 1 已采纳直接用ResponseEntity<byte[]>
requests爬虫遇到404怎么办_爬虫入门；requests 心慌得初夏
2021-01-30 07:21

权lead er的博客 2.爬虫的基本流程#1、发起请求使用http库向目标站点发起请求，即发送一个RequestRequest包含：请求头、请求体等#2、获取响应内容如果服务器能正常响应，则会得到一个ResponseResponse包含：html，json，图片，视频等...
爬取数据html页面时标签之间的内容没有了 python 有问必答
2021-05-17 16:12

回答 5 已采纳可能页面是异步加载的，要F12分析页面数据加载的链接参数传递，对数据进行post或get,参考https://blog.csdn.net/qq_38396897/article/details/823
自己的https certbot网络服务器返回我的404页面未找到 https ssl
2018-11-29 20:58

回答 1 已采纳 You have configured a handler for the URL path /hello, but you haven't configured a handler for th
Wordpress XML-RPC POST返回32700错误，安装了php-xml扩展 php
2019-03-08 03:23

回答 1 已采纳 I had to fallback to using cURL for this. I'm unsure as to what exactly I was doing wrong with HTT
接口测试基础-HTTP协议与服务器响应状态
2022-05-27 17:50

xuanccx的博客接口测试基础-HTTP协议与服务器响应状态接口测试是无界面的功能测试，依然测的是功能的逻辑正确性和用户使用场景。黑盒测试用例的设计方法依然有效。接口测试的原则自动化：接口测试（最终）要做到非交互式的...
PHP SoapClient返回状态200没有任何响应 apache php
2019-04-26 14:20

回答 1 已采纳 We finally figure it out. The rease why it works with php built-in server and doesn't work on apac
Python3网络爬虫开发实战（7）JavaScript 动态渲染页面爬取
2024-07-28 17:04

Bigcrab__的博客而有些 Ajax 获取的数据，但是其中包含了许多的加密参数，在难以直接找出规律的情况下，很难直接通过分析 Ajax 爬取数据；为了解决这些问题，我们可以直接使用模拟浏览器运行的方式来实现，这样就可以做到在浏览器...
snoopy 强大的PHP采集类使用实例代码
2020-10-28 19:01

19. 响应代码：通过response_code属性返回服务器响应代码。 20. 头信息：通过headers属性返回服务器发送的头信息。 21. 数据长度控制：通过maxlength属性控制返回数据的最大长度。 22. 读取超时设置：通过read_time...
没有解决我的问题, 去提问

悬赏问题

¥20 Qt Quick Android 项目报错及显示问题
¥15 而且都没有 OpenCVConfig.cmake文件我是不是需要安装opencv，如何解决？
¥15 oracleBIEE analytics
¥15 github录制项目
¥15 H.264选择性加密例程
¥50 windows的SFTP服务器如何能批量同步用户信息？
¥15 centos7.9升级python3.0的问题
¥15 安装CentOS6时卡住
¥20 c语言写的8051单片机存储器mt29的模块程序
¥60 求直线方程使平面上n个点在直线同侧并且距离总和最小

响应码是<Response [200]>， 但服务器返回的是404页面，这种情况该怎么爬取内容

2条回答 默认 最新

悬赏问题

响应码是<Response [200]>，但服务器返回的是404页面，这种情况该怎么爬取内容

2条回答默认最新