为什么有些网页不能GET获得响应内容？

最近弄get，post。发现有些网站可以GET获得响应内容，有些却不能，我对这方面不是很了解，希望大家指教！

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

4条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
threenewbee 2016-03-13 13:33
关注
用fiddler调试下，看浏览器怎么提交的。
（1）用的http还是https
（2）使用的UA（User-Agent）字段
（3）是否有跳转
（4）是否是ajax异步加载的，即get请求到的网页没有全部的数据
（5）host、referer、x-forward-for、cookie、url地址这几个字段

本回答被题主选为最佳回答 , 对您是否有帮助呢?

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

查看更多回答(3条)

报告相同问题？

关注问题

为什么有些网页不能GET获得响应内容？
2016-03-13 12:50

回答 4 已采纳用fiddler调试下，看浏览器怎么提交的。（1）用的http还是https （2）使用的UA（User-Agent）字段（3）是否有跳转（4）是否是ajax异步加载的，即get请求到的
Python爬虫requests反还内容与网页内容不相同 python 有问必答
2022-03-08 22:50

回答 2 已采纳 requests.get得到的是源代码，ajax动态加载或者js动态生成的html代码获取不到，需要直接请求接口获取数据或者从源代码中找到js数据源进行解析。截图中右边块的数据接口为下面这个，直接re
为什么用postman POST登录提示未获得响应，而APIpost能正常获得，Python也报错 postman python
2021-04-04 11:01

回答 1 已采纳 postman body选raw，看你这个发送键值对，value被当成key了 https://www.cnblogs.com/shimh/p/6093229.html
file_get_contents获取不到网页内容的解决方法
2020-12-19 21:11

本文将详细讲解当`file_get_contents`获取不到网页内容时，如何通过使用cURL库来解决这个问题。首先，`file_get_contents` 的基本用法是这样的： ```php $content = file_get_contents('http://example.com'); ``...
如何使用python爬虫从企查查上获得专利文献内容？ python windows 有问必答爬虫
2021-12-18 11:16

回答 2 已采纳题主要的代码如下， from bs4 import BeautifulSoup import requests header = {"user-agent":"Mozilla/5.0.html (
httpclient获取到的网页内容和查看网页源代码的内容不同
2012-09-13 15:53

回答 1 已采纳这很正常啊,有些是js动态加载的页面内容,有些是嵌了iframe之类的
python爬虫html获取不全 html python 爬虫
2022-06-24 19:43

回答 1 已采纳其实有的，但是这个网站应该是为了懒加载把url用base64密了一下，然后再动态加载，其实我下面发的这个就是url 是base64后的url 解码后就是https://s1.aigei.com/
java 获得响应内容_java后台发起get请求获取响应数据
2021-03-21 10:34

weixin_39779975的博客本文实例为大家分享了java后台发起get请求获取响应数据，供大家参考，具体内容如下学习记录：话不多说直接上代码：package com.jl.chromeTest;import java.io.BufferedReader;import java.io.InputStreamReader;...
如何在Go中获得Ajax响应
2014-04-28 02:43

回答 2 已采纳 Content generated via javascript isn't part of the HTML that the server is sending out. It needs t
Python中scrapy.FormRequest老是返回400错误响应 python
2022-09-17 21:20

回答 2 已采纳你可以参考下这篇文章：scrapy框架中的Request()、FormRequest()、FormRequest.from_response()的小结
用Python爬取一个网页，向下滚动会不断生成div，想要爬取这些div但爬取下来只有个loading python 爬虫
2022-03-28 22:27

回答 2 已采纳阿这.你这个URL所需要的电影数据不是写在接口里嘛?????打开F12开发者工具.刷新页面.选择XHR.就能看到这个网站数据返回是JSON接口https://api.jackeriss.com/api
requests.get为什么得到的内容和查看源文件不一样？
2020-03-06 22:34

caodongfang126的博客由于初学爬虫尝试着在...源文件打开找到的元素在requests.get竟然没有.当我们输出一下html.text时我们发现竟然和源文件不一样具体操作如下 headers={'User-Agent':'Mozilla/xxxxxxxxxxxxetaSr 1.0', 'Host...
前端拿到后端返回的数据显示[object Object]怎么处理 javascript json 前端
2022-03-24 13:59

回答 2 已采纳找个第三方调接口看下，正常第三方工具都会自己解析数据的，工具能解析出来的话，那就是你代码转换格式有问题了
HttpGet.rar_c语言 http_http get_httpget_linux c httpget_网页
2022-09-22 19:24

代码可能包括了连接到服务器、发送GET请求、接收响应并处理返回的网页内容等功能。在实际的HTTP GET请求实现中，开发者通常需要理解以下概念和步骤： 1. **socket编程**：C语言进行网络编程时，需要使用socket接口...
java get获取内容_使用java获取网络响应内容--Get请求方式
2021-03-08 02:54

东林251的博客使用java获取网络内容--Get请求方式import org.apache.http.HttpResponse;import org.apache.http.client.HttpClient;import org.apache.http.client.methods.HttpGet;import org.apache.http.entity.ContentType;...
没有解决我的问题, 去提问

悬赏问题

¥15 metadata提取的PDF元数据，如何转换为一个Excel
¥15 关于arduino编程toCharArray()函数的使用
¥100 vc++混合CEF采用CLR方式编译报错
¥15 coze 的插件输入飞书多维表格 app_token 后一直显示错误，如何解决？
¥15 vite+vue3+plyr播放本地public文件夹下视频无法加载
¥15 c#逐行读取txt文本，但是每一行里面数据之间空格数量不同
¥50 如何openEuler 22.03上安装配置drbd
¥20 ING91680C BLE5.3 芯片怎么实现串口收发数据
¥15 无线连接树莓派，无法执行update，如何解决？（相关搜索：软件下载）
¥15 Windows11, backspace, enter, space键失灵

为什么有些网页不能GET获得响应内容？

4条回答 默认 最新

悬赏问题

4条回答默认最新