最近弄get，post。发现有些网站可以GET获得响应内容，有些却不能，我对这方面不是很了解，希望大家指教！
为什么有些网页不能GET获得响应内容？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
4条回答
threenewbee 2016-03-13 13:33关注用fiddler调试下，看浏览器怎么提交的。
（1）用的http还是https
（2）使用的UA（User-Agent）字段
（3）是否有跳转
（4）是否是ajax异步加载的，即get请求到的网页没有全部的数据
（5）host、referer、x-forward-for、cookie、url地址这几个字段本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报 分享
- 2016-03-13 12:50回答 4 已采纳 用fiddler调试下，看浏览器怎么提交的。 （1）用的http还是https （2）使用的UA（User-Agent）字段 （3）是否有跳转 （4）是否是ajax异步加载的，即get请求到的
- 2022-03-08 22:50回答 2 已采纳 requests.get得到的是源代码，ajax动态加载或者js动态生成的html代码获取不到，需要直接请求接口获取数据或者从源代码中找到js数据源进行解析。截图中右边块的数据接口为下面这个，直接re
- 2021-04-04 11:01回答 1 已采纳 postman body选raw，看你这个发送键值对，value被当成key了 https://www.cnblogs.com/shimh/p/6093229.html
- 2021-03-21 10:34weixin_39779975的博客 本文实例为大家分享了java后台发起get请求获取响应数据，供大家参考，具体内容如下学习记录：话不多说直接上代码：package com.jl.chromeTest;import java.io.BufferedReader;import java.io.InputStreamReader;...
- 2021-12-18 11:16回答 2 已采纳 题主要的代码如下， from bs4 import BeautifulSoup import requests header = {"user-agent":"Mozilla/5.0.html (
- 2012-09-13 15:53回答 1 已采纳 这很正常啊,有些是js动态加载的页面内容,有些是嵌了iframe之类的
- 2014-04-28 02:43回答 2 已采纳 Content generated via javascript isn't part of the HTML that the server is sending out. It needs t
- 2020-03-06 22:34caodongfang126的博客 由于初学爬虫 尝试着在...源文件打开 找到的元素 在requests.get竟然没有.当我们输出一下html.text时我们发现 竟然和源文件不一样 具体操作如下 headers={'User-Agent':'Mozilla/xxxxxxxxxxxxetaSr 1.0', 'Host...
- 2022-09-17 21:20回答 2 已采纳 你可以参考下这篇文章：scrapy框架中的Request()、FormRequest()、FormRequest.from_response()的小结
- 2022-03-28 22:27回答 2 已采纳 阿这.你这个URL所需要的电影数据不是写在接口里嘛?????打开F12开发者工具.刷新页面.选择XHR.就能看到这个网站数据返回是JSON接口https://api.jackeriss.com/api
- 2022-03-24 13:59回答 2 已采纳 找个第三方调接口看下，正常第三方工具都会自己解析数据的，工具能解析出来的话，那就是你代码转换格式有问题了
- 2021-03-08 02:54东林251的博客 使用java获取网络内容--Get请求方式import org.apache.http.HttpResponse;import org.apache.http.client.HttpClient;import org.apache.http.client.methods.HttpGet;import org.apache.http.entity.ContentType;...
- 2023-03-07 15:40回答 3 已采纳 获取到数据后自己解码，改成下面的代码page_txt = response.content.decode('utf-8') 有帮助的话，请点采纳该答案~
- 2021-08-13 10:00陈橙橙先生的博客 客户机/服务器是运行一对相互通信的程序，客户与服务器连接时，首先，向服务器提出请求，服务器根据客户的请求，完成处理并给出响应。浏览器就是与Web服务器产生连接的客户端程序，它的端口为TCP的80端口，。浏览器...
- 2021-03-01 08:36蕙风如薰的博客 完美解决jsoup获取响应内容不完整Jsoup抓取网页只能抓取一部分不能完整获取响应内容时，一般有以下几个原因。1. 网络异常，这个很少发生，jsoup会报告exception2. 网络超时，可以设置 connection.timeout(n) 增加...
- 没有解决我的问题, 去提问
