Python 使用 requests.get 返回状态码 200，但内容为空，如何排查问题？

Question

在使用Python的`requests.get`方法时，如果返回状态码为200但内容为空，可能是以下原因导致：1) 服务器返回的内容确实为空；2) 响应数据存储在非标准字段（如headers而非body）；3) 请求头（headers）或参数设置不当导致服务器未返回预期数据。排查步骤如下：首先，打印`response.text`或`response.content`确认是否真的为空；其次，检查`response.headers`了解服务器返回的数据类型和编码；再者，尝试添加或修改请求头（如User-Agent），模拟浏览器行为重新发送请求；最后，若仍无法解决，可通过抓包工具（如Fiddler、Wireshark）对比分析请求与响应过程，定位问题根源。此外，部分网站可能需携带额外参数或Cookie才能正常获取数据，建议结合实际情况逐一排查。

Answer 1

1. 初步排查：确认响应内容是否为空

首先，我们需要明确服务器返回的状态码为200时，内容确实为空还是只是表面上看起来为空。可以通过打印`response.text`或`response.content`来检查实际的响应内容。

示例代码如下：

import requests

url = "http://example.com"
response = requests.get(url)
print("Response Text:", response.text)
print("Response Content:", response.content)
    

如果打印结果为空字符串或空字节流，则需要进一步分析原因。

2. 深入分析：检查响应头信息

接下来，我们可以通过检查`response.headers`来了解服务器返回的数据类型和编码设置。这一步可以帮助我们判断数据是否存储在非标准字段中（例如headers而非body）。

示例代码如下：

print("Response Headers:", response.headers)
    

在实际开发中，某些API可能会将关键数据存储在自定义header字段中，例如`X-Data`或`Content-Disposition`。通过仔细查看这些字段，可以发现隐藏的数据。

3. 请求头调整：模拟浏览器行为

如果服务器返回的内容仍然为空，可能是请求头设置不当导致的问题。许多网站会检查`User-Agent`等字段，以区分合法浏览器请求与自动化脚本。因此，我们可以尝试添加或修改请求头。

示例代码如下：

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}
response = requests.get(url, headers=headers)
print("Modified Response Text:", response.text)
    

此外，部分网站可能还需要额外的参数，例如`Referer`或`Accept-Encoding`，这些都需要结合实际情况进行调整。

4. 抓包工具辅助：对比请求与响应过程

如果上述方法仍未解决问题，可以借助抓包工具（如Fiddler、Wireshark）捕获网络通信数据，分析请求和响应的具体细节。以下是使用抓包工具的基本步骤：

1. 启动抓包工具并配置代理。
2. 发送相同的请求，并记录请求头、参数及Cookie信息。
3. 对比正常浏览器请求与脚本请求的差异，找出潜在问题。

5. 特殊情况处理：携带Cookie或额外参数

最后，部分网站可能依赖于用户的登录状态或特定的Cookie才能返回完整数据。在这种情况下，我们需要确保请求中包含正确的Cookie信息。以下是一个示例代码片段：

cookies = {
    "session_id": "abc123",
    "user_token": "xyz789"
}
response = requests.get(url, headers=headers, cookies=cookies)
print("Response with Cookies:", response.text)
    

同时，某些动态加载的页面可能需要携带额外的查询参数或POST数据，这些也需要根据实际情况逐一排查。

流程图：问题排查步骤

graph TD;
            A[确认响应内容] --> B[检查响应头];
            B --> C[调整请求头];
            C --> D[使用抓包工具];
            D --> E[处理Cookie或参数];