qq_22164325 2020-12-10 20:59 采纳率: 0%
浏览 447

为什么我这爬虫获取到的返回数据和抓包的数据不一样?

遇到一个很奇怪的问题,想知道我获取的结果为什么和抓包得到的结果一样?

先上图,这是抓包页面的数据:

 

 

 

这是我爬虫请求的时候获取的返回数据:

 

代码请求片段:

headers = {
'Host': ip,
'Connection': 'keep-alive',
'Content-Length': '92',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36',
'X-Requested-With': 'XMLHttpRequest',
'Authorization': tokenkey.replace("%24", "$"),
'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
'Accept': '*/*',
'Origin': 'http://'+ip,
'Referer': Referer,
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.9',
}
parameters = {
'helpid': 'imp3_scheme',
'ORMMode': 'false',
'UIContainerID': '',
'BusCode': '',
'_dc': _dc
}
data = {
'page': '0',
'propertyID': 'all',
'propertyCode': 'all',
'usePY': 'true',
'start': '0',
'limit': '10',
'ng3_logid': UserID
}

res = requests.post(url=url,data=json.dumps(data),headers = headers,cookies = cookies,params = parameters)
print(res.text)

请求应该是没问题的,也成功了。但得到的值并不是预期的结果,是否有人遇到过类似的问题?

  • 写回答

3条回答 默认 最新

  • imGenn 2020-12-11 01:31
    关注

    手机看不清图,是不是被跳转了res.history看看

    评论

报告相同问题?

悬赏问题

  • ¥15 如何在scanpy上做差异基因和通路富集?
  • ¥20 关于#硬件工程#的问题,请各位专家解答!
  • ¥15 关于#matlab#的问题:期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707,使系统具有较小的超调量
  • ¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
  • ¥30 截图中的mathematics程序转换成matlab
  • ¥15 动力学代码报错,维度不匹配
  • ¥15 Power query添加列问题
  • ¥50 Kubernetes&Fission&Eleasticsearch
  • ¥15 報錯:Person is not mapped,如何解決?
  • ¥15 c++头文件不能识别CDialog