PYTHON 爬取金十数据 点击加载更多后 返回的网页打不开 报错 502

图片说明

点击加载 更多后 ,通过Network 查找后,找到对应的Resquest url 如下图
图片说明

url 可以确定是正确的 动态加载的数据通过 Preview 可以查看到

图片说明

但是,返回的url:( https://flash-api.jin10.com/get_flash_list?max_time=2019-08-10+05%3A57%3A32&channel=-8200) 打不开
运行爬虫后 显示 HTTP Error 502: Bad Gateway
求大神指导,该如何解决?
图片说明

1个回答

不要用urllib了吧,用requests库,就一个字,爽,操作简单,API简洁,用pip安装一下,用了之后保证你不会再用urllib

502出错,是因为headers需要两个参数
"x-app-id":"SO1EJGmNgCtmpcPF",
"x-version":"1.0.0",
图片说明

import requests
url="https://flash-api.jin10.com/get_flash_list"
header={
    "x-app-id":"SO1EJGmNgCtmpcPF",
    "x-version":"1.0.0",
   }
parmas={
    "max_time":"2019-08-10 12:18:48",
    "channel":"-8200",
}
Data=requests.get(url,parmas,headers=header).json()['data']
print(Data)

bensonisgod1990
江湖小虾米~ 感觉大虾,加上两个参数后问题完美解决
10 个月之前 回复
qq_40946921
Italink 回复毕小宝: len(Data)
10 个月之前 回复
wojiushiwo945you
毕小宝 怎么获取 Data 的数据长度呢?我直接 .length 报错没有该属性。
10 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问
相关内容推荐