PYTHON 爬取金十数据 点击加载更多后 返回的网页打不开 报错 502

Question

点击加载 更多后 ，通过Network 查找后，找到对应的Resquest url 如下图

url 可以确定是正确的 动态加载的数据通过 Preview 可以查看到

但是，返回的url：（ https://flash-api.jin10.com/get_flash_list?max_time=2019-08-10+05%3A57%3A32&channel=-8200） 打不开
运行爬虫后 显示 HTTP Error 502: Bad Gateway
求大神指导，该如何解决？

Answer 1

不要用urllib了吧，用requests库，就一个字，爽，操作简单，API简洁，用pip安装一下，用了之后保证你不会再用urllib

502出错，是因为headers需要两个参数
"x-app-id":"SO1EJGmNgCtmpcPF",
"x-version":"1.0.0",

import requests
url="https://flash-api.jin10.com/get_flash_list"
header={
    "x-app-id":"SO1EJGmNgCtmpcPF",
    "x-version":"1.0.0",
   }
parmas={
    "max_time":"2019-08-10 12:18:48",
    "channel":"-8200",
}
Data=requests.get(url,parmas,headers=header).json()['data']
print(Data)