Python爬虫 requests.post爬取json内容失败

Question

大佬们好，

小弟初来乍到，是个半出家的代码新手，还请多多包涵。

我想通过requests库爬取网站https://ecp.sgcc.com.cn/ecp2.0/portal/#/list/list-spe/2018032600289606_1_2018032700291334，获得相关的标题和链接。通过观察源代码，发现内容是以json格式储存的，初步写出来代码如下。

import requests

url = 'https://ecp.sgcc.com.cn/ecp2.0/ecpwcmcore//index/noteList'
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36',
'referer': 'https://ecp.sgcc.com.cn/ecp2.0/portal/',
}

# request payload
payload = {
'index': '1'
}

#解析数据
res = requests.post(url,headers=headers,data=payload)
print(res.status_code)
print(res.url)
print(res.text)
note_list_json = res.json()
note_list = note_list_json['resultValue']['noteList']
print(type(note_list))  #<class 'list'>

#提取数据
for i in note_list:
    #标题 title
    title = i['title']
    print(title)
    #发布日期 noticePublishTime
    pub_date = i['noticePublishTime']
    print(pub_date)
    #文件类型 doctype (用于拼接链接)
    doc_type = i['doctype']
    #编码 id (用于拼接链接)
    doc_id = i['id']
    #拼接链接
    link = 'https://ecp.sgcc.com.cn/ecp2.0/portal/#/doc/' + doc_type + '/' + doc_id + '_2018032700291334'
    print(link)
    print('------------------------------')

终端报错结果如下：

回头看一下XHR，发现正常带有数据的内容不一样：报错的是{successful: false}，正常的是{successful: true}。

到这里就卡住了，因为不知道如何成功的获取数据推进到下一步。

如解决问题会私信您VX/ZFB转30元以表心意。希望能够得到帮助，谢谢！

Answer 1

res = requests.post(url,headers=headers,json=payload)