lnfzh1015
扫地的大伯
采纳率100%
2020-12-25 10:40

Python爬虫 requests.post爬取json内容失败

大佬们好,

小弟初来乍到,是个半出家的代码新手,还请多多包涵。

我想通过requests库爬取网站https://ecp.sgcc.com.cn/ecp2.0/portal/#/list/list-spe/2018032600289606_1_2018032700291334,获得相关的标题和链接。通过观察源代码,发现内容是以json格式储存的,初步写出来代码如下。

import requests

url = 'https://ecp.sgcc.com.cn/ecp2.0/ecpwcmcore//index/noteList'
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36',
'referer': 'https://ecp.sgcc.com.cn/ecp2.0/portal/',
}

# request payload
payload = {
'index': '1'
}

#解析数据
res = requests.post(url,headers=headers,data=payload)
print(res.status_code)
print(res.url)
print(res.text)
note_list_json = res.json()
note_list = note_list_json['resultValue']['noteList']
print(type(note_list))  #<class 'list'>

#提取数据
for i in note_list:
    #标题 title
    title = i['title']
    print(title)
    #发布日期 noticePublishTime
    pub_date = i['noticePublishTime']
    print(pub_date)
    #文件类型 doctype (用于拼接链接)
    doc_type = i['doctype']
    #编码 id (用于拼接链接)
    doc_id = i['id']
    #拼接链接
    link = 'https://ecp.sgcc.com.cn/ecp2.0/portal/#/doc/' + doc_type + '/' + doc_id + '_2018032700291334'
    print(link)
    print('------------------------------')

终端报错结果如下:

回头看一下XHR,发现正常带有数据的内容不一样:报错的是{successful: false},正常的是{successful: true}。

到这里就卡住了,因为不知道如何成功的获取数据推进到下一步。

如解决问题会私信您VX/ZFB转30元以表心意。希望能够得到帮助,谢谢!

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享
  • 邀请回答

3条回答

  • weixin_42678268 bj_0163_bj 4月前
    res = requests.post(url,headers=headers,json=payload)
    点赞 评论 复制链接分享
  • weixin_42678268 bj_0163_bj 4月前

    点赞 评论 复制链接分享
  • weixin_42678268 bj_0163_bj 4月前

    你上面15行改成这个就可以了

    点赞 评论 复制链接分享