weixin_43732226
weixin_43732226
采纳率55%
2019-05-07 20:14

python 爬取网页里面的xhr文件。

最近在爬虫实战中,想要爬取一段网页里面的xhr文件,观察到此文件是post请求的,用python里面的request.post怎么都获取不到,但是状态码为200.后来试着在浏览器里面直接打开这个url,发现也是什么都没有。

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享
  • 邀请回答

1条回答

  • rubikchen 502203305 2年前

    首先,在常规头部获取请求的url,然后查看请求方法,获取请求状态,如果是失败,就说明不是这个。
    然后,请求头部,将所有的headers放到requests的headers参数里面(可以包含cookie)
    如果没有包含cookie,就在cookie参数传入,headers和cookie必然是字典类型的。

    点赞 评论 复制链接分享

相关推荐