simaconghui
2018-10-12 07:11
采纳率: 100%
浏览 4.3k
已采纳

python爬虫移动端评论,浏览器能打开url,但request.get返回内容404,已加header。

python爬虫新手,想爬取一个app评论图,用charles抓包获得url,
在浏览器上能打开是一个xml文件,但是用request.get(url,header)请求开始报错405,将https改为http后报错404
实在找不出问题是什么限制访问了,望大神解答~~~

url= "https://*********************/comment-list.html?page=1&pagesize=20&type=1&fnum=HU7781&dep_code=HAK&arr_code=PEK&tag_id=images&with=reply&user_id=&access_token=jwZ9PW62rrHUWG3ZSJehX-c9PzuSEya0"(真实网址host已用*代替)**

charles报文如下

图片说明
图片说明

  • 写回答
  • 好问题 提建议
  • 追加酬金
  • 关注问题
  • 收藏
  • 邀请回答

1条回答 默认 最新

  • lyhsdy 2018-10-24 01:48
    已采纳

    405错误是请求方法不被允许,404错误是客户端在浏览网页时,服务器无法正常提供信息,或是服务器无法回应,所以正确是https;

    1.直接在浏览器链接打开的xml是不是你需要爬的内容??
    2.如果是,尝试通过浏览器上 的请求再重新get一次试试
    3.如果不是,那就是请求的url给加密了,你需要做多次请求找到url变化的规律,破解后再请求

    评论
    解决 无用
    打赏 举报

相关推荐 更多相似问题