simaconghui 2018-10-12 07:11 采纳率: 100%
浏览 4578
已采纳

python爬虫移动端评论,浏览器能打开url,但request.get返回内容404,已加header。

python爬虫新手,想爬取一个app评论图,用charles抓包获得url,
在浏览器上能打开是一个xml文件,但是用request.get(url,header)请求开始报错405,将https改为http后报错404
实在找不出问题是什么限制访问了,望大神解答~~~

url= "https://*********************/comment-list.html?page=1&pagesize=20&type=1&fnum=HU7781&dep_code=HAK&arr_code=PEK&tag_id=images&with=reply&user_id=&access_token=jwZ9PW62rrHUWG3ZSJehX-c9PzuSEya0"(真实网址host已用*代替)**

charles报文如下

图片说明
图片说明

  • 写回答

1条回答 默认 最新

  • lyhsdy 2018-10-24 01:48
    关注

    405错误是请求方法不被允许,404错误是客户端在浏览网页时,服务器无法正常提供信息,或是服务器无法回应,所以正确是https;

    1.直接在浏览器链接打开的xml是不是你需要爬的内容??
    2.如果是,尝试通过浏览器上 的请求再重新get一次试试
    3.如果不是,那就是请求的url给加密了,你需要做多次请求找到url变化的规律,破解后再请求

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

悬赏问题

  • ¥50 导入文件到网吧的电脑并且在重启之后不会被恢复
  • ¥15 (希望可以解决问题)ma和mb文件无法正常打开,打开后是空白,但是有正常内存占用,但可以在打开Maya应用程序后打开场景ma和mb格式。
  • ¥20 ML307A在使用AT命令连接EMQX平台的MQTT时被拒绝
  • ¥20 腾讯企业邮箱邮件可以恢复么
  • ¥15 有人知道怎么将自己的迁移策略布到edgecloudsim上使用吗?
  • ¥15 错误 LNK2001 无法解析的外部符号
  • ¥50 安装pyaudiokits失败
  • ¥15 计组这些题应该咋做呀
  • ¥60 更换迈创SOL6M4AE卡的时候,驱动要重新装才能使用,怎么解决?
  • ¥15 让node服务器有自动加载文件的功能