simaconghui 2018-10-12 07:11 采纳率: 100%
浏览 4578
已采纳

python爬虫移动端评论,浏览器能打开url,但request.get返回内容404,已加header。

python爬虫新手,想爬取一个app评论图,用charles抓包获得url,
在浏览器上能打开是一个xml文件,但是用request.get(url,header)请求开始报错405,将https改为http后报错404
实在找不出问题是什么限制访问了,望大神解答~~~

url= "https://*********************/comment-list.html?page=1&pagesize=20&type=1&fnum=HU7781&dep_code=HAK&arr_code=PEK&tag_id=images&with=reply&user_id=&access_token=jwZ9PW62rrHUWG3ZSJehX-c9PzuSEya0"(真实网址host已用*代替)**

charles报文如下

图片说明
图片说明

  • 写回答

1条回答 默认 最新

  • lyhsdy 2018-10-24 01:48
    关注

    405错误是请求方法不被允许,404错误是客户端在浏览网页时,服务器无法正常提供信息,或是服务器无法回应,所以正确是https;

    1.直接在浏览器链接打开的xml是不是你需要爬的内容??
    2.如果是,尝试通过浏览器上 的请求再重新get一次试试
    3.如果不是,那就是请求的url给加密了,你需要做多次请求找到url变化的规律,破解后再请求

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

悬赏问题

  • ¥15 求daily translation(DT)偏差订正方法的代码
  • ¥15 js调用html页面需要隐藏某个按钮
  • ¥15 ads仿真结果在圆图上是怎么读数的
  • ¥20 Cotex M3的调试和程序执行方式是什么样的?
  • ¥20 java项目连接sqlserver时报ssl相关错误
  • ¥15 一道python难题3
  • ¥15 牛顿斯科特系数表表示
  • ¥15 arduino 步进电机
  • ¥20 程序进入HardFault_Handler
  • ¥15 关于#python#的问题:自动化测试