weixin_49096826
羽中飞人
2021-06-12 12:39
采纳率: 58.3%
浏览 249

python某商业网站爬虫被反爬导致接口请求不到数据

该网站有很多接口,每个接口返回不同维度的数据

我经常请求的商品数据对应的接口(A接口),可能是请求频率比较高,导致现在请求不到数据了(是一次也请求不到),返回结果如下:

{'code': '40003', 'message': '对不起,你的页面访问有问题。请联系药师帮销售代表', 'data': None}

另一个请求供应商列表的接口(B接口),还是没问题的,能正常返回数据

我分别试过以下方法:换帐号(这个网站需要经审批的账号登录),换代理IP,换header,换cookies,换token,用seleniu获取的 cookies和token去requests.post数据,都没有用

用selenium,模拟浏览器登录,还是没问题的,但只能获取到页面上的数据,其它不显示的数据获取不到,速度也太慢

如果有熟悉反爬这块的大牛,麻烦联系我,我们私聊一下。

  • 点赞
  • 收藏

4条回答 默认 最新

  • weixin_43596804
    QQ_572747232 2021-06-12 13:52

    这叫封IP,过一会自动恢复

    应该浏览器也用不了了

    点赞 评论
  • qq_15769939
    小P聊技术 2021-06-12 18:05

    正常的这种都有接口请求频次的限制,就比如说1分钟最多100次,你最好是把你请求的频次降低一些。

    点赞 评论
  • Feng_wwf
    NDSC专家-王文峯 2021-06-12 18:33

    博客如下,有帮助,望采纳,谢谢

    https://blog.csdn.net/Python_sn/article/details/109258447

    点赞 评论
  • weixin_56814020
    中考之前不改名 2021-06-12 23:00

    用kali linux下木马,直接控制它😂😅😜

    点赞 评论

相关推荐