onelor 2019-09-07 13:37 采纳率: 50%
浏览 607

爬虫爬取网站遭遇openresty301重新定向如何解决?

利用get方法会弹出重新定向超过三十个的错误
然后加入
allow_redirects=False
返回如下

<html>

<head><title>301 Moved Permanently</title></head>

<body>

<center><h1>301 Moved Permanently</h1></center>

<hr><center>openresty</center>

</body>

</html>



并没有任何没有链接...
然后查了一下这个openresty
一个高并发服务器
然后就没有然后了

当然浏览器是正常显示的

网站是个discuz论坛

该怎做才能爬这个网站...

  • 写回答

1条回答 默认 最新

  • 关注
    评论

报告相同问题?

悬赏问题

  • ¥15 没有证书,nginx怎么反向代理到只能接受https的公网网站
  • ¥50 成都蓉城足球俱乐部小程序抢票
  • ¥15 yolov7训练自己的数据集
  • ¥15 esp8266与51单片机连接问题(标签-单片机|关键词-串口)(相关搜索:51单片机|单片机|测试代码)
  • ¥15 电力市场出清matlab yalmip kkt 双层优化问题
  • ¥30 ros小车路径规划实现不了,如何解决?(操作系统-ubuntu)
  • ¥20 matlab yalmip kkt 双层优化问题
  • ¥15 如何在3D高斯飞溅的渲染的场景中获得一个可控的旋转物体
  • ¥88 实在没有想法,需要个思路
  • ¥15 MATLAB报错输入参数太多