我在爬取网站的时候使用的是代理IP,往往都是第一个代理能很顺利的请求网页并拿到数据,但是一旦换了一个代理ip就出现重定向或者出现10060、10061等错误,但是我把报错的ip设置为浏览器代理去打开网站没有任何问题,我试着寻找是否有ip认证的机制,但是我发现带cookies和headers或者不带cookies和headers都可以顺利防问网页,而且可以随意那一个页面链接去浏览器打开,但是在整个网站中,只有一个post请求和一个加密参数,其它的都是get明文传参。综上所述,我排除了网络和代理ip导致请求失败的问题,同时也排除了cookies和headers检查的问题,现在我完全找不到问题出在哪,有没有哪位能帮我解答一下,万分感激!
悬赏问题
- ¥15 delta降尺度计算的一些细节,有偿
- ¥15 Arduino红外遥控代码有问题
- ¥15 数值计算离散正交多项式
- ¥30 数值计算均差系数编程
- ¥15 redis-full-check比较 两个集群的数据出错
- ¥15 Matlab编程问题
- ¥15 训练的多模态特征融合模型准确度很低怎么办
- ¥15 kylin启动报错log4j类冲突
- ¥15 超声波模块测距控制点灯,灯的闪烁很不稳定,经过调试发现测的距离偏大
- ¥15 import arcpy出现importing _arcgisscripting 找不到相关程序