ablackdog
2016-03-27 09:49
采纳率: 33.3%
浏览 9.1k

请教python 爬虫 ip代理 的问题

我在做一个从淘宝上抓照片的爬虫,然后在应对重定向问题的时候用ip代理,使用代理部分的代码如下,ip代理是从西刺代理上抓下来并检验的,高匿的,但还是没能解决这个问题。请问下这是怎么个情况,该如何解决。如果说这样用代理是没有错的话,那是怎么被反爬虫了?

```proxies = [
{'http':'222.83.14.145:3128'},
{'http':'211.144.76.58:9000'},
{'http':'101.200.138.85:3128'},
{'http':'114.40.79.27:8080'},
{'http':'119.29.53.211:80'},
{'http':'58.49.144.208:8090'},
{'http':'42.96.197.187:80'},
{'http':'119.29.171.208:80'},
{'http':'124.160.194.71:80'},
{'http':'27.10.109.113:8118'},
{'http':'58.23.182.211:8118'},
{'http':'119.188.94.145:80'},
{'http':'113.243.132.120:8080'},
{'http':'122.96.59.107:843'},
{'http':'42.233.18.143:8118'},
{'http':'122.237.107.30:80'},
{'http':'117.69.6.181:8118'},
{'http':'118.113.7.48:8118'},
{'http':"222.83.14.145:3128"},
{'http':"115.160.137.178:8088"}
]
IPNum = ipcount%len(proxies)
print IPNum
print proxies[IPNum]
html = requests.get(each,headers = header,proxies = proxies[IPNum])


  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

3条回答 默认 最新

  • oyljerry 2016-03-27 10:18

    只能说这些代理也被加到人家的爬虫黑名单了 所以还是被识别出爬虫了

    点赞 打赏 评论
  • 数据工厂 2016-05-16 07:34

    使用收费的代理ip?我记得有一个专门讲爬虫的教程有专门讲过代理ip等反反爬虫的,你可以看看学习学习:http://blog.csdn.net/youmumzcs/article/details/51396283

    点赞 打赏 评论
  • ipidea全球HTTP 2020-07-13 16:29

    是不是因为ip池不够大,这些ip被检测出共用一个网站多次了?选择高匿的同时也要考虑到IP池的大小,大多数爬虫用户IP数量有巨大要求,所以一定要要选择丰富资源的代理(ipidea)如果IP池不够大,或者因为重复提取,IP就会被封就无法再进行业务。

    点赞 打赏 评论

相关推荐