2 u011038411 u011038411 于 2016.03.03 19:28 提问

爬虫一般一分钟应该爬多少链接,他的效率要看什么了

爬虫一般一分钟应该爬多少链接,他的效率要看什么标准了,提高效率除了用多线程还有什么别的方法吗

5个回答

wojiushiwo945you
wojiushiwo945you   Ds   Rxr 2016.03.03 20:14

看看这篇文章:http://drops.wooyun.org/tips/5462

rui888
rui888   Ds   Rxr 2016.03.04 09:05

有的有反扒策略。。比如你同一ip一分钟 爬了多少次。他那边都会有记载的,到时候会封你ip 。

建议代理,换ip ,伪装头信息等等。

oyljerry
oyljerry   Ds   Rxr 2016.03.06 08:44

这个要看去你的爬虫所处理的网页以及你的代码处理能力,然后用多线程多进程等来提高性能

devmiao
devmiao   Ds   Rxr 2016.03.06 08:46

网速正常的话,每分钟几千个。

qq_25970551
qq_25970551   2016.05.20 17:39

现在都是分布式爬虫,效率就会很快。建议你去这个上面写:http://www.shenjianshou.cn/

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!