爬虫线程开多少合适 开多线程会妨碍网站吗

Question

刚学会python爬虫多线程 因学习需要 有时需要从网站下载一些资源做文本分析 开多少线程不会妨碍到一个网站的正常运营？只是偶尔根据需要来爬 不会长时间挂在进行抓取 这样爬的话会妨碍服务器正常运行吗 开多少线程才合理？

Answer 1

你要是只是单纯的下载的话，不必在乎速度吧！尽量不开或者少开吧，因为你这多线程速度过快，基本会封掉ip ，还要做代理。看你爬取的对象吧，如果稍微差不多的厂子基本没影响。但不能滥用。