2 m992705800 m992705800 于 2016.04.06 23:02 提问

爬虫在爬网页时遇到超时,能让爬虫自动重新登录吗

爬网页时,有时连接超时,有时网页返回的html不全导致爬取失败,这时候怎么写能让爬虫重新登录呢,

1个回答

caozhy
caozhy   Ds   Rxr 2016.04.06 23:34
已采纳

无非就是在你的代码中判断下,然后重新执行登录的代码。

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
爬虫超时解决办法
做网络爬虫怕的就是超时,当恰恰出现最多的就是超时,那该怎么办呢! 1,HttpClient默认请求为3次,你可以修改成N次,建议根据实际情况修改 2,设置get方法请求超时为 5 秒 GetMethod getMethod=new GetMethod(url); getMethod.getParams().setParameter(HttpMethodParams.SO_TIMEOUT,5000); 3,设置 Http 连接超时为5秒 HttpClient httpClient=new Http
python爬虫超时的处理
#coding:utf-8 ''' Created on 2014-7-24 @author: Administrator ''' import urllib2 try: url = "http://www.baidu.com" f = urllib2.urlopen(url, timeout=0) #timeout设置超时的时间 result = f.read()
Python3.x爬虫教程:爬网页、爬图片、自动登录
本文将使用Python3.4爬网页、爬图片、自动登录。并对HTTP协议做了一个简单的介绍。在进行爬虫之前,先简单来进行一个HTTP协议的讲解,这样下面再来进行爬虫就是理解更加清楚。
java爬虫总是超时
只要是网页可以打开的,爬虫就可以爬取,超时是因为请求头设置有误 使用firefox浏览器,使用firebug分析请求信息,对于url请求,将请求头信息添加到java的程序中即可
Python爬虫之超时设置
有时访问一些网页,如果该网页长时间未响应,那么系统会认为该网页超时了,即无法打开这个网页。而有时需要我们自己来设置超时的值。 关键词:timeout    设置格式urllib.request.urlopen("url",timeout=?) 代码: import urllib.request for i in range(1,100): try: file =
网络爬虫技术,如何实现登录破解,案例分享!
有时候大家在爬虫的时候会遇到要登录的情况,如果不登录则爬不到自己想要的东西,那么如何解决呢?这里大家也可以多思考利用什么方式可以达到目的。这里以博客园为例,here we go~~首先简单的介绍一下selenium和phantomJS:selenium是一款测试工具,能够模拟用户对浏览器进行操作。phantomJS是一款轻便式浏览器,其没有界面并且功能相对简单,因此速度上会比较快速。说到这大家应该...
常见反爬错略
工作中的爬虫是授权的实时抓取,在授权的实时抓取过程中,首要难点是模拟登录部分,其次是抓取部分,今天主要对工作期间遇到的一些反爬策略进行阐述。另外,提一下在抓取开发过程中几点小小建议
java网络爬虫连接超时解决[实战程序]
在网络爬虫中,经常会遇到如下报错。即连接超时。针对此问题,一般解决思路为:将连接时间、请求时间设置长一下。如果出现连接超时的情况,则在重新请求【设置重新请求次数】。Exception in thread "main" java.net.ConnectException: Connection timed out: connect下面的代码便是使用httpclient解决连接超时的样例程序。直接上程序
使用scrapy做爬虫遇到的一些坑:网站常用的反爬虫策略,如何机智的躲过反爬虫Crawled (403)
在这幅图中我们可以很清晰地看到爬虫与反爬虫是如何进行斗智斗勇的。在学习使用爬虫时,我们制作出来的爬虫往往是在“裸奔”,非常的简单。简单低级的爬虫有一个很大的优点:速度快,伪装度低。如果你爬取的网站没有反爬机制,爬虫们可以非常简单粗暴地快速抓取大量数据,但是这样往往就导致一个问题,因为请求过多,很容易造成服务器过载,不能正常工作。于是许多网站为了保护自己的服务器,往往会采用反爬虫技术来“狙击”爬虫,...
scrapy+python当你的爬虫遇到验证码处理方式之一
朋友们大家好,今天再开一博说一下自己在学习爬虫练习时遇到的问题及解决办法 1、首先得承认,任何方式的偷盗行为都不在法律的保护范围之内,要是偷自己的东西呢,就另当别论了,douban 还是相当仁义的,只挡一道墙,你只要能越过我的墙,进入的是你家的院子,你随便拿吧。 2、翻过douban的墙,很多网站都反爬的很好的,比如汽车之家,你界面上看到的内容,大部分都是加密的,汽车之前最常用的好像是cs