python爬虫错误中止?

报错信息:
SSLError(MaxRetryError('HTTPSConnectionPool(host=\'sourcing.alibaba.com\', port=443): Max retries exceeded with url: /rfq_search_list.htm?spm=a2700.8073608.1998677541.1.39c665aagTLuVK&searchText=paper+bag&recently=Y&tracelog=newest (Caused by SSLError(SSLError("bad handshake: SysCallError(-1, \'Unexpected EOF\')")))'))

1个回答

您看看爬虫处理过程中是否对 SSL 特别处理

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
python爬虫制作接口怎么做

python爬虫, 需要包装成接口,提供一个 url 给 别人用,效果是 打开 这个 url 就自动运行爬虫了。请教下怎么搞, 希望可以说的稍微具体,详细点

C++里怎么调用Python爬虫?

有一个Python爬虫文件test.py,在C++里怎么调用这个爬虫呢?

python爬虫手机验证怎样解决

python写的爬虫,登陆需要手机验证,有没有大神有什么解决方法,具体点的,,求助

python爬虫 滑动验证码

![图1输入验证码时候的图片](https://img-ask.csdn.net/upload/201710/31/1509451479_489211.png) ![图2带缺口的图片](https://img-ask.csdn.net/upload/201710/31/1509451510_257471.png) ![图3缺口图片](https://img-ask.csdn.net/upload/201710/31/1509451475_56992.png) 在爬虫的时候碰到这么个验证码。按照正常的思路如果找到完整的图片然后和图2进行RGB的差值运算就能找到图片缺口的位置。但是现在的情况是没有完整的图片只有带缺口的图片和缺口处的图片。该怎么找到缺口的位置呢。

用python写爬虫和用Java写爬虫的区别是什么?

为什么大多数都用python写爬虫 python有爬虫库吗?

python爬虫骗过服务器有哪几招,我现在爬多一点的东西就老是http404错误

python爬虫骗过服务器有哪几招,我现在爬多一点的东西就老是http404错误

使用python爬虫,人工填写验证码总是报验证码错误

获取验证码后下载到本地,打开后人工输入验证码再提交。每次总报验证码错误,发现提交的url编码中字典的顺序不一样,会跟这个有关么?还是其他什么问题? ``` #-*- coding:utf8 -*- import urllib, urllib2, random, re from time import localtime, strftime, time from PIL import Image import cStringIO import win32api,win32gui,win32con #import time def get_secret_number(): def handle_window(hwnd, extra): if win32gui.IsWindowVisible(hwnd): if 'tmp' in win32gui.GetWindowText(hwnd): win32gui.PostMessage(hwnd, win32con.WM_CLOSE, 0, 0) getCode_url = "http://www.sojump.com/BotDetectCaptcha.ashx?activity=4738641&get=image&c=DesignerInitializedCaptcha&t=ba800caa26be43d28d05e3cad930cd44&d=1471997781489" header={} header['Host']="www.sojump.com" header['User-Agent']="Mozilla/5.0 (Windows NT 6.3; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0" header['Cache-Control']="max-age=0" request = urllib2.Request(getCode_url,headers=header) res = urllib2.urlopen(request).read() image = Image.open(cStringIO.StringIO(res)) image.save('E:/temp/1.bmp','BMP') image.close() l_image = Image.open('E:/temp/1.bmp') l_image.show() print 'Please inpout what you saw!' m = raw_input() win32gui.EnumWindows(handle_window, None) #time.sleep(5) return m def gen_uri_param(curID, rn): m = get_secret_number() uri_param = {} uri_param['submittype'] = '1' uri_param['t'] = str(int(time()*1000)) uri_param['validate_text'] = m uri_param['starttime'] = strftime("%Y/%m/%d %H:%M:%S", localtime()) uri_param['rn'] = rn uri_param['curID'] = curID uri_param['btuserinput'] = m uri_param['btcaptchald'] = 'DesignerInitializedCaptcha' uri_param['btinstanceId'] = 'd' return uri_param def gen_post_string(answer): def concat_pair(pair): return '$'.join([str(pair[0]), str(pair[1])]) tmp_list = [] for x in answer: tmp_list.append(concat_pair(x)) return '}'.join(tmp_list) jq_url = "http://www.sojump.com/jq/4738641.aspx" jq_base = "http://www.sojump.com/jq/{}.aspx" uri_base = "http://www.sojump.com/handler/processjq.ashx?{}" response = urllib2.urlopen(jq_url) text = response.read(); rndnum = re.search('rndnum="[0-9.]+"',text).group(0).split('"')[1] curID = re.search('(\d+).aspx',response.geturl()).group(1) jq_sum = int(re.findall('div(\d+)',text)[-1]) answer_list = [1,1,1,1,1,1,1,1] answer = zip(range(1,jq_sum+1),answer_list) post_data = urllib.urlencode({'submitdata':gen_post_string(answer)}) get_data = urllib.urlencode(gen_uri_param(curID, rndnum)) print get_data request_url = uri_base.format(get_data) header={} header['Host']="www.sojump.com" header['User-Agent']="Mozilla/5.0 (Windows NT 6.3; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0" header['Cache-Control']="max-age=0" header['method'] = 'POST' request = urllib2.Request(request_url, post_data,headers = header) result = urllib2.urlopen(request) print result.read() ```

python爬虫有部分数据为空值怎么办

Python爬虫遇到有部分数据空值,如何将其占位呢? 网页部分源代码: ![图片说明](https://img-ask.csdn.net/upload/201912/03/1575353292_456188.jpg) 因为我的数据爬取,最后呈现为表格形式,格式处理如下图 ``` for i in range(int(len(yearList)/5)): yearData.append((yearList[5*i],yearList[5*i+1],yearList[5*i+2],yearList[5*i+3],yearList[5*i+4])) ``` 因为以上存在空值,导致最后的数据错位: ![图片说明](https://img-ask.csdn.net/upload/201912/03/1575353430_13453.png) 爬取部分代码见下方: ``` monthHtml = driver.find_element_by_class_name('lishitable') monthList=monthHtml.text.split('\n',-1) ``` 请问应该如何修改代码?

python爬虫总是提示这个错误?不知道怎么解决

总是提示这个错误,求解答啊一下午啦还有弄好呢craw 1 : http://baike.baidu.com/view/4072022.htm craw failed-- 'NoneType' object has no attribute 'find'![图片说明](https://img-ask.csdn.net/upload/201607/16/1468648274_475194.png)

python爬虫获取的字符串中换行符怎么去掉

用Python爬虫,获取了一些字符串,可是有 \ n \ t 之类的东西有没有办法去除?

python爬虫 登陆不成功

![Request](https://img-ask.csdn.net/upload/201811/04/1541306099_578797.png) ![form data](https://img-ask.csdn.net/upload/201811/04/1541306066_962315.png) import json import urllib.error, urllib.request, urllib.parse import http.cookiejar s = requests.Session() class Login(object): def __init__(self): self.headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Safari/537.36', 'host':'gsms.csair.com', 'Origin':'https://gsms.csair.com', 'referer': 'https://gsms.csair.com/head-Login-login.gsms' } self.login_url='https://gsms.csair.com/head-Login-login.gsms' self.post_url='https://gsms.csair.com/j_spring_security_check' self.logined_url='https://gsms.csair.com/main_defaultmain.gsms' self.ajax_url='https://gsms.csair.com/ghc-ghchome-GhcHome-getUserInfo.gsms' def get_code(self): codeurl = 'https://gsms.csair.com/captcha.img' valcode = requests.get(codeurl) f = open('valcode.jpg', 'wb') f.write(valcode.content) f.close() code = input('请输入验证码:') return str(code) def login(self): post_data={ 'j_username':'228186', 'j_password':'*******', 'inputRand':self.get_code() } response = s.post(self.login_url, data=post_data, headers=self.headers) if response.status_code== 200: print('s') response = s.get(self.logined_url,headers=self.headers) if response.status_code== 200: print(response.text) if __name__== "__main__": login=Login() login.login()

Python爬虫时,有验证码的情况怎么处理?

怎么在登录的时候输入验证码,并且 POST 提交。 一般是首先进入到验证码网页读取验证码,人来手动识别输入,然后再提交 但是这样的话,显示的验证码是前一个,等提交的时候,需要验证的验证码已经刷新了,于是就验证不了了,会不会存在这种情况?

Python爬虫过程中如何保持一致的cookie

Python爬虫时与服务器的三次交互:1、提取验证码,2、登录,3、目标网页的爬虫 1、在看别人程序时,有的在登录和目标网页爬虫过程中使用cookiejar保存cookie,但这样如何保证获取的验证码与登录所需的相匹配 2、需要保证这三次的过程cookie相同么?以及如何保证? 纠结好久了,万分感谢~

Python 爬虫错误:AttributeError: 'NoneType' object has no attribute 'text'

用Python爬虫出现了题目所述的问题,求大神解答以下,救救小白吧,哭了 代码如下: Result=Soup.find('div',class_='tip-text ugc-ellipsis fade-text').text.strip() 错误提示: AttributeError Traceback (most recent call last) <ipython-input-58-c35c7a1014c4> in <module> ----> 1 Result=Soup.find('div',class_='tip-text ugc-ellipsis fade-text').text.strip() AttributeError: 'NoneType' object has no attribute 'text'

python 爬虫怎么保存正文的图片且保留相应位置?

学习爬虫,这问题研究了下.不知道怎么保存了. 比如: 这样的 ![图片说明](https://img-ask.csdn.net/upload/201908/02/1564718184_262732.png) 如果用 xpath .text只能获取文本.. 后来我想了用 遍历每排元素的方式 发现 img 标签没法搞了. 因为没有文本 直接会跳过. 所以请教下..怎么保存原来的 文章格式..特别是图片穿插的位置..如何保存呢.谢谢.. 或者你们用的什么方法呢..谢谢.

python爬虫问题求解,为什么总是验证码错误?

``` #coding=utf-8 from bs4 import BeautifulSoup import urllib2 import sys import time import requests from PIL import Image reload(sys) sys.setdefaultencoding('utf-8') time=time.localtime() session=requests.session() user_agent='Mozilla/5.0 (Windows NT 10.0; WOW64; rv:46.0) Gecko/20100101 Firefox/46.0' headers={'User-Agent':user_agent} cap_url='http://www.jsgsj.gov.cn:58888/mini/netWebServlet.json?randImg=true&tmp='+str(time) html=session.get(cap_url,headers=headers) img=html.content cookies=html.cookies with open('yanzhenma.jpeg','wb') as imgfile: imgfile.write(img) im = Image.open('yanzhenma.jpeg') im.show() yzm=raw_input() url_company='http://www.jsgsj.gov.cn:58888/mini/netWebServlet.json?codeCheck=true&corpName=苏州&yzm='+str(yzm) html=session.get(url=url_company,headers=headers,cookies=cookies) page=(html.text) print page ```

python爬虫 爬虫的网站源码不齐全怎么办

http://192.168.101.213:7027/swagger-ui.html#/26631209343164929702 用f12打开看到的源码 和用beautifulsoup get到的源码不一样 没法进行爬取

Python爬虫多进程实现

怎样实现多个爬取进程同时进行,并且实现进程通信,防止重复爬取

python爬虫出现中文乱码,求助大神!

最近在爬取一组网页数据时发现中文乱码,但是以前没有见过类似的乱码。 而且在同级网页中只有个别出现中文乱码现象,其他网页均正常。 乱码字符如下图 ![图片说明](https://img-ask.csdn.net/upload/201710/06/1507275786_926647.png) 求助!

大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了

大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...

在中国程序员是青春饭吗?

今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...

程序员请照顾好自己,周末病魔差点一套带走我。

程序员在一个周末的时间,得了重病,差点当场去世,还好及时挽救回来了。

技术大佬:我去,你写的 switch 语句也太老土了吧

昨天早上通过远程的方式 review 了两名新来同事的代码,大部分代码都写得很漂亮,严谨的同时注释也很到位,这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时,还是忍不住破口大骂:“我擦,小王,你丫写的 switch 语句也太老土了吧!” 来看看小王写的代码吧,看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

和黑客斗争的 6 天!

互联网公司工作,很难避免不和黑客们打交道,我呆过的两家互联网公司,几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找 Sql 注入的缺口,有的是寻找线上服务器可能存在的漏洞,大部分都...

点沙成金:英特尔芯片制造全过程揭密

“亚马逊丛林里的蝴蝶扇动几下翅膀就可能引起两周后美国德州的一次飓风……” 这句人人皆知的话最初用来描述非线性系统中微小参数的变化所引起的系统极大变化。 而在更长的时间尺度内,我们所生活的这个世界就是这样一个异常复杂的非线性系统…… 水泥、穹顶、透视——关于时间与技艺的蝴蝶效应 公元前3000年,古埃及人将尼罗河中挖出的泥浆与纳特龙盐湖中的矿物盐混合,再掺入煅烧石灰石制成的石灰,由此得来了人...

讲一个程序员如何副业月赚三万的真实故事

loonggg读完需要3分钟速读仅需 1 分钟大家好,我是你们的校长。我之前讲过,这年头,只要肯动脑,肯行动,程序员凭借自己的技术,赚钱的方式还是有很多种的。仅仅靠在公司出卖自己的劳动时...

上班一个月,后悔当初着急入职的选择了

最近有个老铁,告诉我说,上班一个月,后悔当初着急入职现在公司了。他之前在美图做手机研发,今年美图那边今年也有一波组织优化调整,他是其中一个,在协商离职后,当时捉急找工作上班,因为有房贷供着,不能没有收入来源。所以匆忙选了一家公司,实际上是一个大型外包公司,主要派遣给其他手机厂商做外包项目。**当时承诺待遇还不错,所以就立马入职去上班了。但是后面入职后,发现薪酬待遇这块并不是HR所说那样,那个HR自...

女程序员,为什么比男程序员少???

昨天看到一档综艺节目,讨论了两个话题:(1)中国学生的数学成绩,平均下来看,会比国外好?为什么?(2)男生的数学成绩,平均下来看,会比女生好?为什么?同时,我又联想到了一个技术圈经常讨...

副业收入是我做程序媛的3倍,工作外的B面人生是怎样的?

提到“程序员”,多数人脑海里首先想到的大约是:为人木讷、薪水超高、工作枯燥…… 然而,当离开工作岗位,撕去层层标签,脱下“程序员”这身外套,有的人生动又有趣,马上展现出了完全不同的A/B面人生! 不论是简单的爱好,还是正经的副业,他们都干得同样出色。偶尔,还能和程序员的特质结合,产生奇妙的“化学反应”。 @Charlotte:平日素颜示人,周末美妆博主 大家都以为程序媛也个个不修边幅,但我们也许...

MySQL数据库面试题(2020最新版)

文章目录数据库基础知识为什么要使用数据库什么是SQL?什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式?分别有什么区别?数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别?InnoDB引擎的4大特性存储引擎选择索引什么是索引?索引有哪些优缺点?索引使用场景(重点)...

如果你是老板,你会不会踢了这样的员工?

有个好朋友ZS,是技术总监,昨天问我:“有一个老下属,跟了我很多年,做事勤勤恳恳,主动性也很好。但随着公司的发展,他的进步速度,跟不上团队的步伐了,有点...

我入职阿里后,才知道原来简历这么写

私下里,有不少读者问我:“二哥,如何才能写出一份专业的技术简历呢?我总感觉自己写的简历太烂了,所以投了无数份,都石沉大海了。”说实话,我自己好多年没有写过简历了,但我认识的一个同行,他在阿里,给我说了一些他当年写简历的方法论,我感觉太牛逼了,实在是忍不住,就分享了出来,希望能够帮助到你。 01、简历的本质 作为简历的撰写者,你必须要搞清楚一点,简历的本质是什么,它就是为了来销售你的价值主张的。往深...

我说我不会算法,阿里把我挂了。

不说了,字节跳动也反手把我挂了。

优雅的替换if-else语句

场景 日常开发,if-else语句写的不少吧??当逻辑分支非常多的时候,if-else套了一层又一层,虽然业务功能倒是实现了,但是看起来是真的很不优雅,尤其是对于我这种有强迫症的程序"猿",看到这么多if-else,脑袋瓜子就嗡嗡的,总想着解锁新姿势:干掉过多的if-else!!!本文将介绍三板斧手段: 优先判断条件,条件不满足的,逻辑及时中断返回; 采用策略模式+工厂模式; 结合注解,锦...

离职半年了,老东家又发 offer,回不回?

有小伙伴问松哥这个问题,他在上海某公司,在离职了几个月后,前公司的领导联系到他,希望他能够返聘回去,他很纠结要不要回去? 俗话说好马不吃回头草,但是这个小伙伴既然感到纠结了,我觉得至少说明了两个问题:1.曾经的公司还不错;2.现在的日子也不是很如意。否则应该就不会纠结了。 老实说,松哥之前也有过类似的经历,今天就来和小伙伴们聊聊回头草到底吃不吃。 首先一个基本观点,就是离职了也没必要和老东家弄的苦...

为什么你不想学习?只想玩?人是如何一步一步废掉的

不知道是不是只有我这样子,还是你们也有过类似的经历。 上学的时候总有很多光辉历史,学年名列前茅,或者单科目大佬,但是虽然慢慢地长大了,你开始懈怠了,开始废掉了。。。 什么?你说不知道具体的情况是怎么样的? 我来告诉你: 你常常潜意识里或者心理觉得,自己真正的生活或者奋斗还没有开始。总是幻想着自己还拥有大把时间,还有无限的可能,自己还能逆风翻盘,只不是自己还没开始罢了,自己以后肯定会变得特别厉害...

男生更看重女生的身材脸蛋,还是思想?

往往,我们看不进去大段大段的逻辑。深刻的哲理,往往短而精悍,一阵见血。问:产品经理挺漂亮的,有点心动,但不知道合不合得来。男生更看重女生的身材脸蛋,还是...

为什么程序员做外包会被瞧不起?

二哥,有个事想询问下您的意见,您觉得应届生值得去外包吗?公司虽然挺大的,中xx,但待遇感觉挺低,马上要报到,挺纠结的。

当HR压你价,说你只值7K,你该怎么回答?

当HR压你价,说你只值7K时,你可以流畅地回答,记住,是流畅,不能犹豫。 礼貌地说:“7K是吗?了解了。嗯~其实我对贵司的面试官印象很好。只不过,现在我的手头上已经有一份11K的offer。来面试,主要也是自己对贵司挺有兴趣的,所以过来看看……”(未完) 这段话主要是陪HR互诈的同时,从公司兴趣,公司职员印象上,都给予对方正面的肯定,既能提升HR的好感度,又能让谈判气氛融洽,为后面的发挥留足空间。...

面试:第十六章:Java中级开发(16k)

HashMap底层实现原理,红黑树,B+树,B树的结构原理 Spring的AOP和IOC是什么?它们常见的使用场景有哪些?Spring事务,事务的属性,传播行为,数据库隔离级别 Spring和SpringMVC,MyBatis以及SpringBoot的注解分别有哪些?SpringMVC的工作原理,SpringBoot框架的优点,MyBatis框架的优点 SpringCould组件有哪些,他们...

面试阿里p7,被按在地上摩擦,鬼知道我经历了什么?

面试阿里p7被问到的问题(当时我只知道第一个):@Conditional是做什么的?@Conditional多个条件是什么逻辑关系?条件判断在什么时候执...

你打算用Java 8一辈子都不打算升级到Java 14,真香

我们程序员应该抱着尝鲜、猎奇的心态,否则就容易固步自封,技术停滞不前。

无代码时代来临,程序员如何保住饭碗?

编程语言层出不穷,从最初的机器语言到如今2500种以上的高级语言,程序员们大呼“学到头秃”。程序员一边面临编程语言不断推陈出新,一边面临由于许多代码已存在,程序员编写新应用程序时存在重复“搬砖”的现象。 无代码/低代码编程应运而生。无代码/低代码是一种创建应用的方法,它可以让开发者使用最少的编码知识来快速开发应用程序。开发者通过图形界面中,可视化建模来组装和配置应用程序。这样一来,开发者直...

面试了一个 31 岁程序员,让我有所触动,30岁以上的程序员该何去何从?

最近面试了一个31岁8年经验的程序猿,让我有点感慨,大龄程序猿该何去何从。

大三实习生,字节跳动面经分享,已拿Offer

说实话,自己的算法,我一个不会,太难了吧

程序员垃圾简历长什么样?

已经连续五年参加大厂校招、社招的技术面试工作,简历看的不下于万份 这篇文章会用实例告诉你,什么是差的程序员简历! 疫情快要结束了,各个公司也都开始春招了,作为即将红遍大江南北的新晋UP主,那当然要为小伙伴们做点事(手动狗头)。 就在公众号里公开征简历,义务帮大家看,并一一点评。《启舰:春招在即,义务帮大家看看简历吧》 一石激起千层浪,三天收到两百多封简历。 花光了两个星期的所有空闲时...

《经典算法案例》01-08:如何使用质数设计扫雷(Minesweeper)游戏

我们都玩过Windows操作系统中的经典游戏扫雷(Minesweeper),如果把质数当作一颗雷,那么,表格中红色的数字哪些是雷(质数)?您能找出多少个呢?文中用列表的方式罗列了10000以内的自然数、质数(素数),6的倍数等,方便大家观察质数的分布规律及特性,以便对算法求解有指导意义。另外,判断质数是初学算法,理解算法重要性的一个非常好的案例。

《Oracle Java SE编程自学与面试指南》最佳学习路线图(2020最新版)

正确选择比瞎努力更重要!

一文带你入门Java Stream流,太强了

两个星期以前,就有读者强烈要求我写一篇 Java Stream 流的文章,我说市面上不是已经有很多了吗,结果你猜他怎么说:“就想看你写的啊!”你看你看,多么苍白的喜欢啊。那就“勉为其难”写一篇吧,嘻嘻。 单从“Stream”这个单词上来看,它似乎和 java.io 包下的 InputStream 和 OutputStream 有些关系。实际上呢,没毛关系。Java 8 新增的 Stream 是为...

立即提问
相关内容推荐