python爬虫爬取图片和图片的标题保存时出现IOError

import urllib
import urllib2
import re
import os

#爬取索引页面源代码
siteURL='https://www.warningsignsdirect.co.uk/index.php?cPath=518'
request=urllib2.Request(siteURL)
response=urllib2.urlopen(request)
page=response.read().decode('utf-8')
print u"已爬取索引页面源代码"

os.chdir("C:\Users\hey_fall\Desktop")

#抓取页面中指定的图片
pattern=re.compile('

.*?

.*?




',re.S)
content=re.findall(pattern,page)
patternImg=re.compile('<img src="(.*?)"',re.S)
images=re.findall(patternImg,str(content))
print u"已爬取该网页图片"

#抓取图片的说明文本
patternIntroductions=re.compile('title="(.*?)"',re.S)
Introductions=re.findall(patternIntroductions,str(content))

#去除匹配字符中的转义字符
number=0
for introduction in Introductions:
Introductions[number]=str(introduction).replace('\','')
number+=1
print u"已爬取图片的说明文本"

#抓取说明文本的标题
patternTitle=re.compile('

(.*?) ')
Title=re.findall(patternTitle,page)
print u"已爬取文本标题"

#创建文件夹
path=os.getcwd()
title=Title[0]
new_path=os.path.join(path,title)
if not os.path.isdir(new_path):
os.makedirs(new_path)
os.chdir(new_path)
print u"已创建文件夹",new_path

#保存图片的说明文本
IntroductionName=Title[0]+".txt"
f=open(IntroductionName,'w+')
for introduction in Introductions:
f.write(introduction+'\n')
f.close()
print u"图片的说明文本已保存到",new_path

#保存抓取到的图片
number=0
for imageURL in images:
filename=Introductions[number]+'.jpg'
url='https://www.warningsignsdirect.co.uk'+'/'+imageURL
urllib.urlretrieve(url,filename)
number+=1
print u"图片已保存到",new_path
print u"该网页内容爬取完毕"

1个回答

文件名里是否有特殊字符,是否有文件写入的权限

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
python 爬虫 出现IOError错误
# -*- coding:utf-8 -*- #! /usr/bin/env python import urllib import urllib2 import re page = 1 url = 'http://www.qiushibaike.com/hot/page/' + str(page) user_agent = 'Mozilla/4.0(compatible;MSIE 5.5;Windows NT)' headers = {'User-Agent':user_agent} try: request = urllib2.Request(url,headers = headers) response = urllib2.urlopen(request) content = response.read().decode('utf-8','ignore') pattern = re.compile(r'<div.*?author.*?>*?<img.*?>.*?<a.*?title="(.*?)">.*?<div.*?>.*?(.*?)</div>', re.S) items = re.findall(pattern,content) for item in items: print item[0],item[1] except urllib2.URLError, e: if hasattr(e,"code"): print e.code if hasattr(e,"reason"): print e.reason ```![图片说明](https://img-ask.csdn.net/upload/201604/29/1461898513_494366.png) ```这是出现错误的信息,在powershell中设置chcp 65001就会出现IOError错误,设置成chcp 437或者936就会出现下面的乱码,请问是什么原因? ``` ```
在学python爬虫时遇到个问题,求解答
``` #! /usr/bin/env python # -*- coding: utf-8 -*- import urllib import urllib2 import re def craw(url, page): html1 = urllib2.Request(url) response = urllib2.urlopen(html1).read() response = str(response) pat1 = '<img width="220" height="220" class="err-product" data-img="1" src="//.+?" />' imagelist = re.compile(pat1).findall(response) x = 1 for imageurl in imagelist: imagename = "D:/手表/" + str(page) + str(x) + ".jpg" imagesurl = "http://" + imageurl try: urllib.urlretrieve(imagesurl, filename = imagename) except urllib2.URLError as e: if hasattr(e, "code"): x += 1 if hasattr(e, "reason"): x += 1 x += 1 for i in range(2,6): url = "https://search.jd.com/Search?keyword=手表%20男&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&suggest=1.def.0.V16&wq=手表&page=" + str(i) craw(url, i) 运行,开始报错: Traceback (most recent call last): File "C:/Users/JIE/Desktop/py file/����ѵ��.py", line 30, in <module> craw(url, i) File "C:/Users/JIE/Desktop/py file/����ѵ��.py", line 20, in craw urllib.urlretrieve(imagesurl, filename = imagename) File "C:\Python27\lib\urllib.py", line 91, in urlretrieve return _urlopener.retrieve(url, filename, reporthook, data) File "C:\Python27\lib\urllib.py", line 237, in retrieve fp = self.open(url, data) File "C:\Python27\lib\urllib.py", line 205, in open return getattr(self, name)(url) File "C:\Python27\lib\urllib.py", line 342, in open_http h.endheaders(data) File "C:\Python27\lib\httplib.py", line 951, in endheaders self._send_output(message_body) File "C:\Python27\lib\httplib.py", line 811, in _send_output self.send(msg) File "C:\Python27\lib\httplib.py", line 773, in send self.connect() File "C:\Python27\lib\httplib.py", line 754, in connect self.timeout, self.source_address) File "C:\Python27\lib\socket.py", line 553, in create_connection for res in getaddrinfo(host, port, 0, SOCK_STREAM): IOError: [Errno socket error] [Errno 11001] getaddrinfo failed ```
python爬虫抓不到网页
抓取的时候总会出现这样的错误,IOError: [Errno socket error] [Errno 10060],求告知怎么才能解决啊。
python下载图片出现IOError
``` import urllib2 from BeautifulSoup import BeautifulSoup page = urllib2.urlopen('http://bbs.hupu.com/13608969.html') contents = page.read() soup = BeautifulSoup(contents) img=soup.findAll('img') print img print len(img) for myimg in img: link=myimg.get('src') print link content2 = urllib2.urlopen(link).read() with open(u'E:\img'+'/'+link[-11:],'wb') as code: code.write(content2) ``` 能下载两张图,然后出现下面的错误 ![图片说明](https://img-ask.csdn.net/upload/201509/02/1441203328_483250.png) 求高手解决
ubuntu上python无法爬取网页
在ubuntu12.04下写了个简单的python测试代码: # -*- coding: UTF-8 -*- import time,urllib2,urllib,StringIO,sys,os,multiprocessing,sqlite3 if __name__ == '__main__': stockUrl="http://www.baidu.com" stockWeb = urllib.urlopen(stockUrl).read() print stockWeb 但是出现了如下错误: Traceback (most recent call last): File "test.py", line 6, in <module> stockWeb = urllib.urlopen(stockUrl).read() File "/usr/lib/python2.7/urllib.py", line 86, in urlopen return opener.open(url) File "/usr/lib/python2.7/urllib.py", line 207, in open return getattr(self, name)(url) File "/usr/lib/python2.7/urllib.py", line 344, in open_http h.endheaders(data) File "/usr/lib/python2.7/httplib.py", line 954, in endheaders self._send_output(message_body) File "/usr/lib/python2.7/httplib.py", line 814, in _send_output self.send(msg) File "/usr/lib/python2.7/httplib.py", line 776, in send self.connect() File "/usr/lib/python2.7/httplib.py", line 757, in connect self.timeout, self.source_address) File "/usr/lib/python2.7/socket.py", line 553, in create_connection for res in getaddrinfo(host, port, 0, SOCK_STREAM): IOError: [Errno socket error] [Errno -2] Name or service not known GOOGLE了也没找到解决办法,这是什么问题? 另外,同样的代码吗,我在另一台同样环境机器上是可以运行的
python print IOError
遇到个问题,linux下使用python 2.7的print 偶尔会报错:IOError :(5,'Input/output error'). 出现的几率很小,现在还没找到原因.求有经验的大神指点.
python IOerror:write error
python服务报错:base.py IOerror:write error
使用PYthon Spyders时出现了IOError,求问大神们该如何解决
下面是错误提示 In [5]: runfile('/home/johnsnow/.spyder2/temp.py', wdir='/home/johnsnow/.spyder2') Traceback (most recent call last): File "<ipython-input-5-9840d5078ca8>", line 1, in <module> runfile('/home/johnsnow/.spyder2/temp.py', wdir='/home/johnsnow/.spyder2') File "/usr/lib/python2.7/dist-packages/spyderlib/widgets/externalshell/sitecustomize.py", line 699, in runfile execfile(filename, namespace) File "/usr/lib/python2.7/dist-packages/spyderlib/widgets/externalshell/sitecustomize.py", line 81, in execfile builtins.execfile(filename, *where) File "/home/johnsnow/.spyder2/temp.py", line 23, in <module> csv.writer(open(train_csv, 'w+'), lineterminator='\n').writerows([header[:-1]] + trn) IOError: [Errno 13] Permission denied: '/media/johnsnow/train.csv' 出错那一行的源代码:csv.writer(open(train_csv,'w+'),lineterminator='\n').writerows([header[:-1]]) +trn)
如何用Python 3遍历循环下载CSV文件中内容链接的图片?
## 本人目前情况如下: 现在有个文件表(CSV),表中信息均为图片链接,如图1所示 ![图1](https://img-ask.csdn.net/upload/201811/07/1541602716_663499.png) 很明显,这里需要用到循环,因此我的代码如下: ``` import csv #加载csv包便于读取csv文件 import requests with open ('vehicles.csv','r',encoding = 'utf-8') as csvfile: reader = csv.reader(csvfile) links = [row[1] for row in reader] for link in links: imgresponse = requests.get(link, stream=True) #以流的方式打开 image = imgresponse.content address="H:\程序语言学习用文件夹\Python\images"+"\\" #保存地址 i = 1 try: with open(address+"{0}".format(i) ,"wb") as jpg: jpg.write(image) i = i + 1 except IOError: print("IO Error\n") finally: jpg.close ``` 然而实际情况是,控制台没有报错,但图片只下载了一张,就是最后一张,而且它还被命名成了“1”??!! ## 求助各位大佬,我的代码到底哪里出了不妥?
python文件路径问题,IOError: [Errno 22]
解析json文件,想用某个变量的值来创建文件,但总有 IOError: [Errno 22] invalid mode ('w') or filename: u'D:\\\dataresult\\\A8:1B:5A:0A:C8:DA.txt' 代码如下: import json fp = open(r'D:\file.json','r') i = fp.readline() rJson = "".join([ i.strip().rsplit("}" , 1)[0] , "}"] ) j = json.loads(i) g = open(r"D:\dataresult"+'\\\'+j['a']+r".txt",'w') g.write("\n") g.close() fp.close() 求各位大神帮忙解答,感激不尽
python截屏问题 win32和PIL
服务器部署截屏程序,本地远程登录服务器的时候能正常截屏,如果把远程界面关闭或者最小化的时候,截屏就会失败 使用PIL的情况: ``` coordinate = (0, 0, 60,20) pic = ImageGrab.grab(coordinate) ``` 错误信息: ``` File "E:\python-workspace\crawler-20150529\spiders\gz_spider.py", line 141, in _do_crawl_img_by_screenshot pic = ImageGrab.grab(coordinate) # 截图 File "D:\Python27\lib\site-packages\PIL\ImageGrab.py", line 34, in grab size, data = grabber() IOError: screen grab failed ``` 使用win32截屏也是用户界面打开的时候能成功,把远程界面退出或者最小化的时候截屏失败,代码如下: ``` GrabUtil.py def grab(dpath,args): ''''' 参数为指定保存的目录 返回图片文件名,文件名格式:日期.jpg 如:2009328224853.jpg ''' hwnd = 0 hwndDC = win32gui.GetWindowDC(hwnd) mfcDC=win32ui.CreateDCFromHandle(hwndDC) saveDC=mfcDC.CreateCompatibleDC() saveBitMap = win32ui.CreateBitmap() MoniterDev=win32api.EnumDisplayMonitors(None,None) #w = MoniterDev[0][2][2] #h = MoniterDev[0][2][3] w = args[2] h = args[3] #print w,h   #图片大小 saveBitMap.CreateCompatibleBitmap(mfcDC, w,h) saveDC.SelectObject(saveBitMap) saveDC.BitBlt((0,0),(w, h) , mfcDC, (args[0],args[1]), win32con.SRCCOPY) cc=time.gmtime() bmpname=str(cc[0])+str(cc[1])+str(cc[2])+str(cc[3]+8)+str(cc[4])+str(cc[5])+'.bmp' saveBitMap.SaveBitmapFile(saveDC, bmpname) pic = Image.open(bmpname) pic.save(os.path.join(dpath, 'xxxxx.jpeg'), 'jpeg') os.remove(bmpname) return pic ``` 报错信息: ``` File "E:\python-workspace\crawler-20150529\spiders\sele.py", line 162, in _do_crawl_img img = self._do_crawl_img_by_screenshot() File "E:\python-workspace\crawler-20150529\spiders\sz_spider.py", line 149, in _do_crawl_img_by_screenshot pic = grab(self.storage_path,coordinate) File "E:\python-workspace\crawler-20150529\GrabUtil.py", line 24, in grab saveDC.BitBlt((0,0),(w, h) , mfcDC, (args[0],args[1]), win32con.SRCCOPY) error: BitBlt failed ``` 初步判定原因:win7 服务器用户登录的时候截屏没有问题,本地远程登陆这台服务器的时候也没有问题,远程界面最小化的时候界面可能调用的是本地服务器的本地方法截屏,所以失败,当我关闭远程界面的时候,这个时候服务器是没有用户登录的状态,所以截屏也失败了,希望那位大牛能帮忙解决问题,告知具体原因
python+flask,网页不稳定
![图片说明](https://img-ask.csdn.net/upload/201611/14/1479109911_96944.png) ![图片说明](https://img-ask.csdn.net/upload/201611/14/1479109929_324800.png) ![图片说明](https://img-ask.csdn.net/upload/201611/14/1479109949_514196.png) 正常和报错的图 ![图片说明](https://img-ask.csdn.net/upload/201611/14/1479109984_481380.png) ![图片说明](https://img-ask.csdn.net/upload/201611/14/1479110006_679355.png) ![图片说明](https://img-ask.csdn.net/upload/201611/14/1479109867_837845.png) ![图片说明](https://img-ask.csdn.net/upload/201611/14/1479109886_236075.png) 这些是源码 错误是Ioerror:errno104
读取python遍历中文目录得到的文件路径报错
各位朋友们好,我是一名python新手,现在遇到一个问题,恳请各位朋友们能指点一下我。 我的环境是:ubuntu14.04系统,python2.7 用python遍历一个目录,目录层次结构如下: 这是主目录: /home/chaoma/superboard/mydata/input/production 主目录下的目录层次结构如下 --超级画板教学资源_全处理_772 -- Z+Z资源库 --初中数学资源库 --1有理数 ---1.1数的分类 -- 0.mp4 -- name.txt …… --2一元一次方程 ….. --动态解析高考数学综合题 --第一章基本函数 --第四节 --06福建理21 --name.txt --0.mp4 --拓展练习4.1 …. --第五节 …… --第二章三角函数 ……. …… --学生作品集合_全处理_52 ……… 我想实现的功能:找到所有含有0.mp4文件的父目录,并读取该父目录下面的name.txt文件 因此我写了以下的遍历函数来实现这一功能: def visitDir_walk(path , sFileSuffix): codedetect = chardet.detect(path)["encoding"] path = unicode(path , codedetect) fileNames = list() for root,dirs,files in os.walk(path): for i in range(0 , len(files)): file = files[i] if file.endswith(sFileSuffix): sFileName = os.path.join(root , file) #这边返回的应该是包含视频文件的父目录,也就是学生作品目录 realFileName = os.path.split(os.path.abspath(sFileName))[0] fileNames.append( unicode(realFileName,”gbk”) ) return fileNames def main(): sProductionInputPath = “/home/chaoma/superboard/mydata/input/production” dir_production_list = visitDir_walk(sProductionInputPath , ".mp4") #拼接name.txt的路径 for dir in dir_production_list: nameFile = os.path.join(dir , "name.txt") fout = codecs.open(nameFile , "w" , "utf-8") #截取出路径中的文件名作为需要的内容,并写入文件 fout.write(os.path.split(path)[1]) fout.close() main() 但是执行之后却报错了,报错如下: fout = codecs.open(nameFile , "w" , "utf-8") File "/usr/lib/python2.7/codecs.py", line 878, in open file = __builtin__.open(filename, mode, buffering) IOError: [Errno 2] No such file or directory: u'/home/chaoma/superboard/mydata/input/production/\u8d85\u7ea7\u753b\u677f\u6559\u5b66\u8d44\u6e90_\u5168\u5904\u7406_772/\u52a8\u6001\u89e3\u6790\u9ad8\u8003\u6570\u5b66\u7efc\u5408\u9898/\u7b2c\u4e00\u7ae0\u57fa\u672c\u51fd\u6570/\u7b2c\u56db\u8282/06\u798f\u5efa\u740621/name.txt' 打印这个报错的路径得到: /home/chaoma/superboard/mydata/input/production/超级画板教学资源_全处理_772/动态解析高考数学综合题/第一章基本函数/第四节/06福建理21/name.txt 这个文件路径是存在的却报错,不知道为什么。难道是路径是unicode类型就不能识别吗? 恳请各位朋友们能指点我一下,十分感谢。
python HTMLParser问题
在看python核心编程第三版的时候遇到的问题 ```import io import formatter from html.parser import HTMLParser import http import os import sys import urllib.request from urllib.parse import urlparse,urljoin class Retriever(object): __slots__=('url','file') def __init__(self,url): self.url,self.file=self.get_file(url) def get_file(self,url,default='index.html'): 'Create usable local filename from URL' parsed=urlparse(url) host=parsed.netloc.split('@')[-1].split(':')[0] filepath='%s%s' % (host,parsed.path) if not os.path.splitext(parsed.path)[1]: filepath=os.path.join(filepath,default) linkdir=os.path.dirname(filepath) if not os.path.isdir(linkdir): if os.path.exists(linkdir): os.unlink(linkdir) os.makedirs(linkdir) return url,filepath def download(self): 'Download URL to specific named file' try: retval=urllib.request.urlretrieve(self.url,self.file) except (IOError,httplib.InvalidURL) as e: retval=(('*** ERROR: bad URL "%s": %s' % (self.url, e)),) return retval def parse_links(self): 'Parse out the links found in download HTML file' f=open(self.file,'rb') data=f.read() f.close() parser=HTMLParser(formatter.AbstractFormatter(formatter.DumbWriter(io.StringIO()))) parser.feed(data) parser.close() return parser.anchorlist class Crawler(object): count=0 def __init__(self, url): self.q=[url] self.seen=set() parsed=urlparse(url) host=parsed.netloc.split('@')[-1].split(':')[0] self.dom='.'.join(host.split('.')[-2:]) def get_page(self, url, media=False): 'Download page & parse links, add to queue if nec' r=Retriever(url) fname=r.download()[0] if fname[0] == '*': print(fname,'...skipping parse') return Crawler.count += 1 print('\n(',Crawler.count,')') print('URL:',url) print('FILE:',fname) self.seen.add(url) ftype=os.path.splitext(fname)[1] if ftype not in ('.htm', '.html'): return for link in r.parse_links(): if link.startswith('mailto:'): print('...discarded, mailto link') continue if not media: ftype=os.path.splitext(link)[1] if ftype in ('.mp3', '.mp4', '.m4v', '.wav'): print('...discarded, media file') continue if not link.startswith('http://'): link=urljoin(url,link) print('*',link) if link not in self.seen: if self.dom not in link: print('...discarded, not in domain') else: if link not in self.q: self.q.append(link) print('...new, added to Q') else: print('...discarded, already in Q') else: print('...discarded, already processed') def go(self,media=False): 'Process next page in queue (if any)' while self.q: url=self.q.pop() self.get_page(url,media) def main(): if len(sys.argv) > 1: url=sys.argv[1] else: try: url=input('Enter starting URL: ') except (KeyboardInterrupt, EOFError): url='' if not url: return if not url.startswith('http://') and not url.startswith('ftp://'): url='http://%s/' % url robot=Crawler(url) robot.go() if __name__=='__main__': main() ``` 这里报错HTMLParser的__init__()需要一个位置参数而给了它两个 看了下文档,好像这个类只有一个关键字参数,给的例子也是先自定义一个子类再实例化,那么书上这么写是什么意思?要怎么改?求解答
shutil.copyfile(src,dst)报错:IOError: [Errno 13]
shutil.copyfile(src,dst),源路径和目标路径都是使用的绝对路径,之前的脚本里面使用很正常,今天突然报错:IOError: [Errno 13],Permission denied: 有没有谁遇到过这种情况的? 我今天还单独拎出来写个小的测试下也是访问拒绝,急。
python 调用windows 命令行
def start(count): log_name ='c:\\log\\' +str(count) cmd = 'c:\\tool\\tool.exe > ' + log_name os.popen(cmd) 在windows环境下执行tool.exe重定向 循环处理多了 会报错 close failed in file object destructor: IOError: [ERROR 0] Error 请问是什么原因?
继承python内置的list,在创建实例时,提示参数个数不正确
def sanitize(time_string): if "-" in time_string: splitter = "_" elif ":" in time_string: splitter = ":" else: return time_string (mins, secs) = time_string.strip().split(splitter) return mins, ".", secs class AthleteList(list): def __int__(self, a_name, a_dob=None, a_times=[]): list.__init__([]) self.name = a_name self.dob = a_dob self.extend(a_times) def top3(self): return sorted(set([sanitize(t) for t in self]))[0:3] def get_coach_data(filename): try: with open(filename) as f: data = f.readline() templ = data.strip().split(",") return AthleteList([templ.pop(0), templ.pop(0), templ]) except IOError as ioerr: print "File error: ", str(ioerr) return None sarah = get_coach_data("sarah2.txt") print sarah.name, "'s fastest times are: ", str(sarah.top3()) 错误提示: Traceback (most recent call last): File "C:\Python27\listclass2.py", line 30, in <module> sarah = get_coach_data("sarah2.txt") File "C:\Python27\listclass2.py", line 25, in get_coach_data return AthleteList(templ.pop(0), templ.pop(0), templ) TypeError: list() takes at most 1 argument (3 given) 不知道怎么改。。
Py打包exe出现CA证书错误,怎么办?
单独在命令行里运行没错,打包成exe后运行出错。 错误: D:\1HelloWorld\PythonDeve\spider>D:\1HelloWorld\PythonDeve\spider\dist\baiduimg. exe Traceback (most recent call last): File "baiduimg.py", line 68, in <module> dataList = getManyPages('缇庡コ',2) File "baiduimg.py", line 46, in getManyPages urls.append(requests.get(url,params=i).json().get('data')) File "requests\api.pyc", line 72, in get File "requests\api.pyc", line 58, in request File "requests\sessions.pyc", line 508, in request File "requests\sessions.pyc", line 618, in send File "requests\adapters.pyc", line 407, in send File "requests\adapters.pyc", line 226, in cert_verify IOError: Could not find a suitable TLS CA certificate bundle, invalid path: D:\1 HelloWorld\PythonDeve\spider\dist\library.zip\certifi\cacert.pem ## **Python源码如下,求大佬回复** #coding=utf-8 import sys reload(sys) sys.setdefaultencoding('utf8') import requests import os from time import ctime,sleep def getManyPages(keyword,pages): params=[] for i in range(30,30*pages+30,30): params.append({ 'tn': 'resultjson_com', 'ipn': 'rj', 'ct': 201326592, 'is': '', 'fp': 'result', 'queryWord': keyword, 'cl': 2, 'lm': -1, 'ie': 'utf-8', 'oe': 'utf-8', 'adpicid': '', 'st': -1, 'z': '', 'ic': 0, 'word': keyword, 's': '', 'se': '', 'tab': '', 'width': '', 'height': '', 'face': 0, 'istype': 2, 'qc': '', 'nc': 1, 'fr': '', 'pn': i, 'rn': 30, 'gsm': '1e', '1488942260214': '' }) url = 'https://image.baidu.com/search/acjson' urls = [] for i in params: urls.append(requests.get(url,params=i).json().get('data')) return urls def getImg(dataList, localPath): if not os.path.exists(localPath): # 新建文件夹 os.mkdir(localPath) x = 0 for list in dataList: for i in list: if i.get('thumbURL') != None: print('正在下载:%s' % i.get('thumbURL')) ir = requests.get(i.get('thumbURL')) open(localPath + '%d.jpg' % x, 'wb').write(ir.content) x += 1 else: print('图片链接不存在') if __name__ == '__main__': dataList = getManyPages('美女',2) # 参数1:关键字,参数2:要下载的页数 getImg(dataList,"D:\\Uarebeautiful\\") # 参数2:指定保存的路径
ubuntu16.04下python打开http/https报错
![ubuntu16.04下使用python中的urllib.urlopen()打开https报错IOError](https://img-ask.csdn.net/upload/201708/27/1503834919_805174.png) ``` >>> import urllib >>> urllib.urlopen('https://www.baidu.com') Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/usr/local/lib/python2.7/urllib.py", line 87, in urlopen return opener.open(url) File "/usr/local/lib/python2.7/urllib.py", line 210, in open return self.open_unknown(fullurl, data) File "/usr/local/lib/python2.7/urllib.py", line 222, in open_unknown raise IOError, ('url error', 'unknown url type', type) IOError: [Errno url error] unknown url type: 'https' ``` 报错信息:IOError: [Errno url error] unknown url type: 'https' ![ubuntu16.04下使用python中的urllib2.urlopen()打开https/http报错](https://img-ask.csdn.net/upload/201708/27/1503835100_415721.png) ``` >>> import urllib2 >>> urllib2.urlopen('https://www.baidu.com') Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/usr/local/lib/python2.7/urllib2.py", line 154, in urlopen return opener.open(url, data, timeout) File "/usr/local/lib/python2.7/urllib2.py", line 429, in open response = self._open(req, data) File "/usr/local/lib/python2.7/urllib2.py", line 452, in _open 'unknown_open', req) File "/usr/local/lib/python2.7/urllib2.py", line 407, in _call_chain result = func(*args) File "/usr/local/lib/python2.7/urllib2.py", line 1266, in unknown_open raise URLError('unknown url type: %s' % type) urllib2.URLError: <urlopen error unknown url type: https> >>> urllib2.urlopen('http://www.baidu.com') Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/usr/local/lib/python2.7/urllib2.py", line 154, in urlopen return opener.open(url, data, timeout) File "/usr/local/lib/python2.7/urllib2.py", line 429, in open response = self._open(req, data) File "/usr/local/lib/python2.7/urllib2.py", line 447, in _open '_open', req) File "/usr/local/lib/python2.7/urllib2.py", line 407, in _call_chain result = func(*args) File "/usr/local/lib/python2.7/urllib2.py", line 1228, in http_open return self.do_open(httplib.HTTPConnection, req) File "/usr/local/lib/python2.7/urllib2.py", line 1198, in do_open raise URLError(err) urllib2.URLError: <urlopen error [Errno -3] Temporary failure in name resolution> >>> ``` 报错信息: urllib2.URLError: <urlopen error unknown url type: https> urllib2.URLError: <urlopen error [Errno -3] Temporary failure in name resolution> 这个要如何解决?求大神指点迷津,谢谢!
相见恨晚的超实用网站
搞学习 知乎:www.zhihu.com 简答题:http://www.jiandati.com/ 网易公开课:https://open.163.com/ted/ 网易云课堂:https://study.163.com/ 中国大学MOOC:www.icourse163.org 网易云课堂:study.163.com 哔哩哔哩弹幕网:www.bilibili.com 我要自学网:www.51zxw
花了20分钟,给女朋友们写了一个web版群聊程序
参考博客 [1]https://www.byteslounge.com/tutorials/java-ee-html5-websocket-example
爬虫福利二 之 妹子图网MM批量下载
爬虫福利一:27报网MM批量下载    点击 看了本文,相信大家对爬虫一定会产生强烈的兴趣,激励自己去学习爬虫,在这里提前祝:大家学有所成! 目标网站:妹子图网 环境:Python3.x 相关第三方模块:requests、beautifulsoup4 Re:各位在测试时只需要将代码里的变量 path 指定为你当前系统要保存的路径,使用 python xxx.py 或IDE运行即可。
字节跳动视频编解码面经
引言 本文主要是记录一下面试字节跳动的经历。 三四月份投了字节跳动的实习(图形图像岗位),然后hr打电话过来问了一下会不会opengl,c++,shador,当时只会一点c++,其他两个都不会,也就直接被拒了。 七月初内推了字节跳动的提前批,因为内推没有具体的岗位,hr又打电话问要不要考虑一下图形图像岗,我说实习投过这个岗位不合适,不会opengl和shador,然后hr就说秋招更看重基础。我当时
Java学习的正确打开方式
在博主认为,对于入门级学习java的最佳学习方法莫过于视频+博客+书籍+总结,前三者博主将淋漓尽致地挥毫于这篇博客文章中,至于总结在于个人,实际上越到后面你会发现学习的最好方式就是阅读参考官方文档其次就是国内的书籍,博客次之,这又是一个层次了,这里暂时不提后面再谈。博主将为各位入门java保驾护航,各位只管冲鸭!!!上天是公平的,只要不辜负时间,时间自然不会辜负你。 何谓学习?博主所理解的学习,它
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...
linux系列之常用运维命令整理笔录
本博客记录工作中需要的linux运维命令,大学时候开始接触linux,会一些基本操作,可是都没有整理起来,加上是做开发,不做运维,有些命令忘记了,所以现在整理成博客,当然vi,文件操作等就不介绍了,慢慢积累一些其它拓展的命令,博客不定时更新 顺便拉下票,我在参加csdn博客之星竞选,欢迎投票支持,每个QQ或者微信每天都可以投5票,扫二维码即可,http://m234140.nofollow.ax.
比特币原理详解
一、什么是比特币 比特币是一种电子货币,是一种基于密码学的货币,在2008年11月1日由中本聪发表比特币白皮书,文中提出了一种去中心化的电子记账系统,我们平时的电子现金是银行来记账,因为银行的背后是国家信用。去中心化电子记账系统是参与者共同记账。比特币可以防止主权危机、信用风险。其好处不多做赘述,这一层面介绍的文章很多,本文主要从更深层的技术原理角度进行介绍。 二、问题引入 假设现有4个人...
Python 基础(一):入门必备知识
目录1 标识符2 关键字3 引号4 编码5 输入输出6 缩进7 多行8 注释9 数据类型10 运算符10.1 常用运算符10.2 运算符优先级 1 标识符 标识符是编程时使用的名字,用于给变量、函数、语句块等命名,Python 中标识符由字母、数字、下划线组成,不能以数字开头,区分大小写。 以下划线开头的标识符有特殊含义,单下划线开头的标识符,如:_xxx ,表示不能直接访问的类属性,需通过类提供
这30个CSS选择器,你必须熟记(上)
关注前端达人,与你共同进步CSS的魅力就是让我们前端工程师像设计师一样进行网页的设计,我们能轻而易举的改变颜色、布局、制作出漂亮的影音效果等等,我们只需要改几行代码,不需...
国产开源API网关项目进入Apache孵化器:APISIX
点击蓝色“程序猿DD”关注我回复“资源”获取独家整理的学习资料!近日,又有一个开源项目加入了这个Java开源界大名鼎鼎的Apache基金会,开始进行孵化器。项目名称:AP...
程序员接私活怎样防止做完了不给钱?
首先跟大家说明一点,我们做 IT 类的外包开发,是非标品开发,所以很有可能在开发过程中会有这样那样的需求修改,而这种需求修改很容易造成扯皮,进而影响到费用支付,甚至出现做完了项目收不到钱的情况。 那么,怎么保证自己的薪酬安全呢? 我们在开工前,一定要做好一些证据方面的准备(也就是“讨薪”的理论依据),这其中最重要的就是需求文档和验收标准。一定要让需求方提供这两个文档资料作为开发的基础。之后开发
网页实现一个简单的音乐播放器(大佬别看。(⊙﹏⊙))
今天闲着无事,就想写点东西。然后听了下歌,就打算写个播放器。 于是乎用h5 audio的加上js简单的播放器完工了。 欢迎 改进 留言。 演示地点跳到演示地点 html代码如下`&lt;!DOCTYPE html&gt; &lt;html&gt; &lt;head&gt; &lt;title&gt;music&lt;/title&gt; &lt;meta charset="utf-8"&gt
Python十大装B语法
Python 是一种代表简单思想的语言,其语法相对简单,很容易上手。不过,如果就此小视 Python 语法的精妙和深邃,那就大错特错了。本文精心筛选了最能展现 Python 语法之精妙的十个知识点,并附上详细的实例代码。如能在实战中融会贯通、灵活使用,必将使代码更为精炼、高效,同时也会极大提升代码B格,使之看上去更老练,读起来更优雅。 1. for - else 什么?不是 if 和 else 才
数据库优化 - SQL优化
前面一篇文章从实例的角度进行数据库优化,通过配置一些参数让数据库性能达到最优。但是一些“不好”的SQL也会导致数据库查询变慢,影响业务流程。本文从SQL角度进行数据库优化,提升SQL运行效率。 判断问题SQL 判断SQL是否有问题时可以通过两个表象进行判断: 系统级别表象 CPU消耗严重 IO等待严重 页面响应时间过长
2019年11月中国大陆编程语言排行榜
2019年11月2日,我统计了某招聘网站,获得有效程序员招聘数据9万条。针对招聘信息,提取编程语言关键字,并统计如下: 编程语言比例 rank pl_ percentage 1 java 33.62% 2 c/c++ 16.42% 3 c_sharp 12.82% 4 javascript 12.31% 5 python 7.93% 6 go 7.25% 7
通俗易懂地给女朋友讲:线程池的内部原理
餐厅的约会 餐盘在灯光的照耀下格外晶莹洁白,女朋友拿起红酒杯轻轻地抿了一小口,对我说:“经常听你说线程池,到底线程池到底是个什么原理?”我楞了一下,心里想女朋友今天是怎么了,怎么突然问出这么专业的问题,但做为一个专业人士在女朋友面前也不能露怯啊,想了一下便说:“我先给你讲讲我前同事老王的故事吧!” 大龄程序员老王 老王是一个已经北漂十多年的程序员,岁数大了,加班加不动了,升迁也无望,于是拿着手里
经典算法(5)杨辉三角
杨辉三角 是经典算法,这篇博客对它的算法思想进行了讲解,并有完整的代码实现。
编写Spring MVC控制器的14个技巧
本期目录 1.使用@Controller构造型 2.实现控制器接口 3.扩展AbstractController类 4.为处理程序方法指定URL映射 5.为处理程序方法指定HTTP请求方法 6.将请求参数映射到处理程序方法 7.返回模型和视图 8.将对象放入模型 9.处理程序方法中的重定向 10.处理表格提交和表格验证 11.处理文件上传 12.在控制器中自动装配业务类 ...
腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹?
昨天,有网友私信我,说去阿里面试,彻底的被打击到了。问了为什么网上大量使用ThreadLocal的源码都会加上private static?他被难住了,因为他从来都没有考虑过这个问题。无独有偶,今天笔者又发现有网友吐槽了一道腾讯的面试题,我们一起来看看。 腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹? 在互联网职场论坛,一名程序员发帖求助到。二面腾讯,其中一个算法题:64匹
面试官:你连RESTful都不知道我怎么敢要你?
面试官:了解RESTful吗? 我:听说过。 面试官:那什么是RESTful? 我:就是用起来很规范,挺好的 面试官:是RESTful挺好的,还是自我感觉挺好的 我:都挺好的。 面试官:… 把门关上。 我:… 要干嘛?先关上再说。 面试官:我说出去把门关上。 我:what ?,夺门而去 文章目录01 前言02 RESTful的来源03 RESTful6大原则1. C-S架构2. 无状态3.统一的接
求小姐姐抠图竟遭白眼?痛定思痛,我决定用 Python 自力更生!
点击蓝色“Python空间”关注我丫加个“星标”,每天一起快乐的学习大家好,我是 Rocky0429,一个刚恰完午饭,正在用刷网页浪费生命的蒟蒻...一堆堆无聊八卦信息的网页内容慢慢使我的双眼模糊,一个哈欠打出了三斤老泪,就在此时我看到了一张图片:是谁!是谁把我女朋友的照片放出来的!awsl!太好看了叭...等等,那个背景上的一堆鬼画符是什么鬼?!真是看不下去!叔叔婶婶能忍,隔壁老王的三姨妈的四表...
为啥国人偏爱Mybatis,而老外喜欢Hibernate/JPA呢?
关于SQL和ORM的争论,永远都不会终止,我也一直在思考这个问题。昨天又跟群里的小伙伴进行了一番讨论,感触还是有一些,于是就有了今天这篇文。 声明:本文不会下关于Mybatis和JPA两个持久层框架哪个更好这样的结论。只是摆事实,讲道理,所以,请各位看官勿喷。 一、事件起因 关于Mybatis和JPA孰优孰劣的问题,争论已经很多年了。一直也没有结论,毕竟每个人的喜好和习惯是大不相同的。我也看
SQL-小白最佳入门sql查询一
不要偷偷的查询我的个人资料,即使你再喜欢我,也不要这样,真的不好;
项目中的if else太多了,该怎么重构?
介绍 最近跟着公司的大佬开发了一款IM系统,类似QQ和微信哈,就是聊天软件。我们有一部分业务逻辑是这样的 if (msgType = "文本") { // dosomething } else if(msgType = "图片") { // doshomething } else if(msgType = "视频") { // doshomething } else { // doshom...
致 Python 初学者
欢迎来到“Python进阶”专栏!来到这里的每一位同学,应该大致上学习了很多 Python 的基础知识,正在努力成长的过程中。在此期间,一定遇到了很多的困惑,对未来的学习方向感到迷茫。我非常理解你们所面临的处境。我从2007年开始接触 python 这门编程语言,从2009年开始单一使用 python 应对所有的开发工作,直至今天。回顾自己的学习过程,也曾经遇到过无数的困难,也曾经迷茫过、困惑过。开办这个专栏,正是为了帮助像我当年一样困惑的 Python 初学者走出困境、快速成长。希望我的经验能真正帮到你
“狗屁不通文章生成器”登顶GitHub热榜,分分钟写出万字形式主义大作
一、垃圾文字生成器介绍 最近在浏览GitHub的时候,发现了这样一个骨骼清奇的雷人项目,而且热度还特别高。 项目中文名:狗屁不通文章生成器 项目英文名:BullshitGenerator 根据作者的介绍,他是偶尔需要一些中文文字用于GUI开发时测试文本渲染,因此开发了这个废话生成器。但由于生成的废话实在是太过富于哲理,所以最近已经被小伙伴们给玩坏了。 他的文风可能是这样的: 你发现,...
程序员:我终于知道post和get的区别
是一个老生常谈的话题,然而随着不断的学习,对于以前的认识有很多误区,所以还是需要不断地总结的,学而时习之,不亦说乎
《程序人生》系列-这个程序员只用了20行代码就拿了冠军
你知道的越多,你不知道的越多 点赞再看,养成习惯GitHub上已经开源https://github.com/JavaFamily,有一线大厂面试点脑图,欢迎Star和完善 前言 这一期不算《吊打面试官》系列的,所有没前言我直接开始。 絮叨 本来应该是没有这期的,看过我上期的小伙伴应该是知道的嘛,双十一比较忙嘛,要值班又要去帮忙拍摄年会的视频素材,还得搞个程序员一天的Vlog,还要写BU...
相关热词 c# 输入ip c# 乱码 报表 c#选择结构应用基本算法 c# 收到udp包后回包 c#oracle 头文件 c# 序列化对象 自定义 c# tcp 心跳 c# ice连接服务端 c# md5 解密 c# 文字导航控件
立即提问