python 爬虫利用urllib.request.urlretrieve() 保存图片在本地,图片没有内容

我用Jupyter Notebook爬取了需要保存的图片的url,但是利用urllib.request.urlretrieve() 将图片保存到本地,图片没有内容,该url使用360浏览器打开也是没有内容的图片(和我保存在本地一样),但是用goole打开就是正常的图片。

相关代码
url='http://www.jj20.com/bz/zrfg/d...'
response=urllib.request.urlopen(url)
html=response.read().decode('gb2312')

soup=BeautifulSoup(html,'lxml')
data=soup.select('body > div.wzfz.top-main.fix > div > ul.pic2.vvi.fix')
data2=re.findall('src="(.+?)" width',str(data))
data2 #此处得到了图片链接的一个列表
图片说明

x=0
for itemm in data2:
print(itemm)
urllib.request.urlretrieve(itemm,'C:\Users\Administrator\Desktop\pachong2\%s.jpg'%x)
x+=1 #通过链接保存图片到本地

代码完毕,运行不报错,但保存的图片却是加密图片,如下
图片说明我用360浏览器打开这些url也是显示这个,但是用goole打开就是正常的图片。如下:
图片说明

我百度了好多相关内容,但和别人的出错结果都不一样,想知道这种情况是怎么回事,为什么360浏览器打开是这样的,还有就是要怎么才能通过goole浏览器把图片下载下来呢。

4个回答

←如果以下回答对你有帮助,请点击右边的向上箭头及采纳下答案

因为网站做了反爬,无法直接打开图片连接,还有User-Agent的身份验证,所以加入请求头去下载就可以了


import requests

s=requests.session()
headers={
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'Accept-Encoding':'gzip, deflate',
'Accept-Language':'zh-CN,zh;q=0.9',
'Cache-Control':'max-age=0',
'Connection':'keep-alive',
'Host':'www.jj20.com',
'If-Modified-Since':'Fri, 21 Dec 2018 03:58:29 GMT',
'If-None-Match':'"cf51d66ee198d41:0"',
'Upgrade-Insecure-Requests':'1',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.15 Safari/537.36',
}
s.headers.update(headers)
url=r'http://img.jj20.com/up/allimg/1111/052QQ64447/1P52Q64447-1-lp.jpg'
html=s.get(url=url)
print(html.text)
with open('picture.jpg', 'wb') as file:
    file.write(html.content)

原因:
网站做了防止盗链等反爬措施,导致不能直接通过链接爬取
解决办法
使用代理
如更换user-agant cookie referer等请求头

报错https的请求内容,会报ssl错误咋个解决呢?

url='http://www.jj20.com/bz/zrfg/d...'
修改为 url='http://www.jj20.com/bz/zrfg/
urllib.request.urlretrieve(itemm,'C:\Users\Administrator\Desktop\pachong2\%s.jpg'%x)
C:\Users\Administrator\Desktop\pachong2\ 这个文件夹是否存在?
我改为我电脑上有的文件夹,就正常了。可以时、现在没有了反爬机制吧

还有一句,
data=soup.select('body > div.g-box-1200 ')

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
python 3 报错 urllib.error.URLError: <urlopen error unknown url type: "http>

尝试爬取新浪首页新闻到本地 程序报错 源码为: import urllib.request,re url="https://www.sina.com.cn/" req=urllib.request.Request(url) req.add_header("User-Agent","马赛克") pat1='<a target="_blank" href=(.*?)>.*?</a>' data1=urllib.request.urlopen(req).read().decode("UTF-8","ignore") allink=re.compile(pat1).findall(data1) for i in range(0,len(allink)): thislink=allink[i] pat2='<frame src=(.*?)>' req2=urllib.request.Request(url) req2.add_header("User-Agent","Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:65.0) Gecko/20100101 Firefox/65.0") thispage=urllib.request.urlopen(req2).read().decode("UTF-8","ignore") isframe=re.compile(pat2).findall(thispage) if len(isframe)==0: urllib.request.urlretrieve(thislink,"data/"+str(i)+".html") else: flink=isframe[0] urllib.request.urlretrieve(flink,"data/"+str(i)+".html") 报错信息: Traceback (most recent call last): File "/Users/tanzhouyan/Desktop/python/新闻爬虫.py", line 73, in <module> urllib.request.urlretrieve(thislink,"data/"+str(i)+".html") File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 247, in urlretrieve with contextlib.closing(urlopen(url, data)) as fp: File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 222, in urlopen return opener.open(url, data, timeout) File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 525, in open response = self._open(req, data) File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 548, in _open 'unknown_open', req) File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 503, in _call_chain result = func(*args) File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 1387, in unknown_open raise URLError('unknown url type: %s' % type) urllib.error.URLError: <urlopen error unknown url type: "http> 在网上一直没有找到解决方法,谢谢大家~

urllib.request.build_opener()的作用是什么,为什么要用这个函数创建一个实例化对象

opener = urllib.request.build_opener() # 请求头 opener.addheaders = [ # ('Host', 'upos-hz-mirrorks3.acgvideo.com'), #注意修改host,不用也行 ('User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.13; rv:56.0) Gecko/20100101 Firefox/56.0'), ('Accept', '*/*'), ('Accept-Language', 'en-US,en;q=0.5'), ('Accept-Encoding', 'gzip, deflate, br'), ('Range', 'bytes=0-'), # Range 的值要为 bytes=0- 才能下载完整视频 ('Referer', start_url), # 注意修改referer,必须要加的! ('Origin', 'https://www.baidu.com'), ('Connection', 'keep-alive'), ] urllib.request.install_opener(opener) 以上是部分代码片段

请问写python爬虫如何用urllib或者requests模拟用户登录

比如我在百度文库下个课件,http://youke.baidu.com/view/05984a27b4daa58da0114ac6, 我用urllib2或者request,我可以用urllib2.open(url)或者requests.get(url)来打开页面,但是不知道如何写cookie的,就是让浏览器认为你已经登录了,请问如何写urllib或者requests.get呢?谢谢

Python-爬虫下载图片时报错

我写了一个简单的python(python3.5)爬虫 网站用代码可以访问 但是用 **_urllib.request.urlretrieve _**时出现了以下错误 **_ValueError: not enough values to unpack (expected 2, got 1)_** 我已经确认这是 下载那一行出的错了 但不知道为什么会这样报错 ![图片说明](https://img-ask.csdn.net/upload/201708/17/1502940585_15928.jpg) ![图片说明](https://img-ask.csdn.net/upload/201708/17/1502940695_821913.jpg) **求解决方法** **小白在此谢过!**

python3爬虫遇到报错 “urlopen error no host given”

程序是爬百度图片搜索范冰冰的所有图片。Notepad已经选择了UTF8编码,URL地址也没有回车分行。 直接上代码如下: import urllib.request import re import sys import os import urllib import ssl #根据给定的网址来获取网页详细信息,得到的html就是网页的源代码 def getHtml(url): page = urllib.request.urlopen(url) html = page.read() return html.decode('utf-8') def getImg(html): imglist = re.findall('"ObjURL":"(.*?)",', html, re.S)#表示在整个网页中过滤出所有图片的地址,放在imglist中 x = 0 path = 'D:\\test' # 将图片保存到D:\\test文件夹中,如果没有test文件夹则创建 if not os.path.isdir(path): os.makedirs(path) paths = path+'\\' #保存在test路径下 for imgurl in imglist: urllib.request.urlretrieve(imgurl,'D:\\test\\%s.jpg' % x) #打开imglist中保存的图片网址,并下载图片保存在本地,format格式化字符串 x = x + 1 return imglist url="http://image.baidu.com/search/index?tn=baiduimage&ps=1&ct=201326592&lm=-1&cl=2&nc=1&ie=utf-8&word=%E8%8C%83%E5%86%B0%E5%86%B0" html=getHtml(url) print (getImg(html)) #从网页源代码中分析并下载保存图片

Python使用urllib2 urlopen打开网页不正确

``` #!/usr/bin/python # -*- coding: utf-8 -*- import urllib; import urllib2; import os; import sys; import shutil; def searchVT(): VTMainUrl = 'https://www.virustotal.com/en/#search'; headers = { 'accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'content-type':'application/x-www-form-urlencode', 'referer':'https://www.virustotal.com/', 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.101 Safari/537.36'}; postDict = {'query' : '18092AC0F4F694C60762DC98C9F66BC3',}; postData = urllib.urlencode(postDict); req = urllib2.Request(VTMainUrl, postData, headers); try: respHtml = urllib2.urlopen(req).read(); except urllib2.URLError,e: if hasattr(e,"reason"): print "Failed to reach the server" print "The reason:",e.reason elif hasattr(e,"code"): print "The server couldn't fulfill the request" print "Error code:",e.code print "Return content:",e.read() else: pass #其他异常的处理 file_object = open('thefile.txt', 'w') file_object.write(respHtml) file_object.close( ) print respHtml; return respHtml; if __name__=="__main__": searchVT(); ``` 最近使用urllib2 urlopen尝试打开VT网页并进行使用MD5查询,但是不知道为什么返回的网页为空,求大神赐教~

python报错:requests.exceptions.ConnectionError: ('Connection aborted.', OSError("(10060, 'WSAETIMEDOUT')"))

代码如下: ``` #!/usr/bin/env python # coding=utf-8 #import importlib,sys #import sys #sys.setdefaultencoding('gbk') from urllib.parse import quote '''import sys import imp import sys reload(sys) sys.setdefaultencoding('utf8') ''' ''' import urllib import urllib2 import requests import sys sys.setdefaultencoding('utf-8') import jieba import json''' #from bs4 import BeautifulSoup import urllib.request import urllib.parse as parse import ssl import re import os,os.path import codecs import requests def getText(html): '''headers = {'Host': 'https://pypi.org','User-Agent':'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER','Referer': 'https://pypi.org/search/?c=Programming+Language+%3A%3A+Python+%3A%3A+3', 'Connection': 'keep-alive', 'Upgrade-Insecure-Requests': '1', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'Accept-Encoding': 'gzip, deflate, sdch, br', 'Accept-Language': 'zh-CN,zh;q=0.8'} #req = urllib.urlretrieve(download_url,headers=headers) ''' #urllib.request.urlopen('https://www.lfd.uci.edu/~gohlke/pythonlibs/') #req = urllib.request.Request(url=url,headers=header) #headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'} #import requests res = requests.get(html) res.encoding = 'utf-8' #print(res.text) words=res.text ''' soup = BeautifulSoup(res.text, "html.parser") words = "" for a1 in soup.find_all("a"): words = words + str(a1.string) ''' return words def file(url1,file_name,name): print(url1) headers = {'Host': 'https://files.pythonhosted.org/packages/','User-Agent':'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER','Referer': 'https://pypi.org/', 'Connection': 'keep-alive', 'Upgrade-Insecure-Requests': '1', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'Accept-Encoding': 'gzip, deflate, sdch, br', 'Accept-Language': 'zh-CN,zh;q=0.8'} #req = urllib.urlretrieve(download_url,headers=headers) #urllib.request.urlopen('https://www.lfd.uci.edu/~gohlke/pythonlibs/') #req = urllib.request.Request(url=url,headers=header) request = requests.get(url=url1,headers=headers) #response = urllib.request.urlopen(request) global i i += 1 print(request.content) file = open(name ,'wb+') file.write(request.content) file.close() print(file_name) print("Completed : .... %d ..." % x) '''for i in range(len(name_list)): j=0 if name_list[i-24:i+1]=='https://pypi.org/project/': name_list1.append(name_list[i+1:i+60])''' def get(url): global name_list1 res=getText(url) #print('\n\n\n\n\n\nok\n\n\n\n\n\n\n\n\n\n') #name_list = getText(url) #print(res) print('html done,page:'+str(count)+'\n') for i in range(len(res)): #j=0 if (res[i-8:i+1]=='/project/')==True: name_list1.append('https://pypi.org'+res[i-8:i+20]) #print(name_list1) def trim(list1): k=0 list2=[] for i in list1: j=25 while j<len(list1[k]): if list1[k][j]=='/': list2.append(list1[k][0:j]) break j+=1 k+=1 return list2 def get1(url): """o=0 for n in len(url): if url[n]=='"': url=url[0:n-1]+'#files' """ global namelist url=url+'#files' #import requests res = requests.get(url) res.encoding = 'utf-8' #print(res.text) html=res.text for p in range(len(html)): stri='https://files' if html[p-len(stri):p]==stri: namelist.append(html[p-len(stri):p+170]) import httplib2 as httplib httplib.HTTPConnection._http_vsn = 10 httplib.HTTPConnection._http_vsn_str = 'HTTP/1.0' ''' #-*- coding:utf-8 -*- import time import hmac import hashlib import requests import json import mysql.connector import requests import httplib2 as httplib import urllib from urllib import unquote import json def query_total_flow(): header = {"Content-Type": "application/json", 'Connection': 'close', 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'} post_data = { "operator": "xxxxxx", # 调用系统的名字 "type": "set", "set_id": [1], "set_name": [], "feature_type": ["入流量"], "date": "2019-06-15", "begintime": "23:55", "endtime": "23:59", } url = "http://xxx.xxx.xxx.xxx:80/xxxxx/xxxxx/xxxxx.cgi/json?" post_data = json.dumps(post_data, ensure_ascii=False, separators=(',',':')) print (post_data) # url = url + post_data url = url + urllib.urlencode({'data': post_data}) # data = urllib.urlencode({'data': post_data}) # print post_data # print data data = unquote(url) try: # print data print (data) response = requests.get(url, json=data, timeout=60, headers=header) print (response.headers) print (response.url) print (response.text.encode('utf-8')) if response['code'] != 0: result_dict = json.loads(response.text) data = result_dict["data"] print(data) print(data) set_info = [] return response raise exp_with_err_instance(err.RESULT_ERROR, 'can not find inst info') print ("none!") return [] except Exception as e: print ("Exception") raise if __name__ == "__main__": query_total_flow() ''' save_path = os.getcwd() ''' url = 'https://pypi.org/search/?c=Programming+Language+%3A%3A+Python+%3A%3A+3' name_list = getText(url) print(name_list) print('html done') #html.decode('utf-8') #print(name_list)''' x=1 files=os.listdir(save_path) #print(files) #print(type(name_list)) name_list1=[] #print(name_list) #for name in name_list: k=0 # name[k]=str(name1[k]) '''for i in range(len(name_list)): j=0 if name_list[i-25:i+1]=='https://pypi.org/project/': name_list1.append(name_list[i-25:i+20]) for u in range(len(name_list1[len(name_list1)])): if name_list1[len(name_list1)][u]==' ': name_list1[len(name_list1)]=name_list1[len(name_list1)][0:u-1] ''' global count count=2 name_list1=[] for count in range(51): get('https://pypi.org/search/?c=Programming+Language+%3A%3A+Python+%3A%3A+3&page='+str(count)) """ global m if k<len(name_list1): for l in range(len(name_list1[k])): if l-9>=0: if name_list1[k][l-4:l]=='.whl' or name_list1[k][l-3:l]=='.gz' or name_list1[k][l-4:l]=='.zip': j=1 m=l if j==1: name_list1[k]=name_list1[k][0:m] k+=1""" '''if j==0: name_list.remove(name)''' #file_name = os.path.join(save_path ,name) #i=0 #print(name) #print(name_list1) namelist=[] h=0 for y in trim(name_list1): get1(y) #print(namelist) '''if h==3: break''' h+=1 i=0 for name in namelist: j=0 for l in range(len(name)): if l-9>=0: if name[l-4:l]=='.whl' or name[l-3:l]=='.gz' or name[l-4:l]=='.zip': j=1 m=l break if j==1: name=name[0:m] k+=1 while m>0: if m<len(name): if name[m]=='/': filename=name[m+1:len(name)]#p] break m-=1 if filename in files: continue '''if name=='Delny‑0.4.1‑cp27‑none‑win_amd64.whl</a></li>\n<li>' or name==Delny‑0.4.1‑cp27‑none‑win32.whl</a></li> </ul> </: continue ''' print('no:'+str(x)) print('\ndownload '+name) # importlib.reload(sys) #imp.reload(sys) for l in range(len(name)): if l-9>=0: if name[l-4:l]=='.whl' or name[l-3:l]=='.gz' or name[l-4:l]=='.zip': j=1 m=l break if j==1: name=name[0:m] k+=1 p=m #string='https://download.lfd.uci.edu/pythonlibs/s2jqpv5t/' + name#[0:4+name.find('.whl')]#https://download.lfd.uci.edu/pythonlibs/s2jqpv5t/ print('00'+save_path) #file(name,save_path,filename) url1=name +'/' + filename url1=url1.encode() name=filename file_name=save_path #file = open(name ,'wb+') #file.write(url1 ) #file.close() #print(file_name) headers = {'Host': 'https://files.pythonhosted.org/packages/','User-Agent':'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER','Referer': 'https://pypi.org/', 'Connection': 'keep-alive', 'Upgrade-Insecure-Requests': '1', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'Accept-Encoding': 'gzip, deflate, sdch, br', 'Accept-Language': 'zh-CN,zh;q=0.8'} #req = urllib.urlretrieve(download_url,headers=headers) #urllib.request.urlopen('https://www.lfd.uci.edu/~gohlke/pythonlibs/') #req = urllib.request.Request(url=url,headers=header) #request = urllib.request.urlopen(url1) #response = urllib.request.urlopen(request) urllib.request.urlretrieve(url1.decode(),name) i += 1 print(url1.decode()) #file = open(name ,'wt+') #file.write(str(req.content())) #file.close() print(file_name) print("Completed : .... %d ..." % x) '''for i in range(len(name_list)): j=0 if name_list[i-24:i+1]=='https://pypi.org/project/': name_list1.append(name_list[i+1:i+60])''' print('\n........'+filename+'..........complete\n') x=x+1 print('09') print('finished') ``` 报错: Python 3.8.0 (tags/v3.8.0:fa919fd, Oct 14 2019, 19:37:50) [MSC v.1916 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license()" for more information. >>> ===================== RESTART: E:\2345Downloads\版本2下载whl.py ==================== Traceback (most recent call last): File "E:\2345Downloads\版本2下载whl.py", line 154, in <module> httplib.HTTPConnection._http_vsn = 10 AttributeError: module 'httplib2' has no attribute 'HTTPConnection' >>> 如果不加 ``` import httplib2 as httplib httplib.HTTPConnection._http_vsn = 10 httplib.HTTPConnection._http_vsn_str = 'HTTP/1.0' ``` 就会 Traceback (most recent call last): File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\site-packages\urllib3\connectionpool.py", line 665, in urlopen httplib_response = self._make_request( File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\site-packages\urllib3\connectionpool.py", line 421, in _make_request six.raise_from(e, None) File "<string>", line 3, in raise_from File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\site-packages\urllib3\connectionpool.py", line 416, in _make_request httplib_response = conn.getresponse() File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\http\client.py", line 1322, in getresponse response.begin() File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\http\client.py", line 303, in begin version, status, reason = self._read_status() File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\http\client.py", line 264, in _read_status line = str(self.fp.readline(_MAXLINE + 1), "iso-8859-1") File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\socket.py", line 669, in readinto return self._sock.recv_into(b) File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\site-packages\urllib3\contrib\pyopenssl.py", line 318, in recv_into raise SocketError(str(e)) OSError: (10060, 'WSAETIMEDOUT') During handling of the above exception, another exception occurred: Traceback (most recent call last): File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\site-packages\requests\adapters.py", line 439, in send resp = conn.urlopen( File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\site-packages\urllib3\connectionpool.py", line 719, in urlopen retries = retries.increment( File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\site-packages\urllib3\util\retry.py", line 400, in increment raise six.reraise(type(error), error, _stacktrace) File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\site-packages\urllib3\packages\six.py", line 734, in reraise raise value.with_traceback(tb) File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\site-packages\urllib3\connectionpool.py", line 665, in urlopen httplib_response = self._make_request( File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\site-packages\urllib3\connectionpool.py", line 421, in _make_request six.raise_from(e, None) File "<string>", line 3, in raise_from File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\site-packages\urllib3\connectionpool.py", line 416, in _make_request httplib_response = conn.getresponse() File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\http\client.py", line 1322, in getresponse response.begin() File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\http\client.py", line 303, in begin version, status, reason = self._read_status() File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\http\client.py", line 264, in _read_status line = str(self.fp.readline(_MAXLINE + 1), "iso-8859-1") File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\socket.py", line 669, in readinto return self._sock.recv_into(b) File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\site-packages\urllib3\contrib\pyopenssl.py", line 318, in recv_into raise SocketError(str(e)) urllib3.exceptions.ProtocolError: ('Connection aborted.', OSError("(10060, 'WSAETIMEDOUT')")) During handling of the above exception, another exception occurred: Traceback (most recent call last): File "E:\2345Downloads\版本2下载whl.py", line 282, in <module> get1(y) File "E:\2345Downloads\版本2下载whl.py", line 141, in get1 res = requests.get(url) File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\site-packages\requests\api.py", line 75, in get return request('get', url, params=params, **kwargs) File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\site-packages\requests\api.py", line 60, in request return session.request(method=method, url=url, **kwargs) File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\site-packages\requests\sessions.py", line 533, in request resp = self.send(prep, **send_kwargs) File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\site-packages\requests\sessions.py", line 646, in send r = adapter.send(request, **kwargs) File "C:\Users\ASUS\AppData\Local\Programs\Python\Python38\lib\site-packages\requests\adapters.py", line 498, in send raise ConnectionError(err, request=request) requests.exceptions.ConnectionError: ('Connection aborted.', OSError("(10060, 'WSAETIMEDOUT')")) 求高手解决

学习网络爬虫时遇到的问题,求解

#爬取京东上鞋子的图片,代码如下: ``` import urllib.request import re def craw(url,page): html1=urllib.request.urlopen(url).read().decode('utf-8','ignore') html1=str(html1) pat1='<div id="J_goodsList"(.*?)<ul class="clearfix" data-x="ab">' result1=re.compile(pat1).findall(html1) result1=result1[0] pat2='<img class="err-product" data-img="1" data-img="1" src="//(.*?).jpg"' imagelist=re.compile(pat2).findall(result1) x=1 for imageurl in imagelist: imagename='E:/PyCharm/python_pycharm/爬取数据/img/'+str(page)+str(x)+'.jpg' imageurl='http://'+imageurl try: urllib.request.urlretrieve(imageurl,filename=imagename) except urllib.error.URLError as e: if hasattr(e,'code'): x+=1 if hasattr(e,'reason'): x+=1 x+=1 for i in range(1,32): url='http://coll.jd.com/list.html?sub=51044&page='+str(i) craw(url,i) ``` 运行后,报错: ``` ========== RESTART: E:\PyCharm\python_pycharm\爬取数据\IDLE代码\shoes.py ========== Traceback (most recent call last): File "E:\PyCharm\python_pycharm\爬取数据\IDLE代码\shoes.py", line 25, in <module> craw(url,i) File "E:\PyCharm\python_pycharm\爬取数据\IDLE代码\shoes.py", line 8, in craw result1=result1[0] IndexError: list index out of range >>> ``` 求大神解答,谢谢!

在学python爬虫时遇到个问题,求解答

``` #! /usr/bin/env python # -*- coding: utf-8 -*- import urllib import urllib2 import re def craw(url, page): html1 = urllib2.Request(url) response = urllib2.urlopen(html1).read() response = str(response) pat1 = '<img width="220" height="220" class="err-product" data-img="1" src="//.+?" />' imagelist = re.compile(pat1).findall(response) x = 1 for imageurl in imagelist: imagename = "D:/手表/" + str(page) + str(x) + ".jpg" imagesurl = "http://" + imageurl try: urllib.urlretrieve(imagesurl, filename = imagename) except urllib2.URLError as e: if hasattr(e, "code"): x += 1 if hasattr(e, "reason"): x += 1 x += 1 for i in range(2,6): url = "https://search.jd.com/Search?keyword=手表%20男&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&suggest=1.def.0.V16&wq=手表&page=" + str(i) craw(url, i) 运行,开始报错: Traceback (most recent call last): File "C:/Users/JIE/Desktop/py file/����ѵ��.py", line 30, in <module> craw(url, i) File "C:/Users/JIE/Desktop/py file/����ѵ��.py", line 20, in craw urllib.urlretrieve(imagesurl, filename = imagename) File "C:\Python27\lib\urllib.py", line 91, in urlretrieve return _urlopener.retrieve(url, filename, reporthook, data) File "C:\Python27\lib\urllib.py", line 237, in retrieve fp = self.open(url, data) File "C:\Python27\lib\urllib.py", line 205, in open return getattr(self, name)(url) File "C:\Python27\lib\urllib.py", line 342, in open_http h.endheaders(data) File "C:\Python27\lib\httplib.py", line 951, in endheaders self._send_output(message_body) File "C:\Python27\lib\httplib.py", line 811, in _send_output self.send(msg) File "C:\Python27\lib\httplib.py", line 773, in send self.connect() File "C:\Python27\lib\httplib.py", line 754, in connect self.timeout, self.source_address) File "C:\Python27\lib\socket.py", line 553, in create_connection for res in getaddrinfo(host, port, 0, SOCK_STREAM): IOError: [Errno socket error] [Errno 11001] getaddrinfo failed ```

python3 爬照片報錯TypeError: expected string or bytes-like object

``` #!/usr/local/bin/python3.7 import urllib.request as urlre import re def open_url(url): req = urlre.Request(url) req.add_header('User-Agent','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36') page = urlre.urlopen(req) html = page.read().decode('utf-8') print(type(html)) return html def get_img(html): p = r'src="(.+?\.jpg)" pic_ex' imgsa = re.compile(p) imglist = re.findall(imgsa,html) return imglist for each in imglist: print(each) x = 0 for each in imglist: urlre.urlretrieve(each,':\\%s.jpg' % x) x += 1 if __name__ == "__main__": url ='http://tieba.baidu.com/p/2460150866' get_img(open_url) ``` return _compile(pattern, flags).findall(string) TypeError: expected string or bytes-like object

urllib2.URLError: <urlopen error [Errno 104] Connection reset by peer>

python爬虫使用mechanize模拟登陆出现,求解决方法,没有在代码中添加代理ip,不知到如何解决,已经困扰我一上午了,不知道哪位大侠可以帮忙啊!

python爬虫爬取图片和图片的标题保存时出现IOError

import urllib import urllib2 import re import os #爬取索引页面源代码 siteURL='https://www.warningsignsdirect.co.uk/index.php?cPath=518' request=urllib2.Request(siteURL) response=urllib2.urlopen(request) page=response.read().decode('utf-8') print u"已爬取索引页面源代码" os.chdir("C:\Users\hey_fall\Desktop") #抓取页面中指定的图片 pattern=re.compile('<td align="center" class="smallText" width="33%" valign="middle"><a href=".*?"><img src=".*?" alt=".*?" title=".*?" .*? /><br><br>.*?</a><br><br><br><br></td>',re.S) content=re.findall(pattern,page) patternImg=re.compile('<img src="(.*?)"',re.S) images=re.findall(patternImg,str(content)) print u"已爬取该网页图片" #抓取图片的说明文本 patternIntroductions=re.compile('title="(.*?)"',re.S) Introductions=re.findall(patternIntroductions,str(content)) #去除匹配字符中的转义字符 number=0 for introduction in Introductions: Introductions[number]=str(introduction).replace('\\','') number+=1 print u"已爬取图片的说明文本" #抓取说明文本的标题 patternTitle=re.compile('<title>(.*?) </title>') Title=re.findall(patternTitle,page) print u"已爬取文本标题" #创建文件夹 path=os.getcwd() title=Title[0] new_path=os.path.join(path,title) if not os.path.isdir(new_path): os.makedirs(new_path) os.chdir(new_path) print u"已创建文件夹",new_path #保存图片的说明文本 IntroductionName=Title[0]+".txt" f=open(IntroductionName,'w+') for introduction in Introductions: f.write(introduction+'\n') f.close() print u"图片的说明文本已保存到",new_path #保存抓取到的图片 number=0 for imageURL in images: filename=Introductions[number]+'.jpg' url='https://www.warningsignsdirect.co.uk'+'/'+imageURL urllib.urlretrieve(url,filename) number+=1 print u"图片已保存到",new_path print u"该网页内容爬取完毕"

刚接触到爬虫,使用 re.findall()的时候老是抛出这个错误,是正则表达式的错误么?

代码如下: ``` import urllib.request import re def getHtml(url): page = urllib.request.urlopen(url) html = page.read() return html def getImg(html): reg = r'src="(.+?\.jpg)"pic_ext' imgre = re.compile(reg) imglist = re.findall(imgre,html) x = 0 for imgurl in imglist: urllib.urlretrieve(imgurl,'D:\E\%s.jpg' % x) x+=1 if __name__ == '__main__': html = getHtml("https://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=gb18030&word=%C3%C0%C5%AE&fr=ala&ala=1&alatpl=adress&pos=0&hs=2&xthttps=111111") print(getImg(html)) ``` 抛错是这样的: ``` File "E:/SRCS/python/DownPic/GetPic/GetPic.py", line 12, in getImg imglist = re.findall(imgre,html) File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36\lib\re.py", line 222, in findall return _compile(pattern, flags).findall(string) TypeError: cannot use a string pattern on a bytes-like object ```

python 爬虫 出现IOError错误

# -*- coding:utf-8 -*- #! /usr/bin/env python import urllib import urllib2 import re page = 1 url = 'http://www.qiushibaike.com/hot/page/' + str(page) user_agent = 'Mozilla/4.0(compatible;MSIE 5.5;Windows NT)' headers = {'User-Agent':user_agent} try: request = urllib2.Request(url,headers = headers) response = urllib2.urlopen(request) content = response.read().decode('utf-8','ignore') pattern = re.compile(r'<div.*?author.*?>*?<img.*?>.*?<a.*?title="(.*?)">.*?<div.*?>.*?(.*?)</div>', re.S) items = re.findall(pattern,content) for item in items: print item[0],item[1] except urllib2.URLError, e: if hasattr(e,"code"): print e.code if hasattr(e,"reason"): print e.reason ```![图片说明](https://img-ask.csdn.net/upload/201604/29/1461898513_494366.png) ```这是出现错误的信息,在powershell中设置chcp 65001就会出现IOError错误,设置成chcp 437或者936就会出现下面的乱码,请问是什么原因? ``` ```

爬虫爬取图片时爬取的不完整的相关问题

我想要爬取lol官网的一些特定图片,不管是英雄图标还是活动图标: ![图片说明](https://img-ask.csdn.net/upload/201902/16/1550320399_707744.jpg) ![图片说明](https://img-ask.csdn.net/upload/201902/16/1550320412_888600.jpg) 由于电脑截图出了点问题,所以只能手机拍照,不好意思。 可以看到这个网页里面有很多这种图片,而且sec都是有类似的格式,以//ossweb-img.qq.com开头 我想爬取这些图片 我的代码: ``` import os from urllib.request import urlopen from urllib.request import urlretrieve from bs4 import BeautifulSoup import re baseURL="http://lol.qq.com/main.shtml?ADTAG=lolweb.v3.index" html=urlopen("https://lol.qq.com/main.shtml?ADTAG=lolweb.v3.index") bsobj=BeautifulSoup(html,"lxml") downloadlist=bsobj.findAll(src=re.compile(".*ossweb-img.qq.com.*png")) print(downloadlist) a=1 def cbk(a,b,c): 下载进度函数 per=100.0*a*b/c if per>=100: per=100 print ('%.2f'%per) for download in downloadlist: fileURL=download['src'] if fileURL is not None: fileURL="http:"+fileURL print(fileURL) urlretrieve(fileURL,"download"+str(a)+".png",cbk) a=a+1 ``` 但是它只下载了该网页第一个div容器里的图片,其他的都没下载,这时为什么

在python爬虫爬网站的时候返回Access denied怎么办

#coding=utf-8 import urllib import re def getHtml(url): page = urllib.urlopen(url) html = page.read() return html html = getHtml("http://www.xxx.com/ ") f = file('html.txt','w') f.write(html) f.close() 返回的Access denied。。查了以下是浏览器不被支持。但是在爬虫下要怎么写?

python爬虫执行后报urlopen() got an unexpected keyword argument 'headers'

``` url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule" headers = {} headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36' data = {} data['i'] = "植树造林" data['from'] = "AUTO" data['to'] = "AUTO" data['smartresult'] = "dict" data['client'] = "fanyideskweb" data['salt'] = "15579873044011" data['sign'] = "dccd15e2e8612d18407aa2b8af294" data['ts'] = "1557987304401" data['bv'] = "e3c02aca4dd13bbb3f44d334e1eb3d08" data['doctype'] = "json" data['version'] = "2.1" data['keyfrom'] = "fanyi.web" data['action'] = "FY_BY_REALTlME" data = urllib.parse.urlencode(data).encode("utf-8") response = urllib.request.urlopen(url=url, data=data, headers=headers, method='POST') html = json.loads(response.read().decode("utf-8")) print(html['translateResult'][0][0]['tgt']) ``` 把header去掉又可以运行了 不知道这是为什么

python爬取需要登录的网站并获取下载链接进行下载

import requests from lxml import html import sys from you_get import common as you_get import urllib.request # import urllib.request as urllib2 import re from urllib import parse import os import sys from you_get import common as you_get #导入you-get库 import urllib from urllib import request import requests from bs4 import BeautifulSoup import json from bs4 import BeautifulSoup from six.moves import urllib #从登录页面携带cookie进行登录 import urllib.request url1 = "http://club.dearedu.com/member/index.php" headers = {'User-Agent': "Mozilla/5.0 (iPad; CPU OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1", 'cookie': "__jsluid_h=8e388e30d16bb1e10f73865f9a77e413; UM_distinctid=16bbf9691e24c3-0a6e0f5e007e47-3c604504-1fa400-16bbf9691e33c2; __guid=42770979.3940818425674125000.1562312902694.094; Hm_lvt_482d1a083f7aef77357d5a920988d5ac=1562287444,1562334791,1563864719; PHPSESSID=gu3663kt6ao1gh67nbh6d9cqg0; DedeUserID=9058331; DedeUserID__ckMd5=63c93468fbe47b82; DedeLoginTime=1563865398; DedeLoginTime__ckMd5=53ce53c6df5208fd; UCenter_username=llabc199262; UCenter_uid=9056889; Example_auth=8b2eRflplt%2FzXmqHdAmQ4QwVNJ14wO1lJNnWLUr9EsZnXAxyIMu%2Fcdi8wB%2B5Zdf%2B; monitor_count=2; Hm_lpvt_482d1a083f7aef77357d5a920988d5ac=1563865400"} req = urllib.request.Request(url=url1, headers=headers) response = urllib.request.urlopen(req) with open(r"D:\SW file\pycharm file\400集\爬虫\教育文档\第二教育网\a.html", 'w', encoding='utf-8') as f: f.write(response.read().decode('gbk')) #登录成功后进入相关页面,爬取页面中的下载地址并进行下载 def bCrawler(url): req = urllib.request.Request(url=url, headers=headers) # 拿出的是字典 response1 = urllib.request.urlopen(req) # HtmlStr = response1.read().encode('utf-8', 'ignore').replace(u'\0xa3', u'') HtmlStr = response1.read().decode('utf-8', 'ignore').replace(u'\0xa3', u'') # print(HtmlStr) pat = r'zid=(.*?)&price=0" class="layui-btn">' re_img = re.compile(pat,re.S) bList = re_img.findall(HtmlStr) print(bList) print(len(bList)) for bUrl in bList: url5 = "http://club.dearedu.com/member/down_gb_iweike.php?zid=" + bUrl + "&price=0" print(url5) f1 = requests.get(url5,headers=headers) with open(r"D:\SW file\pycharm file\400集\爬虫\教育文档\第二教育网\a.doc","a+") as f: #encoding="utf-8" f.write(f1.content) url = r"http://s.dearedu.com/?page=2&rows=10&attr_free=1" for i in range(556, 12204): url = "http://s.dearedu.com/?page=" + str(i) + "&rows=10&attr_free=1" print(url) print(i) bCrawler(url) # 此代码目前存在的问题:登陆成功,下载链接也爬取了,但是下载不了,下载的时候用的f1 = requests.get(url5,headers=headers),也已经带上cookie了,不知道为什么不行,请各位帮忙想想办法,悬赏好说

爬虫下载图片时的一个问题

downloadlist=bsobj.findAll(src=True) downloadlist就是要下载的图片的集合。 然后fileURL就是图片的URL了, ``` for download in downloadlist: fileURL=getabsoluteurl(baseURL,download["src"]) print(fileURL) if fileURL is not None: urlretrieve(fileURL,getdownloadpath(fileURL,downloadDirectory),cbk) ``` 下面就是报错原因: ``` //ossweb-img.qq.com/images/lol/v3/logo.png Traceback (most recent call last): File "C:/Users/18022863809/Desktop/python_work/文件下载.py", line 44, in <module> urlretrieve(fileURL,getdownloadpath(a,downloadDirectory),cbk) File "C:/Users/18022863809/Desktop/python_work/文件下载.py", line 29, in getdownloadpath os.makedirs(directory) File "C:\Users\18022863809\AppData\Local\Programs\Python\Python37\lib\os.py", line 211, in makedirs makedirs(head, exist_ok=exist_ok) File "C:\Users\18022863809\AppData\Local\Programs\Python\Python37\lib\os.py", line 211, in makedirs makedirs(head, exist_ok=exist_ok) File "C:\Users\18022863809\AppData\Local\Programs\Python\Python37\lib\os.py", line 221, in makedirs mkdir(name, mode) FileNotFoundError: [WinError 53] 找不到网络路径。: '//ossweb-img.qq.com/images/' ``` 上面就是报错原因,非常奇怪,我直接在浏览器复制这个URL能够访问,为什么这里找不到网络路径呢

大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了

大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...

在中国程序员是青春饭吗?

今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...

程序员请照顾好自己,周末病魔差点一套带走我。

程序员在一个周末的时间,得了重病,差点当场去世,还好及时挽救回来了。

技术大佬:我去,你写的 switch 语句也太老土了吧

昨天早上通过远程的方式 review 了两名新来同事的代码,大部分代码都写得很漂亮,严谨的同时注释也很到位,这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时,还是忍不住破口大骂:“我擦,小王,你丫写的 switch 语句也太老土了吧!” 来看看小王写的代码吧,看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

和黑客斗争的 6 天!

互联网公司工作,很难避免不和黑客们打交道,我呆过的两家互联网公司,几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找 Sql 注入的缺口,有的是寻找线上服务器可能存在的漏洞,大部分都...

点沙成金:英特尔芯片制造全过程揭密

“亚马逊丛林里的蝴蝶扇动几下翅膀就可能引起两周后美国德州的一次飓风……” 这句人人皆知的话最初用来描述非线性系统中微小参数的变化所引起的系统极大变化。 而在更长的时间尺度内,我们所生活的这个世界就是这样一个异常复杂的非线性系统…… 水泥、穹顶、透视——关于时间与技艺的蝴蝶效应 公元前3000年,古埃及人将尼罗河中挖出的泥浆与纳特龙盐湖中的矿物盐混合,再掺入煅烧石灰石制成的石灰,由此得来了人...

讲一个程序员如何副业月赚三万的真实故事

loonggg读完需要3分钟速读仅需 1 分钟大家好,我是你们的校长。我之前讲过,这年头,只要肯动脑,肯行动,程序员凭借自己的技术,赚钱的方式还是有很多种的。仅仅靠在公司出卖自己的劳动时...

上班一个月,后悔当初着急入职的选择了

最近有个老铁,告诉我说,上班一个月,后悔当初着急入职现在公司了。他之前在美图做手机研发,今年美图那边今年也有一波组织优化调整,他是其中一个,在协商离职后,当时捉急找工作上班,因为有房贷供着,不能没有收入来源。所以匆忙选了一家公司,实际上是一个大型外包公司,主要派遣给其他手机厂商做外包项目。**当时承诺待遇还不错,所以就立马入职去上班了。但是后面入职后,发现薪酬待遇这块并不是HR所说那样,那个HR自...

女程序员,为什么比男程序员少???

昨天看到一档综艺节目,讨论了两个话题:(1)中国学生的数学成绩,平均下来看,会比国外好?为什么?(2)男生的数学成绩,平均下来看,会比女生好?为什么?同时,我又联想到了一个技术圈经常讨...

副业收入是我做程序媛的3倍,工作外的B面人生是怎样的?

提到“程序员”,多数人脑海里首先想到的大约是:为人木讷、薪水超高、工作枯燥…… 然而,当离开工作岗位,撕去层层标签,脱下“程序员”这身外套,有的人生动又有趣,马上展现出了完全不同的A/B面人生! 不论是简单的爱好,还是正经的副业,他们都干得同样出色。偶尔,还能和程序员的特质结合,产生奇妙的“化学反应”。 @Charlotte:平日素颜示人,周末美妆博主 大家都以为程序媛也个个不修边幅,但我们也许...

MySQL数据库面试题(2020最新版)

文章目录数据库基础知识为什么要使用数据库什么是SQL?什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式?分别有什么区别?数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别?InnoDB引擎的4大特性存储引擎选择索引什么是索引?索引有哪些优缺点?索引使用场景(重点)...

如果你是老板,你会不会踢了这样的员工?

有个好朋友ZS,是技术总监,昨天问我:“有一个老下属,跟了我很多年,做事勤勤恳恳,主动性也很好。但随着公司的发展,他的进步速度,跟不上团队的步伐了,有点...

我入职阿里后,才知道原来简历这么写

私下里,有不少读者问我:“二哥,如何才能写出一份专业的技术简历呢?我总感觉自己写的简历太烂了,所以投了无数份,都石沉大海了。”说实话,我自己好多年没有写过简历了,但我认识的一个同行,他在阿里,给我说了一些他当年写简历的方法论,我感觉太牛逼了,实在是忍不住,就分享了出来,希望能够帮助到你。 01、简历的本质 作为简历的撰写者,你必须要搞清楚一点,简历的本质是什么,它就是为了来销售你的价值主张的。往深...

我说我不会算法,阿里把我挂了。

不说了,字节跳动也反手把我挂了。

优雅的替换if-else语句

场景 日常开发,if-else语句写的不少吧??当逻辑分支非常多的时候,if-else套了一层又一层,虽然业务功能倒是实现了,但是看起来是真的很不优雅,尤其是对于我这种有强迫症的程序"猿",看到这么多if-else,脑袋瓜子就嗡嗡的,总想着解锁新姿势:干掉过多的if-else!!!本文将介绍三板斧手段: 优先判断条件,条件不满足的,逻辑及时中断返回; 采用策略模式+工厂模式; 结合注解,锦...

离职半年了,老东家又发 offer,回不回?

有小伙伴问松哥这个问题,他在上海某公司,在离职了几个月后,前公司的领导联系到他,希望他能够返聘回去,他很纠结要不要回去? 俗话说好马不吃回头草,但是这个小伙伴既然感到纠结了,我觉得至少说明了两个问题:1.曾经的公司还不错;2.现在的日子也不是很如意。否则应该就不会纠结了。 老实说,松哥之前也有过类似的经历,今天就来和小伙伴们聊聊回头草到底吃不吃。 首先一个基本观点,就是离职了也没必要和老东家弄的苦...

为什么你不想学习?只想玩?人是如何一步一步废掉的

不知道是不是只有我这样子,还是你们也有过类似的经历。 上学的时候总有很多光辉历史,学年名列前茅,或者单科目大佬,但是虽然慢慢地长大了,你开始懈怠了,开始废掉了。。。 什么?你说不知道具体的情况是怎么样的? 我来告诉你: 你常常潜意识里或者心理觉得,自己真正的生活或者奋斗还没有开始。总是幻想着自己还拥有大把时间,还有无限的可能,自己还能逆风翻盘,只不是自己还没开始罢了,自己以后肯定会变得特别厉害...

男生更看重女生的身材脸蛋,还是思想?

往往,我们看不进去大段大段的逻辑。深刻的哲理,往往短而精悍,一阵见血。问:产品经理挺漂亮的,有点心动,但不知道合不合得来。男生更看重女生的身材脸蛋,还是...

为什么程序员做外包会被瞧不起?

二哥,有个事想询问下您的意见,您觉得应届生值得去外包吗?公司虽然挺大的,中xx,但待遇感觉挺低,马上要报到,挺纠结的。

当HR压你价,说你只值7K,你该怎么回答?

当HR压你价,说你只值7K时,你可以流畅地回答,记住,是流畅,不能犹豫。 礼貌地说:“7K是吗?了解了。嗯~其实我对贵司的面试官印象很好。只不过,现在我的手头上已经有一份11K的offer。来面试,主要也是自己对贵司挺有兴趣的,所以过来看看……”(未完) 这段话主要是陪HR互诈的同时,从公司兴趣,公司职员印象上,都给予对方正面的肯定,既能提升HR的好感度,又能让谈判气氛融洽,为后面的发挥留足空间。...

面试:第十六章:Java中级开发(16k)

HashMap底层实现原理,红黑树,B+树,B树的结构原理 Spring的AOP和IOC是什么?它们常见的使用场景有哪些?Spring事务,事务的属性,传播行为,数据库隔离级别 Spring和SpringMVC,MyBatis以及SpringBoot的注解分别有哪些?SpringMVC的工作原理,SpringBoot框架的优点,MyBatis框架的优点 SpringCould组件有哪些,他们...

面试阿里p7,被按在地上摩擦,鬼知道我经历了什么?

面试阿里p7被问到的问题(当时我只知道第一个):@Conditional是做什么的?@Conditional多个条件是什么逻辑关系?条件判断在什么时候执...

你打算用Java 8一辈子都不打算升级到Java 14,真香

我们程序员应该抱着尝鲜、猎奇的心态,否则就容易固步自封,技术停滞不前。

无代码时代来临,程序员如何保住饭碗?

编程语言层出不穷,从最初的机器语言到如今2500种以上的高级语言,程序员们大呼“学到头秃”。程序员一边面临编程语言不断推陈出新,一边面临由于许多代码已存在,程序员编写新应用程序时存在重复“搬砖”的现象。 无代码/低代码编程应运而生。无代码/低代码是一种创建应用的方法,它可以让开发者使用最少的编码知识来快速开发应用程序。开发者通过图形界面中,可视化建模来组装和配置应用程序。这样一来,开发者直...

面试了一个 31 岁程序员,让我有所触动,30岁以上的程序员该何去何从?

最近面试了一个31岁8年经验的程序猿,让我有点感慨,大龄程序猿该何去何从。

大三实习生,字节跳动面经分享,已拿Offer

说实话,自己的算法,我一个不会,太难了吧

程序员垃圾简历长什么样?

已经连续五年参加大厂校招、社招的技术面试工作,简历看的不下于万份 这篇文章会用实例告诉你,什么是差的程序员简历! 疫情快要结束了,各个公司也都开始春招了,作为即将红遍大江南北的新晋UP主,那当然要为小伙伴们做点事(手动狗头)。 就在公众号里公开征简历,义务帮大家看,并一一点评。《启舰:春招在即,义务帮大家看看简历吧》 一石激起千层浪,三天收到两百多封简历。 花光了两个星期的所有空闲时...

《经典算法案例》01-08:如何使用质数设计扫雷(Minesweeper)游戏

我们都玩过Windows操作系统中的经典游戏扫雷(Minesweeper),如果把质数当作一颗雷,那么,表格中红色的数字哪些是雷(质数)?您能找出多少个呢?文中用列表的方式罗列了10000以内的自然数、质数(素数),6的倍数等,方便大家观察质数的分布规律及特性,以便对算法求解有指导意义。另外,判断质数是初学算法,理解算法重要性的一个非常好的案例。

《Oracle Java SE编程自学与面试指南》最佳学习路线图(2020最新版)

正确选择比瞎努力更重要!

一文带你入门Java Stream流,太强了

两个星期以前,就有读者强烈要求我写一篇 Java Stream 流的文章,我说市面上不是已经有很多了吗,结果你猜他怎么说:“就想看你写的啊!”你看你看,多么苍白的喜欢啊。那就“勉为其难”写一篇吧,嘻嘻。 单从“Stream”这个单词上来看,它似乎和 java.io 包下的 InputStream 和 OutputStream 有些关系。实际上呢,没毛关系。Java 8 新增的 Stream 是为...

立即提问
相关内容推荐