python 爬虫利用urllib.request.urlretrieve() 保存图片在本地,图片没有内容

我用Jupyter Notebook爬取了需要保存的图片的url,但是利用urllib.request.urlretrieve() 将图片保存到本地,图片没有内容,该url使用360浏览器打开也是没有内容的图片(和我保存在本地一样),但是用goole打开就是正常的图片。

相关代码
url='http://www.jj20.com/bz/zrfg/d...'
response=urllib.request.urlopen(url)
html=response.read().decode('gb2312')

soup=BeautifulSoup(html,'lxml')
data=soup.select('body > div.wzfz.top-main.fix > div > ul.pic2.vvi.fix')
data2=re.findall('src="(.+?)" width',str(data))
data2 #此处得到了图片链接的一个列表
图片说明

x=0
for itemm in data2:
print(itemm)
urllib.request.urlretrieve(itemm,'C:\Users\Administrator\Desktop\pachong2\%s.jpg'%x)
x+=1 #通过链接保存图片到本地

代码完毕,运行不报错,但保存的图片却是加密图片,如下
图片说明我用360浏览器打开这些url也是显示这个,但是用goole打开就是正常的图片。如下:
图片说明

我百度了好多相关内容,但和别人的出错结果都不一样,想知道这种情况是怎么回事,为什么360浏览器打开是这样的,还有就是要怎么才能通过goole浏览器把图片下载下来呢。

1个回答

←如果以下回答对你有帮助,请点击右边的向上箭头及采纳下答案

因为网站做了反爬,无法直接打开图片连接,还有User-Agent的身份验证,所以加入请求头去下载就可以了


import requests

s=requests.session()
headers={
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'Accept-Encoding':'gzip, deflate',
'Accept-Language':'zh-CN,zh;q=0.9',
'Cache-Control':'max-age=0',
'Connection':'keep-alive',
'Host':'www.jj20.com',
'If-Modified-Since':'Fri, 21 Dec 2018 03:58:29 GMT',
'If-None-Match':'"cf51d66ee198d41:0"',
'Upgrade-Insecure-Requests':'1',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.15 Safari/537.36',
}
s.headers.update(headers)
url=r'http://img.jj20.com/up/allimg/1111/052QQ64447/1P52Q64447-1-lp.jpg'
html=s.get(url=url)
print(html.text)
with open('picture.jpg', 'wb') as file:
    file.write(html.content)
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
python爬虫之获取网页内容(字符串)及保存图片到本地
解码方式就这三种,肯定能出来 保存图片到本地 import requests 发送请求 r=requests.get("…") 保存 with open(“a.jpg”,“wb”) as f: f.write(r.content) wb表示以二进制数据格式写入,什么pdf,excel等都可以用wb ...
利用js保存图片到本地
js代码: function download() { var canvas = document.createElement('canvas'); var ctx=canvas.getContext("2d"); var awindow=new Image(); awindow.src="httP://";//这地方输入要保存的图片地址; canvas.wid
urllib.request.urlretrieve()用于下载制定url内容到本地
函数:urllib.urlretrieve(url[, filename[, reporthook[, data]]]) 参数说明: url:外部或者本地url filename:指定了保存到本地的路径(如果未指定该参数,urllib会生成一个临时文件来保存数据); reporthook:是一个回调函数,当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调。我们可以利用这个回调函数来显示当前...
python爬虫——beautifulsoup保存图片
import requests import os import random from openpyxl import Workbook import urllib.request from bs4 import BeautifulSoup #获取网页信息 def get_html(url): head = { 'Connection': 'keep-alive', ...
python 爬虫保存图片/多线程
  踩过的坑: 1. OSError: [Errno 22] Invalid argument 创建jpg文件时,直接用的图片链接作为图片名的,而链接中有'/',所以报错了,解决方法是链接切片 2. TypeError: a bytes-like object is required, not 'str' 把URL返回的response写入图片时报错,resp.text返回的是Unicod...
Python——保存图片到本地
举个例子,比如我想保存github网,浏览器头有个图标. resp = requests.get("https://github.com/favicon.ico") with open("C:\\Python37\\911.jpg",'wb')as jpg: jpg.write(r.content)
根据图片地址,保存图片到本地
function getImg($url,$filename){         if($url == '')             return false;         //打开输出控制缓冲         ob_start();         //读取url图片文件,并写入到输出缓存         readfile($url);         //返回输出缓存区的内
python爬虫之图片爬虫
爬取图片http://www.ivsky.com的网站 把图片素材下的18个类别,每个类别的前20页,每页的18个合集,每个合集中大约有10多张图片,下载到本地,大约有6万多张图片,一百多行代码完成。 import os import re from urllib import request from bs4 import BeautifulSoup def get_data(url): ...
爬虫保存图片
i=0方法一: urllib.urlretrieve(url, 文件名 + “.jpg”)方法二: for url in listurl: f = open(str(i)+’.jpg’, ‘w’) req = urllib2.urlopen(url) buf = req.read() f.write(buf) i+=1 f.close(
python爬虫 解析图片保存到本地
以 wb 方式保存就ok了 def picture(): pic_url_list = connetion_mysql_1() print(pic_url_list) header = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apn...
python爬虫之抓取网页中的图片到本地
最近开始学习python,python的爬虫诱惑力实在太强。今天看着网上的教程,也学会了这样一个小功能 主要步骤是: 1.抓取网页 2.获取图片地址 3.抓取图片内容并保存到本地 下面是关键代码: import urllib.request req=urllib.request.urlopen('http://www.imooc.com/course/list') bu
Python爬虫下载网站上的图片到本地
需求:想把某个网站上的所有图片(比如一些妹子图)下载到本地工具:使用Python 3 语言,开发工具为下载python时自带的IDLE(需要注意,python3和python2的命令有区别的!查看或者编写代码的时候一定要看python版本)命令:CMD命令行:python D:/picture/ (改成自己的文件夹,图片将会下载到此目录)代码: #coding:utf-8 import requ
PHP 合并图片,长按图片保存图片到本地
一个小分享,平时 image 相关函数用的比较少,这次刚好用上了,就分享一波。其实这个需求前端做起来会更加的方便,采用:html2canvas 可以实现,不过这一篇主要介绍 PHP 的实现。 场景 场景是这样的,一个小活动,我们提供的一张图片 a.jpg ,然后需要用户上传一张图片 b.jpg ,最终达到用户长按此图可以进行保存。没用进行合并之前,我们采取的的是将 b.jpg 渲染进 a.jpg ...
爬虫图片,保存本地
适用于从指定网站抓取图片,网站初期需要大量测试数据,或者图片服务器。
利用Python爬虫批量下载百度图库图片
利用Python爬虫批量下载百度图库图片
利用python爬虫大量爬取网页图片
最近要进行一类图片的识别,因此需要大量图片,所以我用了python爬虫实现 主要参考:https://www.cnblogs.com/franklv/p/6829387.html 爬取网页:https://www.ivsky.com/search.php?q=罂粟花 库介绍:https://www.cnblogs.com/mzc1997/p/7813801.html https://blog.cs...
利用python的爬虫技术爬取网上的图片
从网上下载一张图片,利用python的基本爬虫技术,找到图片的地址,复制相应的url,然后进行操作
[python]爬虫存入本地
一,open函数 打开本地文件的方法 with open('path','r') as f: f.write('data')path是文件的路径,r是read读取,w就write写入,f是操作这个连接的对象 二,操作字符串的方法 替代用的format,一个字符串str里面加上{}然后用.format(new_str)把new_str加入到{}里
保存图片到本地
描述: 拿到一个图片url链接,然后获取图片,并保存到图片。 //保存图片 if ([action isEqualToString:@"savePicture"]) { if (url.length > 0) { //转码 ...
python, tensorflow读取图片,保存图片
一,读取图片 img_path = 'cat_0002.jpg' img = cv2.imread(img_path) # ndarray, 读取后图片大小为:(行数,列数,通道数)(768,1024,3) 二,保存图片 1)img图片的大小为(768,1024,3),dtype = uint8,保存img: cv2.imwrite("img.png", img) # 2)保存中间结...
利用python正则表达式抓取网页中的图片到本地
正则表达式语法: * 匹配前一个字符0次或无限次 + 匹配前一个字符1次或无限次 ? 匹配前一个字符0次或1次 {m}/{m,n}匹配前一个字符m次或m到n次 *? / +? / ?? 匹配模式为非贪婪模式import re ma=re.match(r’[\w]*?’,’I am a boy’)边界匹配:^ 匹配字符串开头 $ 匹配字符串结尾 \A/\Z 指定的字符串必须出现在开
python 读取图片、显示和保存图片
python 读取图片、显示和保存图片 matplotlib import matplotlib.pyplot as plt # 显示图片 import matplotlib.image as mpimg # 读取图片 # 读取图片 img = mpimg.imread('图片的路径') plt.imshow(img) #把图片画在画板上 plt.show() # 显示...
Python 爬虫 多线程爬取百度贴吧内容,并将内容存到本地
功能: 1、爬取百度贴吧内容: 回帖时间 回帖内容 回帖人 2、通过xpath来提取属性,并将提取的属性写入到txt文件中 3、多线程实现 下面是代码:# -*- coding: utf-8 -*- """ Created on Fri Sep 11 22:03:40 2015@author: wt """ from lxml import etree from
爬虫案例:利用Python爬虫批量获取电商网站图片2
<p>rn 本课程主要讲解Python基础、数据分析扩展包Numpy、pandas、matplotlib,Python读取MySQL数据,Python爬虫及Scrapy框架,无监督机器学习算法聚类分析等,以及案例:互联网金融行业客户价值分析等。rn</p>
爬虫案例:利用Python爬虫批量获取电商网站图片1
<p>rn 本课程主要讲解Python基础、数据分析扩展包Numpy、pandas、matplotlib,Python读取MySQL数据,Python爬虫及Scrapy框架,无监督机器学习算法聚类分析等,以及案例:互联网金融行业客户价值分析等。rn</p>
python scrapy 爬虫 下载并保存图片
爬取某网站的汽车图片,并且分类保存到本地,代码简单明了,直接运行即可。
Python爬虫(三):python抓取网页中的图片到本地
接上一篇文章:Python爬虫(二):爬虫获取数据保存到文件 简介: python3抓取网页中的图片到本地的过程如下: 1、抓取网页 2、获取图片地址 3、抓取图片内容并保存到本地 实例: 抓取 豆瓣电影top250 中的电影图片,并保存到本地 代码: import urllib.request import re url = 'https://movie.doub...
python抓取网页图片python爬虫
python抓取网页图片示例(python爬虫) -*- encoding: utf-8 -*- ''' Created on 2014-4-24 @author: Leon Wong ''' # www.jbxue.com import urllib2 import urllib import re import time import os import uui...
python图片爬虫
用python实现的图片下载,抓取PEXELS网站的所有网络图片
python 图片爬虫
1.从网站找规律 F12--&amp;gt;network--&amp;gt;XHR,然后图片往下拉,XHR下会出现请求内容,点击进入Header找url请求规律2.具体下载代码如下#!/usr/bin/env Python # coding=utf-8 import json import itertools import urllib import requests import os import re ...
python爬虫爬取图片
爬取http://www.xiaohuar.com/美女校花 图片的爬虫 # -*- coding:utf-8 -*- import os import requests # from PIL import Image from lxml import etree class Spider(object): """ crawl i...
python 爬虫网站图片
简单的爬虫入门,可以改变代码里的节点 爬虫类似的图片网站
python 图片爬虫
可以通过该python爬虫爬取暴走漫画上的图片,是学习python及爬虫的好的入门参考代码
Python网页图片爬虫
Python2.7 的适合新手学习
Python爬虫网页图片
python环境2.7 今天是学习python第二天,做了一个抓取网页图片的爬虫。代码很简练。 #coding=utf-8 import urllib import re def getHtml(url): page = urllib.urlopen(url) html = page.read() return html def getImg(html):
python简单图片爬虫
简单爬虫获取京东商城手机商品图片 由于近年来python语言的火热程度,于是便开始入坑,由于技术有限,学了两周,才只能实现一个简单的爬虫。 主要功能:爬取京东商城手机销售页面的手机图片,将其下载到本地文件夹。 代码如下: import urllib.request import re def f(url,page): http = urllib.request.urlopen(url).rea...
python 爬虫 ——图片
# encoding=utf-8 import requests import re url=&quot;http://image.baidu.com/search/indextn=baiduimage&amp;amp;ct=201326592&amp;amp;lm=-1&amp;amp;cl=2&amp;amp;ie=gbk&amp;amp;word=%E5%9B%BE%E7%89%87%20%20%E8%90%8C%E5%AE%A0&amp;am...
Python爬虫之爬取图片
1.导入urllib库 import urllib.request; 导入正则表达的包 import re 2.目标网址 url = “https://www.i4.cn/wper_1_0_0_1.html” 3.检验网址时候可以访问 html = urllib.request.urlopen(url); if html.getcode() == 200: print(“网站返回码:%d,网络访问...
python 爬虫 爬下图片
#!/usr/bin/env python # -*- coding: utf-8 -*- import urllib.request from bs4 import BeautifulSoup def crawl(url): headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.
Python 图片爬虫
Python 爬虫 本项目依赖Python的BeautifulSoup4第三方库,使用本项目需要先安装BeautifulSoup4。 步骤一 安装依赖库: 安装BeautifulSoup4: 1.Debain或Ubuntu可以通过系统软件包管理安装 $sudo apt-get install Python-bs4 2.使用easy_install或者pip安装: $ sudo easy_install beautifulsoup4 或$ sudo pip install beautifulsoup4 easy_install和pip是Python的发行包管理工具,同样需要先安装才能使用,这里介绍easy_install的安装方法: 1.Mac OS X 系统可以在终端执行以下命令: curl https://bootstrap.pypa.io/ez_setup.py -o - | sudo python 2.Linux系统可以执行以下命令: wget https://bootstrap.pypa.io/ez_setup.py -O - | sudo python 3.Window系统: 下载ez_setup.py并运行 步骤二 运行: 运行sexy.py文件爬取网站一: 1.不带参数运行:直接运行sexy.py,使用默认配置参数。 2.可用参数: -s 或 --startpage :起始扫描页面,默认值为1,从第一页开始扫描 -e 或 --endpage :最后扫描页面,默认值为65589。 -d 或 --dir :相对当前文件,下载图片保存位置,默认为sexy_images文件夹 -m 或 --max :获取页面失败后最大重试次数,默认为3 -n 或 --new :只获取最新更新的图片,强制设置起始扫描页为1,获取完毕后自动退出 例子:Sexy$ ./sexy.py -s 10 -e 12 -d cache -m 3 表示从第10页开始扫描到第12页,图片保存文件夹为cache,获取页面失败最多可以尝试3次。 3.运行期间可以随时按回车键退出程序。 运行atlas.py文件爬取网站二: 1.不带参数运行:直接运行atlas.py,使用默认配置参数,从主页开始爬取。 2.可用参数: -d 或 --dir :相对当前文件,下载图片保存位置,默认为atlas_images文件夹 -m 或 --max :获取页面失败后最大重试次数,默认为3 -v 或 --view :查看当前已知标签和标签id -t 或 --tag :爬取指定标签名的图片,同时提供标签id时,本标签无效 -i 或 --id :爬取指定标签id的图片 -l 或 --last :是否从上次退出的地方继续爬取,默认为false 3.运行过程中可以随时按Ctrl+C退出,退出时如果还有新发现标签没有归类,归类后自动退出。 4.setting文件中为已归类标签和最后抓取位置缓存,请勿删除。 测试环境: python 2.7 测试通过 License Copyright 2015 Jianan - qinxiandiqi@foxmail.com Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.org/licenses/LICENSE-2.0 Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language governing permissions and limitations under the License.
相关热词 c#检测非法字符 c#双屏截图 c#中怎么关闭线程 c# 显示服务器上的图片 api嵌入窗口 c# c# 控制网页 c# encrypt c#微信网页版登录 c# login 居中 c# 考试软件