python 爬虫刚开始学习的一个问题

图片说明
这段代码,当我点Execute Selection in Console时候,可以正常运行,并且结果和教材一致
图片说明
但是我直接运行这个文件时,就开始报错了
图片说明
这是怎么回事呢??
错误信息如下:
C:\Users\yzy\AppData\Local\Programs\Python\Python36\python.exe C:/Users/yzy/Desktop/python/webscraping.py
Traceback (most recent call last):
File "C:\Users\yzy\AppData\Local\Programs\Python\Python36\lib\bz2.py", line 19, in
from threading import RLock
ImportError: cannot import name 'RLock'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "C:/Users/yzy/Desktop/python/webscraping.py", line 4, in
from urllib.request import urlopen
File "C:\Users\yzy\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 98, in
import tempfile
File "C:\Users\yzy\AppData\Local\Programs\Python\Python36\lib\tempfile.py", line 43, in
import shutil as shutil
File "C:\Users\yzy\AppData\Local\Programs\Python\Python36\lib\shutil.py", line 22, in
import bz2
File "C:\Users\yzy\AppData\Local\Programs\Python\Python36\lib\bz2.py", line 21, in
from dummy_threading import RLock
File "C:\Users\yzy\AppData\Local\Programs\Python\Python36\lib\dummy_threading.py", line 49, in
sys_modules['_dummy
_threading_local'] = sys_modules['_threading_local']
KeyError: '_threading_local'
Exception ignored in:
AttributeError: module 'threading' has no attribute '_shutdown'

Process finished with exit code 1

4个回答

你自己建的py文件起名字不要和python的包名一样!问题应该出在这里,你自己写的threading.py文件把python的threading覆盖了

lianxiaopang
连小胖 回复k1051785839: 不客气,这些问题我也犯过,多注意就行了
大约 2 年之前 回复
k1051785839
k1051785839 谢谢,知道了
大约 2 年之前 回复

图片说明

k1051785839
k1051785839 谢谢你!已经解决了!
大约 2 年之前 回复

看报错信息似乎是引入urlopen模块的时候出了问题,我一般是这么用的(python2.7)

 import urllib
 html = urllib.urlopen('xxxxxxx')
Runner__1
T_world sorry,sorry,刚注意到你用的是python3,不过引用方法似乎是一样的,参考这篇博客:http://www.cnblogs.com/lyhc/p/5859976.html
大约 2 年之前 回复

好的,我看一看,谢谢

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Python爬虫---一个爬虫
import urllib import urllib.request import time con=urllib.request.urlopen('http://blog.sina.com.cn/s/articlelist_1191258123_0_1.html').read() url=['']*50 mycon=con.decode('utf-8') #print('mycon',myc...
豆瓣电影排行python爬虫实战(刚开始学习)
作为一名刚学了几天的新手 在这里只使用了request 和 re 库分析网页    https://movie.douban.com/top250?start=0&filter=  注意 start 每次下一页就会+25正则 :观察网页源代码得到  电影名 titlepat = 'class="">.*?<span class="title">(.*?)</span...
python爬虫学习(下)——爬虫代码实现
上篇分析出了数据获取的完整路径,并在此过程中对整个业务流程以及数据特点都有了一定的了解,下面就开始进入正式的编码阶段 整个业务准备简单化分成以下几个类: Class Car:汽车模型
学习Python爬虫 - 初识爬虫
先弄清楚自己为什么要学习爬虫知识?- 基于专业版数据的特性,对业务数据进行测试分析,检验数据的准确性和有效性。对于零基础的小白,可以分为3个阶段来实现:--第一阶段:入门。 掌握必备的基础知识,如python基础、网络请求的基本原理--第二阶段:模仿。看着别人的爬虫代码,弄懂,了解主流爬虫工具--第三阶段:自己动手,根据自己的解题思路,独立设计爬虫系统知识储备python基础:基本语法,函数、类、...
Python学习之爬虫-爬虫的异常处理
Python学习之爬虫-爬虫的异常处理 概述: 爬虫在运行的过程中,很多时候都会遇到这样或那样的异常,如果没有异常处理,爬虫遇到异常时就会直接崩溃停止运行,下次再次运行时,又会重头开始,所以我们必须要对爬虫的异常进行处理,使之遇到异常后仍能继续运行下去。 常见的状态码即含义: 200:成功 301:重定向到新的URL,永久性 302:重定向到临时的URL,非永久性 400:非法请求 401:请求未...
Python 爬虫学习【爬虫基本原理】
python爬虫学习问题总结
这里记录一些在根据视频/网站学习爬虫时,遇到的一些问题。一般是由于视频/网站时间较早,相关代码语法网站等需要修改。这里做一些简单记录,当然,可能过了半载一年,又失效了。 一、有道翻译 根据有道翻译的结果页信息,获取到的url为:http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule 使用这个地址,是无法爬虫...
刚开始学习python,请教个 and 的问题
4 and 2 的结果是 2rnrn2 and 4 的结果是 4rnrn可是我认为应该 是 True的,不知何解?
python学习之简单python爬虫
参考文章来源: https://www.cnblogs.com/Axi8/p/5757270.html 基本算是第一次使用python写代码,所以直接参考了已有的博客的编写过程。 依然遇到了问题: 问题一:urllib和urllib2的区别有哪些 urllib 和 urllib2的区别有哪些? urllib和urllib2的区别有哪些?https://zhidao.baidu.com...
学习Python爬虫
在学习廖雪峰老师的python教程,和优达学城的数据分析课程,了解了python的使用,以及数据清洗和处理的一些方法后,想到了“数据获取”。然后就搜到了一篇讲解Python爬虫的系列教程 http://cuiqingcai.com/1052.html。 开始了Python爬虫的学习
python爬虫学习
爬虫网络爬虫(Web crawler),蚂蚁(ant),自动检索工具(automatic indexer),或者(在FOAF软件概念中)网络疾走(WEB scutter),是一种“自动化浏览网路”的程式,开始的时候我也是半懂的,不过这个确实像是蜘蛛一样的去构造和实现一个爬虫。入门关于爬虫的文章很多,但是我却想把我理解的流程写下来,这样能够更好的理解爬虫,我们知道html现在还是以树的形式去存储信息和
python简单爬虫学习
获取整个页面的信息:#coding = utf-8 import urllib.requestdef getHtml(url): page = urllib.request.urlopen(url) html = page.read() return pagehtml = getHtml("http://www.baidu.com") print (html) 要搞到页面的
Python爬虫学习-Day4
1、XML介绍 XML指可扩展标记语言(EXtensible Markup Language) XML是一种标记语言,很类似HTML XML的设计宗旨是传输数据和存储数据,而非显示数据,其焦点是数据的内容(与HTML的区别) XML的标签需要我们自行定义 XML被设计为具有自我描述性 XML是W3C的推荐标准 每个元素以及属性都有一个父(Parent) 元素节点可有零个、一个或多个子(Child...
Python之爬虫学习(四)
from urllib import request from urllib import error from bs4 import BeautifulSoup import random import time class AnnualReport(object): def __init__(self): 'http://vip.stock.finance.si...
python 爬虫学习第一课
python 爬虫学习之urllib模块 get方式请求post方式请求超时时间设置超时时间设置,对错误进行处理响应:响应类型、状态码、响应头设置request请求头,添加代理cookie, HTTPCookiProcessorcookie保存到文件,MozillaCookieJarcookie保存到文件, LWPCookieJar读取文件中的cookie异常处理urlparse url拆分url...
python爬虫初步学习
url:表示远程数据的路径,一般是指网址。 Beautiful Soup:是python的一个库,最主要的功能是从网页抓取数据。使用Beautiful Soup时,由于被移植到BS4了,那么导入时我们需要 from bs4 import BeautifulSoup。Beautiful Soup自动将输入文档转换为Unicode编码(Unicode 是国际组织制定的可以容纳世界上所有文字和符号...
Python爬虫学习之正则表达式
先挖个坑以后再填
Python爬虫学习(五)
        前几篇博文写的都是单机版爬虫,但是该单机版存在一些明显的问题:        1)无法保存爬虫的中间状态。如果爬到一半突然断电程序挂了,难道又要从0开始?而且很多主题爬虫根本就没有结束的时候,一直处于运行状态。        2)单机单线程版存在明显的性能瓶颈,可通过改为多线程多进程提高效率。        3)其队列、去重集合都是程序变量,容量有限,存在溢出风险。        ...
Python爬虫学习-Day2
一、正则表达式 1、简介 正则表达式是处理字符串的强大工具,它有自己特定的语法结构。又称为正规表示法、正规表示式、常规表示法等。是计算机科学的一个概念。通常被用来检索、替换哪些匹配某个模式的文本。 利用开源中共提供的正则表达式测试工具 http://tool.oschina.net/regex/,输入待匹配的文本如下: Hello, my name is Frank, my qq...
Python爬虫学习:入门
目录1. 什么是爬虫2. Python如何访问互联网 1. 什么是爬虫 网络爬虫:WebSpider,把互联网想象成一个类似于蜘蛛网一样的构造,那么爬虫在上面爬来爬去获取我们所需资源 我们之所以能够通过百度或谷歌这样的搜索引擎检索到你的网页,靠的就是他们大量爬虫每天在互联网上爬来爬去,对网页中的每个关键词进行索引,建立索引数据库。在经过复杂的算法排序后,这些结果将按照与搜索关键词的相关度高低,依次...
Python 爬虫学习(一)
Python 爬虫学习(一)之前突然想到去爬取网易云音乐的歌词查了很多资料也有很多详细的解释,但还是走了不少弯路,其中有些是因为时间过去太久和python的版本不同造成的关系,还有一些粗心造成的。总之过程会都详细的写在下面既然要爬取网易云音乐,最重要的还是要去抓包。然后分析。 在这里 我是用的工具时 chrome,和Fiddler 随便打开一首歌曲 ,f12 打开调试工具 f5刷新页面 首
python爬虫学习第六天
今天回到宿舍10点半了,没看多少东西,稍微写一点就当打卡了。 今天看了使用urllib.robotparser分析robots协议首先介绍下robot协议 robots协议也被称作爬虫协议、机器人协议,它的全名叫做网络爬虫排除标准(Robots Exclusion Protocol),同来告诉爬虫和搜索引擎哪些页面可以抓取,哪些不可以抓取。它通常是一个叫做robots.txt的文本文件,放在网
python爬虫学习第十八天
今天的内容是Scrapy,Scrapy 是一个可以帮助大幅度降低网页链接查找和识别工作复杂度的 Python 库。具体介绍请维基百科,上面很详细首先进行了一系列的安装工作,我用的时python3,网上有教程用pip功能安装,但是实际测试后发现用pip安装完后import win32api会报错,所以最稳的方法window直接去官网下exe,这种方法是一定可以的第一步,运行scrapy startpr
python 爬虫学习
Python 爬虫第一周内容  一、回顾div+css    ①div:区域     p:文字内容     li:列表     ul:无序列表    img:图     h1-h6 :不同字号标题     a herf= “”:链接     hr: !–使用hr标签实现水平分割线,需要注意的是这个标签比较特殊,在html中只有开始标签hr,没有结束标签/hr    borde
python爬虫学习1
爬虫 爬虫概览 什么是爬虫 生活角度:spider-projection(爬虫程序) 互联网爬虫:一个程序,根据url爬取网页,获取有用信息 核心:爬取网页 + 解析数据 难点:爬虫与反爬虫之间的博弈 爬虫语言 php:多进程和多线程支持不好 java:python爬虫的主要竞争对手,但是代码量大,重构成本高,而爬虫需要经常修改,所以不适合 c/c++:学习成本比较...
python爬虫学习第十天
今天的进度不多,主要是现在手头的学习资料到今天看完了,新的资料还没找 资料地址在这里:资料 今天学习的主要是requests的代理,在遇到需要提供用户名及密码的网站中模拟输入密码(auth参数)练习7 设置代理# import requests# proxies = { # "http": "http://10.10.1.10:3128", # "https": "http://10.1
python爬虫学习第七天
今天学习了requests这个模块 这个模块不是python自带的,需要下载一下 方法很简单,打开cmd,输入:pip3 install requests 几乎是(就是)傻瓜式安装 装好之后用python命令行测试一下(忘命令行里直接打import requests,没报错就OK啦)requests的功能比urllib要强大许多,用它基本上大部分网站都能爬了。requests的功能比较多,这
Python学习(20)--爬虫
在前几节我们一直在介绍正则表达式,今天我们就使用正则表达式写一个爬虫的小程序。首先什么是爬虫呢?爬虫就是按照一定的规则,自动地获取网络上的信息。下面我们将介绍一个,通过爬虫获取网络图片的例子。其中,我们利用正则表达式匹配图片的网络地址,正则表达式其实就是我们爬虫用到的规则,下面我们主要有3个步骤去完成这个爬虫的小例子:       1.获取网页的源代码;       2.在网页源代码中匹配正则
Python爬虫学习(一)
爬虫基本框架(单机版)伪代码,本质是一个多叉树层次遍历算法,图的广度优先搜索:import Queue #设置初始网页,树根 initial_page = "http://www.badtom.cn" #新建待爬队列,已爬集合 url_queue = Queue.Queue() seen = set() #初始化待爬队列,已爬集合 seen.insert(initial_page) url_que...
Python爬虫学习(二)
第一步,读取单页面:import urllib.request url = "http://www.badtom.cn" data = urllib.request.urlopen(url).read() data = data.decode('UTF-8') print(data)第二步,对前篇单机版伪代码的简单实现:from collections import deque import...
Python爬虫学习之 Request
目录 request 安装 简单示例 各种请求方式测试 get请求 简单get请求 带参数get 解析json 获取二进制内容 保存二进制内容 添加headers post请求 添加data表单数据和headers头信息 响应 状态码使用 requests 高级操作 获取cookies cookie 会话维持 证书验证 忽略证书,不使用证书 使用证书 代理设置 简单代理设置 有用...
python爬虫学习第一天
个人学习视频链接:http://study.163.com/course/courseLearn.htm?courseId=1003285002#/learn/video?lessonId=1003742004&courseId=1003285002一、安装需要用到的库pip install BeautifulSoup4pip install requests二、装好jupyter三、re...
python 爬虫学习1
python做爬虫常用库有哪些?内置库 urllib 这个库主要是用来请求url网址来用的    re   正则表达式库   request 库 用于来请求的库  request.get(网址)selenium库 用来驱动浏览器的库 用来自动化测试 js渲染的页面的话 一般用这个库如果有些库没有安装 可以使用 pip命令进行安装 pip install 库名 在使用selenium库的时候有时候会...
学习Python爬虫的几个问题
UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xbf in position 2: illegal multibyte sequence解决方案:import codecs d = path.dirname(__file__)# Read the whole text. #text = open(path.join(d, 'constituti
python爬虫学习(一)
        学习Python爬虫是一个很头疼的事,尤其是英语不是太好的,,,,     不过学会了很有用处,本着这个想法,我开始了艰难的学习过程,。     鉴于网上的各种参考,加上专业课Python的课程是以Python3环境为教学的,这里学习均为Python3的环境。      首先学习简单的网页抓取,这里使用urllib。     直接上代码 import urllib....
python爬虫学习成果
2018.8.9 ```python import requests import os path=’/Users/zc/Desktop/try3/’ main=’https://nhentai.net/g/’ main2=’https://nhentai.net/search/?q=’ #搜索 Dnumber=241736 #递减 (数字文件夹) No=1 #(第几张) 获取...
Python爬虫学习(1)
使用Python爬取网页中html内容 # coding=utf-8 import urllib import urllib2 import re url = "http://3ms.huawei.com/km/blogs/details/5171043" request = urllib2.Request(url) page = urllib2.urlopen(url) html = page
学习Python爬虫记录
request可选参数
python爬虫学习第三天
今天把第一节urllib.request看完了,感觉对如何用python模拟浏览器申请网页文档有了一个大概的了解。但感觉离入门还差的远练习8 使用proxy——handler 创建代理# from urllib.error import URLError # from urllib.request import ProxyHandler,build_opener# proxy_handler = P
Python爬虫学习代码
值得学习的案例代码,python学习,学习爬虫的有用的案例,值得学习
相关热词 c# 去空格去转义符 c#用户登录窗体代码 c# 流 c# linux 可视化 c# mvc 返回图片 c# 像素空间 c# 日期 最后一天 c#字典序排序 c# 截屏取色 c#中的哪些属于托管机制