用Python的requests.get获取网页源代码出现ConnectionError 1C

如下为具体报错:
requests.exceptions.ConnectionError: HTTPConnectionPool(host='seth_shy', port=80): Max retries exceeded with url: http://www.jikexueyuan.com/ (Caused by ProxyError('Cannot connect to proxy.', NewConnectionError(': Failed to establish a new connection: [Errno 11004] getaddrinfo failed',)))

3

4个回答

这个估计是电脑的系统安全限制的原因,我用的是公司的电脑,如果不加公司的代理就是访问不了的。

0

代理连不上 或者你的目标机器访问不了

-1
qq_34358013
qq_34358013 网络什么的都没有问题,网站也没有问题
大约 3 年之前 回复
qq_34358013
qq_34358013 那请问要怎么修复呢?
大约 3 年之前 回复

用神箭手云爬虫吧,自带高匿ip代理。

-2
-10
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
requests.get为什么得到的内容和查看源文件不一样?
由于初学爬虫 尝试着在beausoup库和re正则间来回爬去加强对两种方法的理解 但是利用正则的时候出现了一个这么个问题 源文件打开 找到的元素 在requests.get竟然没有 虽然很简单的一个问题 但是困扰了我半个多小时 这里吧一些经验总结下来 避免少走弯路 拿最简单的静态 贴吧为例 我们打开url:         http://tieba.baidu.com/i/i/fan
Python小白爬虫(一) _使用requests模块进行Get请求网页得到页面内容(案例)
我们要用到 requests 模块 这个是干啥的呢? 这个模块可以发送网络请求(Get,Post,Delete… …) 我们通过这个模块进行Http Get 请求,这样就可以拿到网页了。 我们要使用这个模块就要用pip来安装: python -m pip install requests 安装完成后我们就可以上代码了(不多说): # -*- coding: UTF-8 -*- import re...
Python+Requests安装及抓取网页源码中文乱码问题的解决
Python+Requests安装及抓取网页源码中文乱码问题解决 刚开始自学Python课程,学习到自制单线程小爬虫,第一步就是自动抓取网页源码,但碰到源码中中文编码不同会出现乱码问题。
使用python的requests库爬取数据时候遇到的ConnectionError
    最近刚得到一个爬取网络数据的源代码,刚开始爬取少量数据的时候,一切顺利。可是随着爬取的数据越来越庞大,问题也就越来越多了。遇到的一个比较头疼的问题就是连接错误。具体错误信息如下:    Traceback (most recent call last):  File "new_request2.py", line 82, in <module>    result = requ...
Python篇----Requests获取网页源码(爬虫基础)
1 下载与安装 见其他教程。   2 Requsts简介   Requests is an Apache2 Licensed HTTP library, written inPython, for human beings. Python’s standard urllib2 module provides most ofthe HTTP capabilities you need,...
python3使用requests包抓取并保存网页源码
转载自:http://blog.csdn.net/w93223010/article/details/18968081 近期的工作学习中使用到了Python,分享一些初学者的心得与君共勉。 本节的内容主要是如何使用python去获取网页的源代码并存储到本地文件中,希望通过本节可以让你略微了解到python的神奇。 先上代码: import urllib.re
【Python-32】Python使用requests来抓取网页
文章转载自:http://www.yangyanxing.com/?p=1079 1. requests介绍 早就听说requests的库的强大,只是还没有接触,今天接触了一下,发现以前使用urllib,urllib2等方法真是太搓了…… 这里写些简单的使用初步作为一个记录 一、安装python的requests模块,使用pip或easy_install都可以 二...
requests出现的问题
import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) ' 'AppleWebKit/537.36 (KHTML, like Gecko)' ' Chrome/63.0.3239.132 Safari/537.36...
python3使用requests模块的get方法做爬虫(伪装浏览器)
获取网页对象可以使用两种方法: 使用urllib模块的urlopen方法: import urllib reponse=urllib.urlopen("http://www.itcast.cn") print(reponse.read()) reponse.read():打开网页源代码。 reponse.getcode():获取http状态码:200表示请求完成,4
爬虫基础--requests库(获取网页信息)
官网文档–http://docs.python-requests.org/zh_CN/latest/user/quickstart.html 发送get,post请求 res=requests.get(url) #发送get请求,请求url地址对应的响应 res=requests.post(url,data={请求的字典}) #发送post请求 #post请求 impo...
爬虫笔记1 requests获取网页源代码与正则表达式处理文本
@兰博怎么玩儿 爬虫笔记1 第一个爬虫程序和BeautifulSoup解析库 接触爬虫不久,特利用此笔记记录一下爬虫学习过程和心得,如有错误请批评指正。 本文介绍:利用BeautifulSoup解析库,爬取起点中文网(https://www.qidian.com/rank/yuepiao?style=2)中“原创风云榜”榜单数据。 1、准备 python版本 3.5.0 安装第三方库:re...
转发:python中的网页爬取函数requests.get()和urlopen函数的区别
转载:https://blog.csdn.net/xiangxianghehe/article/details/55803584,今天看到了python的网页爬取,但是对其中的两种方法,一种是利用requests.get(),另一种是利用urlopen()无法很好的理解其中的区别,两种方法均...
requests爬取中文网站的字符编码问题
这两天在一些门户网站使用requests爬数据的时候,发现打印或者保存到文件中的中文显示为Unicode码,看着十分不爽快,于是就必须网上找了一下相关问题。其实,弄明白了解决也很简单了    比如,爬取凤凰网response= requests.get("http://www.ifeng.com/")   我们都知道response有text和content这两个property,它们都是指响应内
Python Requests中异常总结
1. 连接超时 服务器在指定时间内没有应答,抛出 requests.exceptions.ConnectTimeout requests.get('http://github.com', timeout=0.001) # 抛出错误 requests.exceptions.ConnectTimeout: HTTPConnectionPool(host='github.com', port=80...
python使用requests爬取网页,遇到中文出现乱码的编码问题及解决
也交性明满清特派半战去制情毛称交此平很关从本造命条第白万时眼影易号世此照连世劳儿候题那到接因电世资始才毛重应向积你层育件县起完此矿面民在记积路带教习提东该志西表音平声亲强支复能设利已计几图济件光老品青且后科合米质土干干长知现相行自维你然格上为且叫建不话识论选团民天林委法路圆文适平军动带许值明任王且都斗联例照联时养见济圆但引到路还求开眼采报内决空程书度子在至计格查从对家马类工二府于工好干月行山同处因...
requests库通过get()获取网页内容
#get()是获取网页最常见的方式 import requests ####################################第一步###################################### #在调用requests.get()函数之后,返回的网页内容会保存为一个Response对象 #get()函数的参数URL链接必须采用HTTP或HTTPS方式访问 res...
requests.get()爬去中文网页乱码解决方法
requests.get()爬去中文网页乱码解决方法 当我们使用requests.get()爬取百度首页时会发现,返回的html代码中的中文发生乱码。 import requests headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)...
通过两种方式获取百度首页源代码(python3)
一、通过urllib.request模块import urllib.request s=urllib.request.urlopen("http://www.baidu.com") print(s.read())二、通过requests模块首先通过谷歌浏览器进入百度首页,点击f12,然后刷新页面,可以看到如下图所示,我们可以获取User-Agent复制User-Agent串,创建一个字典head=...
python-----使用requests的get方法获取HTML内容
import requests -------------------------------------------------------------------------------- {import sys reload(sys) sys.setdefaultencoding("utf-8")}                      python 2.x ---------...
Python-几行代码获取百度首页源代码
Python-几行代码获取请求百度网页       -socket的一点简单应用 import socket # 创建socket socketClient = socket.socket(socket.AF_INET,socket.SOCK_STREAM) # 连接服务器 socketClient.connect(("www.baidu.com",80)) # 发送请求 socketClient...
网络爬虫之Requests库及爬取网页的通用代码框架
Requests库 7个主要方法 方法 说明 requests.request() 构造一个请求,支撑以下方法的基础 requests.get() 获取HTML网页的主要方法,对应于HTTP的GET requests.head() 获取HTML网页头信息的方法,对应于HTTP的HEAD requests.post() 向HTM...
python爬虫requests.get出错的解决方法
发现所有网站都访问不了,原来是在运行fiddler的时候自动挂了代理将使用代理服务器的选项关掉即可
使用python代码抓取网页源代码本地打开显示乱码解决
本实例是通过使用浏览器本地存放的cookie登录人人网的简单代码来说明如何解决乱码问题的 from urllib import request if __name__ == '__main__': url = "http://www.renren.com/967817731/profile" headers = {"Cookie":"anonymid=jlgmarpu-du5...
解决Requests中文乱码
都在推荐用Requests库,而不是Urllib,但是读取网页的时候中文会出现乱码。分析: r = requests.get(“http://www.baidu.com“) **r.text返回的是Unicode型的数据。 使用r.content返回的是bytes型的数据。 也就是说,如果你想取文本,可以通过r.text。 如果想取图片,文件,则可以通过r.content。**获取一
requests、beautifulsoup爬取页面总结
requests-BeautifulSoup-re ------------------------------------------------- try:     kv = {"User-Agent":"Mozilla/5.0"} #指定headers     r = requests.get(url,timeout=30,headers=kv)     r.raise_for_s
get和post获取数据的基本知识//python爬虫之requests的基本使用
参考:https://www.cnblogs.com/lei0213/p/6957508.html 1.get请求返回的几种编码格式 import requests response = requests.get("https://www.baidu.com") print(type(response)) #<class 'requests.models.Response'> ...
用requests实现一个GET请求,并输出json格式文本
需要用到的两个点: 1.打印json格式的输出 print(r.json()) 2.get请求的方法 r = requests.request(”OPTIONS’, url, **kwargs) import requests '''获取交易对数据''' def ExchangeInfo(): url = "http://192.168.2.11/api/...
Python爬取网站信息出现Errno 10054
可以添加header,如下例子 headers = {'User-agent': 'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:22.0) Gecko/20100101 Firefox/22.0'} request = urllib2.Request(url,headers= headers) f = urllib2.urlopen(request) htm
Python问题-requests库爬虫报403
一:一般的requests库def gethtmltext(url): try: r = requests.get(url, timeout = 30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except:之前爬爬taob...
python2. requests爬取网上数据中文乱码的情况处理方法
先说下发现的问题,今天在做一个爬取功能的时候,中文一直是乱码,原来以为是返回的数据压缩导致的,后边查了下文档,requests里如果headers设置了'Accept-Encoding': 'gzip, deflate',且目标网页也支持压缩的话,requests会把爬到的网页自动解压缩,所以应该不是压缩的问题,后来把爬到的数据看了下编码   html = requests.get(url,hea...
python爬虫之requests库详解(一,如何通过requests来获得页面信息)
前言: 爬虫的基础是与网页建立联系,而我们可以通过get和post两种方式来建立连接,而我们可以通过引入urllib库[在python3的环境下导入的是urllib;而python2的环境下是urllib和urllib2]或者requests库来实现,从程序的复杂度和可读性考虑,requests库显然更能满足程序员的需求,但是我没有找到这个库详细的中文讲解,这也是我写这篇文章的原因。 所有的参...
python3的requests类抓取中文页面出现乱码
搜索了一下相关的说明,发现 requests 只会简单地从服务器返回的响应头的 Content-Type 去获取编码,如果有 Charset 才能正确识别编码,否则就使用默认的 ISO-8859-1,这样一来某些不规范的服务器返回就必然乱码了。 例如:通过浏览器content-type选项中只有text/html,而没有charset,下面两张图是不同两个网站对比情况: 解决方法:
Requests爬取网页编码问题
Requests爬取网页的编码问题 import requests from requests import exceptions def getHtml(): try: r=requests.get('http://www.zuihaodaxue.com/zuihaodaxuepaiming2017.html') r.
Python——requests请求、cookie处理和lxml解析
一、requests请求       1.通过pip安装 pip install requests        2.发送请求与传递参数 import requests url = 'http://www.baidu.com' response = requests.get(url) # 请求成功 print(response) # 获取网页文本内容 print(response....
【requests】连接url并下载_20180629
111
python中requests模块有些网站不能访问解决方案
python学习中爬取网站视频时由于python本身不能地址限制的原因,不能直接用response = requests.get(url)获取到网页源代码,进而无法爬取网站信息。 我以猫眼网为例: 访问猫眼代码如下: import requests from requests.exceptions import RequestException def get_one_page(url): ...
接口自动化之requests学习(一)--get方法获取常用返回数据
#!usr/bin/env python #-*- coding:utf-8 -*- """ @author:Administrator @file: request.py @time: 2018/10/13 """ import requests # 请求百度网页 response = requests.get("https://www.baidu.com", data=None, time...
python 用 requests发送get请求并获取json数据
java进行一次get请求,少说都要洋洋洒洒一两百行代码,创建流,发请求,解析数据,关闭流等等 而python就四行 业务代码     import requests     #请求地址     url = "https://api.global.net/datastore/v1/tracks/"+trackId+"?location=12}"     #发送get请求     r = ...
使用requests.get下载大文件-Python
当使用requests的get下载大文件/数据时,建议使用使用stream模式。 当把get函数的stream参数设置成False时,它会立即开始下载文件并放到内存中,如果文件过大,有可能导致内存不足。 当把get函数的stream参数设置成True时,它不会立即开始下载,当你使用iter_content或iter_lines遍历内容或访问内容属性时才开始下载。需要注意一点:文件没有下
requests抓取需登录(cookie)的页面
之前用requests 比如网址缩短,再比如自动识别网站友情链接,并自动识别网站RSS地址,还有微信公共平台api Python(bottle)版 都是抓取不需要登录的页面内容。 两周前使用requests做了一个简单的phpwind论坛自动登录然后打卡的小脚本,不得不说用requests做这些事比用urllib2之类要方便的多。 简简单单两行代码搞定: _data =
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 python机器学习源代码 通过源代码学习python