用Python的requests.get获取网页源代码出现ConnectionError 1C

如下为具体报错:
requests.exceptions.ConnectionError: HTTPConnectionPool(host='seth_shy', port=80): Max retries exceeded with url: http://www.jikexueyuan.com/ (Caused by ProxyError('Cannot connect to proxy.', NewConnectionError(': Failed to establish a new connection: [Errno 11004] getaddrinfo failed',)))

4个回答

这个估计是电脑的系统安全限制的原因,我用的是公司的电脑,如果不加公司的代理就是访问不了的。

代理连不上 或者你的目标机器访问不了

qq_34358013
qq_34358013 网络什么的都没有问题,网站也没有问题
3 年多之前 回复
qq_34358013
qq_34358013 那请问要怎么修复呢?
3 年多之前 回复

用神箭手云爬虫吧,自带高匿ip代理。

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
为什么requests.get无法访问网页?
[code=python]import jsonrnimport rernfrom urllib.parse import urlencodernimport requestsrnfrom bs4 import BeautifulSouprnfrom requests import RequestExceptionrnrnrndef get_one_index(offset, keyword):rn data = rn 'offset': offset,rn 'format': 'json',rn 'keyword': keyword,rn 'autoload': 'true',rn 'count': '20',rn 'cur_tab': 1rn rn url = 'https://www.toutiao.com/search_content/?' + urlencode(data)rn try:rn response = requests.get(url)rn if response.status_code == 200:rn return response.textrn return Nonern except RequestException:rn print('请求索引页出错')rn return Nonernrnrndef parse_page_index(html):rn data = json.loads(html) # json.load用法:原本是字符串形式,转化成一个对象rn if data and 'data' in data.keys(): # keys用法:返回字典的所有键值rn for item in data.get('data'):rn yield item.get('article_url')rnrnrndef get_page_detail(url):rn try:rn headers = 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 'rn '(KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0'rn response = requests.get(url, headers=headers)rn if response.status_code == 200:rn return response.textrn return Nonern except RequestException:rn print(u'请求详情页出错')rn return Nonernrnrndef parse_page_detail(html): # 解析详情页rn soup = BeautifulSoup(html, 'lxml')rn title = soup.select('title')[0].get_text()rn print(title)rn images_pattern = re.compile('var gallery = (.*?);', re.S)rn result = re.search(images_pattern, html)rn if result:rn print(result.group(1))rnrnrndef main():rn html = get_one_index(0, '街拍')rn for url in parse_page_index(html):rn html = get_page_detail(url)rn if html:rn parse_page_index(html)rnrnrnmain()rn[/code]rnrn想要制作一个爬取今日头条街拍的网络爬虫,但是最后结果一直显示详情页出错,加了headers也没用,求大神指教!
(2)获取网页源代码——Python
Python版:超级简短 #!/usr/bin/python #-*- coding: utf-8 -*- import urllib2 response = urllib2.urlopen("http://www.baidu.com") print response.read() POST方式: #!/usr/bin/python #-*- coding: utf-8 -*- impor...
python问题ConnectionError: [Errno 10061]
刚接触python和tornado,从github下载的代码,一直提示一行的错误,源代码如下:rn[code=python]# # coding=utf-8rn# __author__ = 'fang'rnimport datetimernimport simplejson as jsonrnimport hashlibrnimport tornado.webrnimport tornado.escapernimport tornadoredisrnfrom common.common import addlog, mysqlrnrnrnallow_url = ['/', '/login', '/register']rnrnclass BaseHandler(tornado.web.RequestHandler):rn def initialize(self):rn self.redis = tornadoredis.Client()rn self.redis.connect()rnrn def prepare(self):rn #get iprn self.ip = self.request.remote_iprnrn #权限控制rn path = self.request.urirn is_redirect = Truernrn if not self.current_user:rn for i in allow_url:rn if path.startswith(i):rn is_redirect = Falsern breakrnrn else:rn is_redirect = Falsernrn if is_redirect:rn self.redirect('/login')rnrn def write_error(self, status_code, **kwargs):rn #重写自定义错误页面rn if status_code == 400:rn error = "400: Bad Request"rn self.render('error.html', error=error)rn if status_code == 405:rn error = "405: Method Not Allowed"rn self.render('error.html', error=error)rn if status_code == 404:rn error = "404: Page Not Found"rn self.render('error.html', error=error)rnrnrnrn @addlogrn def get(self, *args, **kwargs):rn passrnrn @addlogrn def post(self, *args, **kwargs):rn passrnrn def get_current_user(self):rn return self.get_secure_cookie('user')rnrn def user_type(self):rn passrnrnrnclass Home(BaseHandler):rn # @tornado.web.authenticatedrn def get(self, *args, **kwargs):rn if not self.get_secure_cookie('uid'):rn self.set_secure_cookie('uid', self.ip,expires_days=1)rnrn name = Nonern if self.current_user:rn name = tornado.escape.xhtml_escape(self.current_user)rn self.render('index.html', name= name)rnrn#loginrnclass LoginHandler(BaseHandler):rn def get(self, *args, **kwargs):rn next = self.get_argument('next', '')rn if next:rn self.set_cookie('next', next)rn self.render('login.html', err_msg='')rnrn def post(self, *args, **kwargs):rn name = self.get_argument('name')rn pwd = self.get_argument('pwd')rn if name and pwd:rn pwd = hashlib.new('md5', pwd).hexdigest()rn column = ('id', 'login_count')rn sql = "select id,login_count from user where username='%s' and password='%s'" %(name, pwd)rn result = mysql(sql, 1, column).runrn if result:rn self.set_secure_cookie('user', name)rn sql = "update user set last_login='%s', login_count=%s where id=%s" %(rn datetime.datetime.now(),rn result['login_count']+1,rn result['id']rn )rn mysql(sql, 2)rn #写入redisrn next = self.get_cookie('next', '/')rn self.redirect(str(next))rn err_msg = u'账号密码错误'rn self.render('login.html', err_msg=err_msg)rnrn#logoutrnclass LogoutHandler(BaseHandler):rn @tornado.web.asynchronous # 加入异步装饰器的请求就不会被等待阻塞,可以并发请求了rn def get(self, *args, **kwargs):rn self.clear_cookie('user') # 清除用户cookiern #self.db.redis.rpop('save_name')rn self.redirect('/')rnrnrnrn#注册rnclass Register(BaseHandler):rn def get(self, *args, **kwargs):rn self.render('register.html', msg='')rnrn def post(self, *args, **kwargs):rn username = self.get_argument('us', None)rn pwd = self.get_argument('pwd', None)rn pwd2 = self.get_argument('pwd2', None)rn code = self.get_argument('code', None)rn msg = ''rn if username and pwd and pwd2:rn sql = "select id from user where username like '%s'" % ('%'+username+'%')rn status = mysql(sql,1,('id')).runrn if status:rn msg = u'该用户名已被注册 'rn if pwd != pwd2:rn msg = u'密码不一致 'rnrn else:rn msg = u'请补全信息'rn if msg:rn self.render('register.html', msg=msg)rn else:rn import datetimern print 'aaaaaaa', usernamern hash_pwd = hashlib.new("md5", pwd).hexdigest()rn sql = """insert into user(username, password, add_time) values ('%s', '%s', '%s')""" %(rn username, hash_pwd, datetime.datetime.now().strftime('%Y-%m-%d')rn )rn mysql(sql, 2).runrn self.redirect('/login')rn[/code]rn错误提示为:rn[E 150203 15:14:35 http1connection:53] Uncaught exceptionrn Traceback (most recent call last):rn File "E:\python\lib\site-packages\tornado-4.0.2-py2.7-win32.egg\tornado\http1connection.py", line 234, in _read_messagern delegate.finish()rn File "E:\python\lib\site-packages\tornado-4.0.2-py2.7-win32.egg\tornado\httpserver.py", line 282, in finishrn self.delegate.finish()rn File "E:\python\lib\site-packages\tornado-4.0.2-py2.7-win32.egg\tornado\web.py", line 1884, in finishrn self.execute()rn File "E:\python\lib\site-packages\tornado-4.0.2-py2.7-win32.egg\tornado\web.py", line 1904, in executern **self.handler_kwargs)rn File "E:\python\lib\site-packages\tornado-4.0.2-py2.7-win32.egg\tornado\web.py", line 180, in __init__rn self.initialize(**kwargs)rn File "E:\jee workplace\res\src\handlers\web.py", line 17, in initializern self.redis.connect()rn File "E:\python\lib\site-packages\tornadoredis\client.py", line 333, in connectrn self.connection.connect()rn File "E:\python\lib\site-packages\tornadoredis\connection.py", line 79, in connectrn raise ConnectionError(str(e))rn ConnectionError: [Errno 10061] rn希望各位不吝赐教。。。。rnrn
python requests.get得到的中文编码错误
在练习爬虫的时候requests.get一个网站rn打印出来的得到的text中文是rn&#x 5BF6;&#x 8C9D;&#x 9F8D;的(为了防止网页自动编码在&#x后面敲了空格)。其他网站都能正常显示 。rn找了很多方法都没法普通的显示成中文。rnrn代码rnrn```rnimport requestsrnimport chardetrnresponse = requests.get("https://store.playstation.com/zh-hant-hk/grid/STORE-MSF86012-SPECIALOFFER/1?smcid=hk-chs_ps%3Acom_header")rnprint(response.text)rn```
用Python获取网页数据
#coding=utf-8 import urllib.request import re import time #lxml提供了丰富的操作xml的api from lxml import etree #获取指定url响应页面内容 def getHtml(url):     page = urllib.request.urlopen(url)     html
Python requests.get()请求失败404错误
我在做Python爬虫时,通过链接直接请求是可以的,返回200,但我用变量代替链接发起请求时却得到了404错误,我不知道为什么会这样,哪位大佬可以解答一下吗?[img=https://img-bbs.csdn.net/upload/201902/24/1550940910_333389.png][/img][img=https://img-bbs.csdn.net/upload/201902/24/1550940910_763545.png][/img]
python爬虫requests.get出错的解决方法
发现所有网站都访问不了,原来是在运行fiddler的时候自动挂了代理将使用代理服务器的选项关掉即可
获取网页源代码HTML的时候出现的错误
无法将类型为“System.Net.FileWebRequest”的对象强制转换为类型“System.Net.HttpWebRequest”。 rn说明: 执行当前 Web 请求期间,出现未处理的异常。请检查堆栈跟踪信息,以了解有关该错误以及代码中导致错误的出处的详细信息。 rnrn异常详细信息: System.InvalidCastException: 无法将类型为“System.Net.FileWebRequest”的对象强制转换为类型“System.Net.HttpWebRequest”。rn
requests.get()爬去中文网页乱码解决方法
requests.get()爬去中文网页乱码解决方法 当我们使用requests.get()爬取百度首页时会发现,返回的html代码中的中文发生乱码。 import requests headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)...
Python爬虫第一步之获取网页源代码
“’ python #coding=utf-8 import urllibdef getHtml(url): page = urllib.urlopen(url) html = page.read() return htmlhtml = getHtml(“http://blog.sina.com.cn/“) “’ # coding=utf-8 PY文件当中是
python的requests.get()方法获取百度搜索结果页面失败的问题
昨天学到python的requests模块,准备获取一下百度搜索的结果,然后把相关链接打开,在get()结果页的时候一直取不到, keyword=input(‘输入要搜索的关键字:’) res=requests.get('https://www.baidu.com/s?wd=’+keyword) 取出来的html文件是这样的 <html> <head> <scrip...
网页中出现源代码
2000 server,网页中经常出现源代码,尤其是开始定义的函数等
用MFC实现获取网页源代码
菜鸟刚学MFC,希望不要跨度太大,看不懂,有完整的步骤最好,在什么地方添加什么都给我讲下好不好?谢谢~~~
怎么用VB获取网页的源代码啊
我想实现以下的功能:rn1、先获取网页的源代码rn2、提取特定的数据rn3、将数据导进数据库中(或文本文件中)rnrn求高手解答啊!!!!!!!!!
用WebClient的DownloadData获取网页源代码遇到问题!!
用WebClient的DownloadData获取网页源代码!rnrn如果15秒内没有得到内容,也就是说网页所作服务器无反应,需要返回一个错误提示,这个该怎么做?
用XMLHTTPRequest获取网页源代码的疑问?
[code=JScript]rnfunction addLoadEvent(func)rn var oldonload=window.onload;rn if(typeof window.onload!='function')rn window.onload=func;rn elsern window.onload=function()rn oldonload();rn func();rn rn rnrnrnrnaddLoadEvent(doth); rnrnrnvar READY_STATE_UNINITIALIZED=0;rnvar READY_STATE_LOADING=1;rnvar READY_STATE_LOADED=2;rnvar READY_STATE_INTERACTIVE=3;rnvar READY_STATE_COMPLETE=4;rn rnvar req=null;rnvar console=null;rn rn rnfunction sendRequest(url,params,HttpMethod)rn if(!HttpMethod)rn HttpMethod="GET";rn rn req=initXMLHTTPRequest();rn if(req)rn req.onreadystatechange=onReadyStateChange;rn req.open(HttpMethod,url,true);rn req.setRequestHeader("Content-Type","application/x-www-form-urlencoded");rn req.setRequestHeader("Pragma", "no-cache");rn rn req.send(params);rn rnrnrnfunction initXMLHTTPRequest()rn var xRequest=null;rn if(window.XMLHttpRequest)rn xRequest=new XMLHttpRequest();rn else if(typeof ActiveXObject!="undefined")rn xRequest=new ActiveXObjectrn ("Microsoft.XMLHTTP");rn rn return xRequest;rnrnrnfunction onReadyStateChange()rn var ready=req.readyState;rn check=req.readyState;rn var data=" ";rn if(ready==READY_STATE_COMPLETE)rn data=req.responseText;rn rn rn rn toConsole(data);rnrnrnfunction toConsole(data)rn if(console!=null)rn var newline=document.createElement("div");rn newline.id="comedata";rn console.appendChild(newline);rn var txt=document.createTextNode(data);rn newline.appendChild(txt);rnrn rn rnrnrnfunction doth()rn console=document.getElementById('console');rn sendRequest("data.txt")rnrnrnrn[/code]rnrn获取本地data.txt里的内容一切正常。rn我将data.txt换成url为什么显示的结果是一片空白呢?
用VBS获取网页源代码.vbs
用VBS获取网页源代码.vbs set http=createobject("Microsoft.XMLHTTP") '\\调用XMLHTTP对象 url="http://www.119880.com/qq.txt" '\\赋予变量URL值 Set hhh = createObject("Microsoft.XMLHTTP") hhh.open "get",url,false '\\定义打开URL方式 hhh.send '\\发送数据 zhi=zhuanghuan(Http.responsebody) '\\变量zhi等于网页内容 Set fso = Wscript.CreateObject("Scripting.FileSystemObject") '声明 Set f = fso.CreateTextFile&#40;"txtx.txt"&#41; '创建文件,其中f可任意,包含缩略名 f.WriteLine(zhi) '写文件内容,该命令功能太简单,目前看来只能用于TXT文件 f.Close Function zhuanghuan(vIn) strReturn = "" For i = 1 To LenB(vIn) ThisCharCode = AscB(MidB(vIn,i,1)) If ThisCharCode < &H80; Then strReturn = strReturn & Chr(ThisCharCode) Else NextCharCode = AscB(MidB(vIn,i+1,1)) strReturn = strReturn & Chr(CLng(ThisCharCode) * &H100; + CInt(NextCharCode)) i = i + 1 End If Next zhuanghuan = strReturn End Function
用inet获取网页源代码时的问题
用inet获取网页源代码,有时由于网络问题,获取的源代码不正确,想做一个循环判断,使inet不断刷新网页,直到获得正确的源代码,本人菜鸟,希望高手能直接给一下程序rn比如要查找的网页是http://sh.ganji.com/qzshichangyingxiao/rn 需要查询到的字符段是""
HTTP 获取网页源代码
1、通过访问URL,获取该URL对应的网页源代码 2、将获取到的网页源代码写入本地文件
获取网页纯文本,源代码
获取网页的纯文本信息内容,测试通过,也可修改抓取源码
获取网页源代码vb
这时一个自动获取网页源代码的vb6源程序,挺好用的。可以做刷题机器的底包
获取网页源代码
  package webcon; import java.io.BufferedReader; public class WebCon { // 获取网页源代码 public String getWebCon(String pageURL,String encoding) { // StringBuffer sb = new StringBuffer();...
如何获取网页源代码?
看了一些资料,都是用BHO,我写了一个,通过获取Document,再获取body,rnrnbody->get_parentElement(&head);rnrnhead->get_innerHTML(&htmlSource);rnrn这样获取源代码的,在网页没有错误的情况下,获取正确,但是一旦网页本身有问题的化,就会导致ie报错关闭,具体的实例就是我在获取youku.com的源代码时,这个错误100%会出现。rnrn有没有其他的方法获取源代码?就像view source一样?
获取网页的源代码问题?
WebRequest request = WebRequest.Create("http:www.baidu.com");rn WebResponse response = request.GetResponse();rn Stream resStream = response.GetResponseStream();rn StreamReader sr = new StreamReader(resStream, System.Text.Encoding.Default);rn //this.Label1.Text = sr.ReadToEnd();//不能得到源代码,为什么呢?rn this.TextBox1.Text = sr.ReadToEnd();//得到网页的源代码rn resStream.Close();rn sr.Close();
winform 获取网页源代码
谁能提供一段winform 根据url获取网页源代码的代码??rn要能摒弃任何错误的,报错404 403 等,谢过了
如何获取网页的源代码!
求助!!谢谢
VC++ 获取网页源代码
VC++ 获取网页源代码 get post
VC获取网页源代码
方便的获取网页源代码,对网页的内容进行复制、修改等。
如何获取网页的源代码?
1.知道 HWND(类名是"Internet Explorer_Server"),如何得到源码?rn2.知道IHTMLDocument2*,如何得到源码?当然由1也可以得到2的指针。rnrn我希望得到源码,随便用什么办法。
爬虫获取网页源代码
话不多说,直接上代码 import urllib.request import re url = "**********" # 确定要爬取的入口链接 # 模拟成浏览器并爬取对应的网页 谷歌浏览器 headers = {'User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like G...
获取网页源代码的问题
利用CInternetSession 获取到了网页的源代码,rn不过网页的格式是UTF-8rn我用的VC是2008版本的,rn这样获取到的源码是乱码,然后利用rnwchar_t* charTowChar_t(char *buffer)rnrn size_t clen=strlen(buffer);rn size_t wlen=MultiByteToWideChar(CP_ACP,0,buffer,clen+1,NULL,0);rn wchar_t *lpRetval=new wchar_t[wlen+1];rn MultiByteToWideChar(CP_ACP,0,buffer,clen+1,lpRetval,wlen);rn lpRetval[wlen]=L'\0';rnrn return lpRetval;rnrn这样函数将其转换为Unicode,rn但是转换的只是非中文 ,中文仍然为乱码,有什么解决办法没?rn谢谢~
java——获取网页源代码
import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.net.URL; import java.net.URLConnection; //数据抓取核心类 public class Copy { // 获取网页数据 /*...
C# 获取网页源代码
提供多种方法获取网页源代码,经测试都可用..
QWebView获取网页源代码
qDebug()&amp;lt;&amp;lt;ui-&amp;gt;webView-&amp;gt;page()-&amp;gt;currentFrame()-&amp;gt;toPlainText(); qDebug()&amp;lt;&amp;lt;ui-&amp;gt;webView-&amp;gt;page()-&amp;gt;currentFrame()-&amp;gt;toHtml(); //其中plaintext是过滤了html标签后的纯文本格式 //toHtml是获取网页...
获取网页源代码的办法!
我大概要对15万个网页进行查询(通过源代码分析数据),如:http://www.163.com/name=000001rn000001是变量,大家告诉我下用什么比较好,而且可以给出简单的代码看下吗?
如何获取网页源代码
我的问题很简单,目标网页使用了脚本技术,就是在网页显示完成后,再用脚本调用网页的其它内容并写入浏览器,比如一本图书的详情、评论什么的。rn我使用delphi的IDHttp控件抓取时,不能抓取这方面的内容。rn然后我使用webbrower网页控件,能显示出,即先有网页显示了整个网页的内容,然后出现“图书详情加载中”,这时估计在运行脚本了,最后图书详情显示出来了。rn我是这么想的,既然显示出来了,那这部分内容肯定在内存的什么地方呀?我找不到,提不出来,我搜索了网站很多获取源码的方法,这部分内容都没法弄出来。rnrn怎么办呢?
VB 获取网页源代码
一个查询某信息的ASP网页,提交采用的是post方法,查找结果的网页必须右键点击“查看源文件”才能看到真正查询结果网页的源代码,用浏览器菜单看到的是查询前的源代码rn用VB有什么办法可以获取到这个查询后的源代码,一般的方法获取到的都是没查询前的源代码,如Inet,webbrowser因为是用post方法,URL没变,好像获取不到。。。
[MFC] 获取网页源代码
使用MFC获取网页源代码,以及一个获取外网IP的方法。
获取网页源代码pb9
别人写的,用PB9调试,获取网页源代码,
获取网页的Html文件 源代码
是一个获取网页html文件的源代码~ 在程序中写网址如“www.xiaonei.com”,html文件被写入对应的result.txt 文本文档中 ~!!
相关热词 c# stream 复制 android c# c#监测窗口句柄 c# md5 引用 c# 判断tabtip 自己写个浏览器程序c# c# 字符串变成整数数组 c#语言编程写出一个方法 c# 转盘抽奖 c#选中treeview