爬取天堂电影，结果有乱码看了页面源代码charset=gb2312"，而我使用response.apparent_encoding之后得到是windows-1254，gbk和windows-1254都尝试过，前者显示 后者显示! 求大佬解惑

r=requests.get(url)时，出现UnicodEncodeError :'latin-1' codec can't encode charecter '\u2026'

目标网站：知乎 Pyrhon版本：3.6 ``` agent = 'Mozilla/5.0 (Windows NT 6.1; W…) Gecko/20100101 Firefox/59.0' header = { 'HOST': 'www.zhihu.com', 'Referer': 'https://www.zhihu.com', 'User-Agent': agent } response = requests.get('https://www.zhihu.com', headers=header) ``` 报错内容： ``` Traceback (most recent call last): File "<stdin>", line 1, in <module> File "C:\Anaconda3\lib\site-packages\requests\api.py", line 72, in get return request('get', url, params=params, **kwargs) File "C:\Anaconda3\lib\site-packages\requests\api.py", line 58, in request return session.request(method=method, url=url, **kwargs) File "C:\Anaconda3\lib\site-packages\requests\sessions.py", line 518, in request resp = self.send(prep, **send_kwargs) File "C:\Anaconda3\lib\site-packages\requests\sessions.py", line 639, in send r = adapter.send(request, **kwargs) File "C:\Anaconda3\lib\site-packages\requests\adapters.py", line 438, in send timeout=timeout File "C:\Anaconda3\lib\site-packages\requests\packages\urllib3\connectionpool.py", line 600, in urlopen chunked=chunked) File "C:\Anaconda3\lib\site-packages\requests\packages\urllib3\connectionpool.py", line 356, in _make_request conn.request(method, url, **httplib_request_kw) File "C:\Anaconda3\lib\http\client.py", line 1239, in request self._send_request(method, url, body, headers, encode_chunked) File "C:\Anaconda3\lib\http\client.py", line 1280, in _send_request self.putheader(hdr, value) File "C:\Anaconda3\lib\http\client.py", line 1212, in putheader values[i] = one_value.encode('latin-1') UnicodeEncodeError: 'latin-1' codec can't encode character '\u2026' in position 30: ordinal not in range(256) ``` \u2026好像是空格，看了下源码，好像是空格要转latin-1这种编码失败了， 我上面有空格的是agent，要用来伪装浏览器，这可怎么办， 而且在我看的那个知乎爬虫视频中，他也是有空格的，却不出错，这是我的环境有问题吗， 请大佬们能指点一下

这个爬的是智联的招聘信息，在爬了上千条数据后就容易出现这个错误。 Traceback (most recent call last): File "G:/python/zhilian_crawler/crawler3.py", line 284, in <module> get_more_page(1,91) File "G:/python/zhilian_crawler/crawler3.py", line 170, in get_more_page get_page(url+str(one)) File "G:/python/zhilian_crawler/crawler3.py", line 28, in get_page get_more_data(soup) File "G:/python/zhilian_crawler/crawler3.py", line 159, in get_more_data webData=requests.get(url0) File "D:\Python3\lib\requests\api.py", line 70, in get return request('get', url, params=params, **kwargs) File "D:\Python3\lib\requests\api.py", line 56, in request return session.request(method=method, url=url, **kwargs) File "D:\Python3\lib\requests\sessions.py", line 475, in request resp = self.send(prep, **send_kwargs) File "D:\Python3\lib\requests\sessions.py", line 596, in send r = adapter.send(request, **kwargs) File "D:\Python3\lib\requests\adapters.py", line 473, in send raise ConnectionError(err, request=request) requests.exceptions.ConnectionError: ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))

直接用requests.get就可以 ``` response = requests.get("https://movie.douban.com/top250?start=0&filter=") print(response.text) ``` 但是我按照教程上的步骤就不可以，是我的代码哪里出了问题吗？ ``` import requests from requests.exceptions import RequestException def get_one_page(url): try: response = requests.get(url) if response.status_code == 200: return response.text return None except RequestException: return None def main(): url = 'https://movie.douban.com/top250?start=0&filter=' html = get_one_page(url) print(html) if __name__ == '__main': main() ``` 

安装bs4库出错  安装requests库出错  请大家帮我看一下，我不知道怎么悬赏C币，解答可转C币

使用requests和bs4库 静态爬取页面[2017年数据](http://www.zuihaodaxue.com/zuihaodaxuepaiming2017.html "") Soup获得部分源码如图  对应网页源码如图  可见，该tr中第一个&lt;td&gt1&lt;/td&gt;;在Soup中变成了&lt;td&gt;1&lt;td&gt; ,而末尾处也多了一个&lt;/td&gt; 该问题发生在每一个tr中，但爬取[2016年数据](http://www.zuihaodaxue.com/zuihaodaxuepaiming2016.html "")并没有出现该问题。 代码照抄教程，应该不存在问题

网页下载器模块编写，怎样使用requests模拟登陆新浪微博？

在response.html.render时报错   这个是什么原因呢，求解答

我买了一个带密码的虚拟IP，怎么让爬虫用requests函数使用这个虚拟IP访问网站？ ``` ```

疫情原因在家没事，想通过网站： https://wp.m.163.com/163/page/news/virus_report/index.html?_nw_=1&_anw_=1 获取每日的疫情情况（此处为确诊人数）  结果获取的html中并没有数据，仅有横杠，如下  代码： r=requests.get('https://wp.m.163.com/163/page/news/virus_report/index.html',params={'_nw_':1,'_anw_':'1'}) r=r.content print(r) txt=etree.HTML(r) print(txt) 各位大佬帮忙看看 --- 谢谢大佬天际的海浪点拨 在查看了相关爬虫的文章 [Python新手写出漂亮的爬虫代码2——从json获取信息](Python新手写出漂亮的爬虫代码2——从json获取信息 "") 通过request.get()方法获取到的网页是静态的，但是数据是通过json传入的。 需要通过F12工具查看js及xhr，确定数据来源

比如我在百度文库下个课件，http://youke.baidu.com/view/05984a27b4daa58da0114ac6， 我用urllib2或者request，我可以用urllib2.open(url)或者requests.get(url)来打开页面，但是不知道如何写cookie的，就是让浏览器认为你已经登录了，请问如何写urllib或者requests.get呢？谢谢

代码是这样的，用来获取我的pocket里标签为‘y’的内容： ``` ``` yes_params = {'consumer_key': '77081-4664470ecdeaa9c127925c30', 'access_token': 'f12deb4e-8ead-9f98-430c-baaee7&username=jelly.wxt%40gmail.com', 'tag': 'y'} yes_result = requests.post('https://getpocket.com/v3/get', data = yes_params) yes_result.text 结果是返回了401。问题出在哪里呢？

``` from lxml import etree import requests import xlwt import xlrd class qunawang(object): def __init__(self): self.f = xlwt.Workbook() # 创建工作薄 self.sheet1 = self.f.add_sheet(u'景点信息', cell_overwrite_ok=True) # 命名table self.rowsTitle = [u'编号',u'景点名', u'景点介绍', u'景点价格', u'景点地址', u'景点网址'] # 创建标题 for i in range(0, len(self.rowsTitle)): # 最后一个参数设置样式 self.sheet1.write(0, i, self.rowsTitle[i], self.set_style('Times new Roman', 220, True)) # Excel保存位置 self.f.save('F:/information/viewspot.xlsx') def set_style(self, name, height, bold=False): style = xlwt.XFStyle() # 初始化样式 font = xlwt.Font() # 为样式创建字体 font.name = name font.bold = bold font.colour_index = 2 font.height = height style.font = font return style def getUrl(self): #加入自动换Url功能 url = ('http://piao.qunar.com/ticket/list.htm?keyword=%E5%8D%97%E4%BA%AC&region=&from=mpl_search_suggest&page=2') self.spiderPage(url) def spiderPage(self,url): if url is None: return None try: data=xlrd.open_workbook('F:/information/viewspot.xlsx') table=data.sheets()[0] rowCount=table.nrows#获取行数 user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36' headers={'User-Agent':user_agent} respon=requests.get(url,headers=headers) htmltext=respon.text s = etree.HTML(htmltext) trs = s.xpath('//*[@id="search-list"]/div') m=0 for tr in trs: data=[] title = tr.xpath('./div/div[2]/h3/a/text()') location = tr.xpath('./div/div[2]/div/p/span/text()') introduce = tr.xpath('./div/div[2]/div/div[2]/text()') price = tr.xpath('./div/div[3]/table/tr[1]/td/span/em/text()') website = tr.xpath('./div/div[2]/h3/a/@href') title=title[0] if title else '' location=location[0] if location else '' introduce=introduce[0] if introduce else '' price=price[0] if price else '' website=website[0] if website else '' data.append(rowCount+m) data.append(title) data.append(introduce) data.append(price) data.append(location) data.append(website) for i in range(len(data)): self.sheet1.write(rowCount+m,i,data[i]) m+=1 print(m) print(title, introduce, price, location, website) finally: self.f.save('F:/information/viewspot.xlsx') if '_main_': qn=qunawang() qn.getUrl() ``` 刚刚接触爬虫，参考了网上的一些代码，爬取的是去哪网南京的景点，我想加入可以翻页的功能，该如何添加

我用python的requests和bs4库提取百度的页面，为什么只提取出一小段文字呢？不知道是不是http和https的问题。我改成http就可以得到完整的源代码。如果是这个问题的话，应该怎么解决呢？ ``` >>> r= requests.get("https://www.baidu.com/s?wd=s") >>> r.text '<html>\r\n<head>\r\n\t<script>\r\n\t\tlocation.replace(location.href.replace("https://","http://"));\r\n\t</script>\r\n</head>\r\n<body>\r\n\t<noscript><meta http-equiv="refresh" content="0;url=http://www.baidu.com/"></noscript>\r\n</body>\r\n</html>' ```

 我想要解析出图中的链接，通过先识别 li 定位。可是查看soup的文本，所有data-\* 都没有解析出来 代码如下 ``` keywords = input('输入关键词PLZ') res = requests.get('https://www.bing.com/search?q='+str(keywords)+'&qs=n&form=QBLH&scope=web&sp=-1&pq=abc&sc=8-5&sk=&cvid=3FE7B447AE744DD1AF25B5919EE1B675') try: res.raise_for_status() except Exception as ecp: print('There is an Exception:',ecp) soup = bs4.BeautifulSoup(res.text,'html.parser') ol = soup.find('ol',id='b_results') linkElement = soup.find_all(attrs={'data-bm':'7'}) ``` 结果linkElement为空

Python 爬虫如何获取onclick里面内容，不需要用selenium 模拟点击，而是直接获得哦你click返回参数？具体比如说 https://www.tripadvisor.com/ShowUserReviews-g57592-d416577-r357988112-The_Ivy_Inn_Restaurant-Charlottesville_Virginia.html#REVIEWS Tripadvisor 网站，crawl的时候我需要点击next 刷新界面 <a data-page-number="2" data-offset="4" href="/ShowUserReviews-g57592-d416577-r357988112-The_Ivy_Inn_Restaurant-Charlottesville_Virginia.html#or5" class="nav next rndBtn ui_button primary taLnk" onclick=" ta.trackEventOnPage('STANDARD_PAGINATION', 'next', '2', 0); ">Next</a> 但是这个next 执行之后url从 https://www.tripadvisor.com/ShowUserReviews-g57592-d416577-r357988112-The_Ivy_Inn_Restaurant-Charlottesville_Virginia.html#or0 变成 https://www.tripadvisor.com/ShowUserReviews-g57592-d416577-r357988112-The_Ivy_Inn_Restaurant-Charlottesville_Virginia.html#or05 就是 从 xxx#or0 变成 xxx#or5 也就是说是只是改变了hashtag， scrapy 的request 是只能获取hashtag之前的url，无法区分第一页和第二页。 所以我就想知道，如何能crawl这个页面，并且继续crawl下一个界面。 非常感谢修改

我用python的request抓取别人网站抓了几100条左右就卡死了是什么情况？ ``` page=request.GET.get('page') for pages in range(1,int(page)+1): data = requests.get("http://okokzy.cc/?m=vod-type-id-1-pg-"+str(pages)+".html") data.encoding = "utf-8" data = data.text data = etree.HTML(data) name = data.xpath("//div[@class='xing_vb']/ul/li/span[@class='xing_vb4']/a/text()") link = data.xpath("//div[@class='xing_vb']/ul/li/span[@class='xing_vb4']/a/@href") listcode = 0 print(link) ``` 没有任何报错也没有发现任何异常就是打印出来的东西打印到某一条到时候就不动了

在网上学习了一下爬虫，学习到的代码有一段大概是： ```python from requests_html import HTMLSession session = HTMLSession() browser = session.get('某个专门搜索壁纸的网站') images = browser.html.find('ul.clearfix > li > a') ``` **（而且一开始输入.html，这个html还会报warning，说是未被解析的类的属性）**  这里为什么没有.html的提示（find也没有）？能设置出来吗？ 还有在获取图片属性为href的url时： ```python for image in images: image_url = image.attrs['href'] ``` 这里的image.attrs也没有提示，一般在使用时有代码提示就会很方便，而且对于新的东西也感觉很容易上手，虽然这些东西在[官方手册](http://html.python-requests.org/)中也有，但如果能设置出来的话还是会很好的，求指教，非常感谢

今年，我也32了 ，为了不给大家误导，咨询了猎头、圈内好友，以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助，记得帮我点赞哦。 目录： 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时，拿着傲人的工资，想着好好干，以为我们的人生是这样的： 等真到了那一天，你会发现，你的人生很可能是这样的： ...

程序员在一个周末的时间，得了重病，差点当场去世，还好及时挽救回来了。

数据结构与算法思维导图

老生常谈的一个梗，到2020了还在争论，你们一天天的，哎哎哎，我不是针对你一个，我是说在座的各位都是人才！ 上图红色的这3个箭头，对于通过new产生一个字符串（”宜春”）时，会先去常量池中查找是否已经有了”宜春”对象，如果没有则在常量池中创建一个此字符串对象，然后堆中再创建一个常量池中此”宜春”对象的拷贝对象。 也就是说准确答案是产生了一个或两个对象，如果常量池中原来没有 ”宜春” ,就是两个。...

昨天早上通过远程的方式 review 了两名新来同事的代码，大部分代码都写得很漂亮，严谨的同时注释也很到位，这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时，还是忍不住破口大骂：“我擦，小王，你丫写的 switch 语句也太老土了吧！” 来看看小王写的代码吧，看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

文章目录Linux 概述什么是LinuxUnix和Linux有什么区别？什么是 Linux 内核？Linux的基本组件是什么？Linux 的体系结构BASH和DOS之间的基本区别是什么？Linux 开机启动过程？Linux系统缺省的运行级别？Linux 使用的进程间通信方式？Linux 有哪些系统日志文件？Linux系统安装多个桌面环境有帮助吗？什么是交换空间？什么是root帐户什么是LILO？什...

一、背景 在开发联调阶段发现一个接口的响应时间特别长，经常超时，囧… 本文讲讲是如何定位到性能瓶颈以及修改的思路，将该接口从 2 s 左右优化到 200ms 以内 。 二、步骤 2.1 定位 定位性能瓶颈有两个思路，一个是通过工具去监控，一个是通过经验去猜想。 2.1.1 工具监控 就工具而言，推荐使用 arthas ，用到的是 trace 命令 具体安装步骤很简单，大家自行研究。 我的使用步骤是...

微信上收到一位读者小涛的留言，大致的意思是自己只有高中学历，经过培训后找到了一份工作，但很难胜任，考虑要不要辞职找一份他能力可以胜任的实习工作。下面是他留言的一部分内容： 二哥，我是 2016 年高中毕业的，考上了大学但没去成，主要是因为当时家里经济条件不太允许。 打工了三年后想学一门技术，就去培训了。培训的学校比较垃圾，现在非常后悔没去正规一点的机构培训。 去年 11 月份来北京找到了一份工...

讲一讲什么是Java内存模型 Java内存模型虽说是一个老生常谈的问题 ，也是大厂面试中绕不过的，甚至初级面试也会问到。但是真正要理解起来，还是相当困难，主要这个东西看不见，摸不着。 这是一个比较开放的题目，面试官主要想考察的是对Java内存模型的了解到了什么程度了，然后根据回答进行进一步的提问 下面，我们就这个问题的回答列一下我们的思路 具体的思路如下： 说一说Java内存模型的缘由 简略辨析...

互联网公司工作，很难避免不和黑客们打交道，我呆过的两家互联网公司，几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找 Sql 注入的缺口，有的是寻找线上服务器可能存在的漏洞，大部分都...

浏览器再现“神仙打架”。整理 | 屠敏头图 | CSDN 下载自东方 IC出品 | CSDN（ID：CSDNnews）从 IE 到 Chrome，再从 Chrome 到 Edge，微软与...

loonggg读完需要3分钟速读仅需 1 分钟大家好，我是你们的校长。我之前讲过，这年头，只要肯动脑，肯行动，程序员凭借自己的技术，赚钱的方式还是有很多种的。仅仅靠在公司出卖自己的劳动时...

最近有个老铁，告诉我说，上班一个月，后悔当初着急入职现在公司了。他之前在美图做手机研发，今年美图那边今年也有一波组织优化调整，他是其中一个，在协商离职后，当时捉急找工作上班，因为有房贷供着，不能没有收入来源。所以匆忙选了一家公司，实际上是一个大型外包公司，主要派遣给其他手机厂商做外包项目。**当时承诺待遇还不错，所以就立马入职去上班了。但是后面入职后，发现薪酬待遇这块并不是HR所说那样，那个HR自...

昨天看到一档综艺节目，讨论了两个话题：（1）中国学生的数学成绩，平均下来看，会比国外好？为什么？（2）男生的数学成绩，平均下来看，会比女生好？为什么？同时，我又联想到了一个技术圈经常讨...

故事总是一个接着一个到来...上周写完《鲁大师已经彻底沦为一款垃圾流氓软件！》这篇文章之后，鲁大师的市场工作人员就找到了我，希望把这篇文章删除掉。经过一番沟通我先把这篇文章从公号中删除了...

蒋凡是何许人也？ 2017年12月27日，在入职4年时间里，蒋凡开挂般坐上了淘宝总裁位置。 为此，时任阿里CEO张勇在任命书中力赞： 蒋凡加入阿里，始终保持创业者的冲劲，有敏锐的...

原博客再更新，可能就没了，之后将持续更新本篇博客。

提到“程序员”，多数人脑海里首先想到的大约是：为人木讷、薪水超高、工作枯燥…… 然而，当离开工作岗位，撕去层层标签，脱下“程序员”这身外套，有的人生动又有趣，马上展现出了完全不同的A/B面人生！ 不论是简单的爱好，还是正经的副业，他们都干得同样出色。偶尔，还能和程序员的特质结合，产生奇妙的“化学反应”。 @Charlotte：平日素颜示人，周末美妆博主 大家都以为程序媛也个个不修边幅，但我们也许...

文章目录数据库基础知识为什么要使用数据库什么是SQL？什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式？分别有什么区别？数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别？InnoDB引擎的4大特性存储引擎选择索引什么是索引？索引有哪些优缺点？索引使用场景（重点）...

有个好朋友ZS，是技术总监，昨天问我：“有一个老下属，跟了我很多年，做事勤勤恳恳，主动性也很好。但随着公司的发展，他的进步速度，跟不上团队的步伐了，有点...

私下里，有不少读者问我：“二哥，如何才能写出一份专业的技术简历呢？我总感觉自己写的简历太烂了，所以投了无数份，都石沉大海了。”说实话，我自己好多年没有写过简历了，但我认识的一个同行，他在阿里，给我说了一些他当年写简历的方法论，我感觉太牛逼了，实在是忍不住，就分享了出来，希望能够帮助到你。 01、简历的本质 作为简历的撰写者，你必须要搞清楚一点，简历的本质是什么，它就是为了来销售你的价值主张的。往深...

有小伙伴问松哥这个问题，他在上海某公司，在离职了几个月后，前公司的领导联系到他，希望他能够返聘回去，他很纠结要不要回去？ 俗话说好马不吃回头草，但是这个小伙伴既然感到纠结了，我觉得至少说明了两个问题：1.曾经的公司还不错；2.现在的日子也不是很如意。否则应该就不会纠结了。 老实说，松哥之前也有过类似的经历，今天就来和小伙伴们聊聊回头草到底吃不吃。 首先一个基本观点，就是离职了也没必要和老东家弄的苦...

往往，我们看不进去大段大段的逻辑。深刻的哲理，往往短而精悍，一阵见血。问：产品经理挺漂亮的，有点心动，但不知道合不合得来。男生更看重女生的身材脸蛋，还是...

都是出来打工的，多为自己着想

本文作者用对比非常鲜明的两个开发团队的故事，讲解了敏捷开发之道 —— 如果你的团队缺乏统一标准的环境，那么即使勤劳努力，不仅会极其耗时而且成果甚微，使用...

二哥，有个事想询问下您的意见，您觉得应届生值得去外包吗？公司虽然挺大的，中xx，但待遇感觉挺低，马上要报到，挺纠结的。

当HR压你价，说你只值7K时，你可以流畅地回答，记住，是流畅，不能犹豫。 礼貌地说：“7K是吗？了解了。嗯~其实我对贵司的面试官印象很好。只不过，现在我的手头上已经有一份11K的offer。来面试，主要也是自己对贵司挺有兴趣的，所以过来看看……”（未完） 这段话主要是陪HR互诈的同时，从公司兴趣，公司职员印象上，都给予对方正面的肯定，既能提升HR的好感度，又能让谈判气氛融洽，为后面的发挥留足空间。...

HashMap底层实现原理，红黑树，B+树，B树的结构原理 Spring的AOP和IOC是什么？它们常见的使用场景有哪些？Spring事务，事务的属性，传播行为，数据库隔离级别 Spring和SpringMVC，MyBatis以及SpringBoot的注解分别有哪些？SpringMVC的工作原理，SpringBoot框架的优点，MyBatis框架的优点 SpringCould组件有哪些，他们...

面试阿里p7被问到的问题(当时我只知道第一个)：@Conditional是做什么的?@Conditional多个条件是什么逻辑关系？条件判断在什么时候执...

终于懂了TCP和UDP协议区别