关于requests库,把请求URL的json数据转换为字典类型是报错

老是报这个错误,请指导下是什么原因

图片说明图片说明

2个回答

url放一行吧,或是用连接符连接,再或者用三个单引号括起来

先把response的结果打印出来看看嘛,不要急着转json.我估计是因为数据类型问题。不能转换为json

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
python3.8,也安装了requests库,代码哪里出错了,为什么爬取失败
import requests url = "https://m.ip138.com/ip.asp?ip=" try: r = requests.get(url+'202.204.80.112') r.raise_for_status() r.encoding = r.apparent_encoding print(r.text[-500:]) except: print("爬取失败")
requests能返回数据,aiohttp则不能(响应码204),为什么?
问题描述: 1.用requests能抓到的数据,而一模一样的代码写成async+aiohttp却抓不到(响应码204). 2.一模一样的代码, 用async+aiohttp能抓到同一主机另一站点的数据(响应码200),就是不能抓到该主机‘1’中站点的数据。 想法: a. 因为能抓到另一站点的数据,异步代码肯定没问题。 b.响应码是204。查了下是请求成功,无返回数据。会不会是对于该站点,requests请求到了数据页面,而异步aiohttp却停留在了某个无数据的页面。但aiohttp请求我设置的是allow_redirects=True啊。 请问这到底可能是什么原因?为什么同一站点requests能抓到而aiohttp却抓个空,而aiohttp请求同一主机的另一站点却能抓到?
Python requests模块爬取https网站使用代理的问题
请问在Python使用requests库做爬虫爬取https协议的网站的时候,代理要怎么设置呢? 官方文档的说明如下 import requests proxies = { "http": "http://10.10.1.10:3128", "https": "http://10.10.1.10:1080",} requests.get("http://example.org", proxies=proxies) 我的第一个问题是,为什么 "https": "http://10.10.1.10:1080" 这里对应的ip前面不是https而也是用http呢? 另外,我爬取了http://www.xsdaili.com 上的代理,按照上面的方式通过访问https://httpbin.org/get 验证,但是结果都是代理无法访问(代码如下,d\_ip是示例,实际抓取的ip请见附件)不知道是不是代理的用法有问题。还是所有的代理都无效... 编程新手,对于web相关知识也很有限。希望各位能帮忙解答。 谢谢! import random import requests d_ip = {"https": [ "47.112.200.175:8000", "121.237.149.33:3000", "123.149.136.43:9999"]} headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36'} proxies = {"https" : "http://" + random.choice(d_ip["https"])} r = requests.get("https://httpbin.org/get", headers=headers, proxies=proxies) # 错误如下 ProxyError: HTTPSConnectionPool(host='httpbin.org', port=443): Max retries exceeded with url: /get (Caused by ProxyError('Cannot connect to proxy.', NewConnectionError('<urllib3.connection.VerifiedHTTPSConnection object at 0x000001E87F7E7F28>: Failed to establish a new connection: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。')))
requests库的安装问题提问?
![图片说明](https://img-ask.csdn.net/upload/202002/04/1580795779_465492.png) 如图所示,用pip install requests这种方法安不上,然后说更新pip也没法更新,![图片说明](https://img-ask.csdn.net/upload/202002/04/1580809313_780482.png) 这个是我刚刚用那个方法之后的图,好像出问题的地方很多 ![图片说明](https://img-ask.csdn.net/upload/202002/04/1580811460_687931.png) 看样子应该也是国外的网速问题吧
python用requests模块的get方法以及urllib模块的urlopen方法获取状态码
小白用过requests模块的get方法以及urllib模块的urlopen方法获取状态码,可是有时访问一个不存在的url,进程被挂起,python程序就会终止,出现“[WinError 10054] 远程主机强迫关闭了一个现有的连接”这样的错误,我改怎么处理这种问题 还有为什么返回值只有404和200?其他的比如在检查元素中显示的302,方法里依然返回200,我怎么样才能让它如实返回302呢 ![图片说明](https://img-ask.csdn.net/upload/202002/14/1581653848_789590.png)
python爬虫:为什么用requests可以爬到数据,用scrapy爬到数据为空?
"http://detail.zol.com.cn/index.php?c=SearchList&keyword=%C8%FD%D0%C7&page=1" 用requests可以爬到数据,scrapy爬的状态码是200,但响应没有数据,什么原因?
maven框架下添加了jersey-quickstart-webapp,如何将http请求转换为https请求?
目前用maven和jersey-quickstart-webapp框架实现了http形式的get请求和post请求,已经部署到tomcat上了,利用postman验证可以传输数据, 但是项目要求不用http而是https的,该如何实现呢? 代码如下 ## resource core的代码 ``` package com.ps.pcms; import javax.ws.rs.Consumes; import javax.ws.rs.GET; import javax.ws.rs.POST; import javax.ws.rs.Path; import javax.ws.rs.Produces; import javax.ws.rs.core.MediaType; /** * Root resource (exposed at "*" path) */ @Path("*") @Consumes({ MediaType.APPLICATION_XML, MediaType.APPLICATION_JSON }) @Produces({ MediaType.APPLICATION_XML, MediaType.APPLICATION_JSON }) public class Core { /** * Method handling HTTP GET requests. The returned object will be sent to the * client as "text/plain" media type. * * @return String that will be returned as a text/plain response. */ @GET @Path("/get") public String getIt(String str) { return "GET_SUCCESS!!\r\n" + str; } @POST @Path("/post") public String postIt(String str) { return "POST_SUCCESS!!\r\n" + str; } } ``` ## webxml配置代码 ``` <?xml version="1.0" encoding="UTF-8"?> <!-- This web.xml file is not required when using Servlet 3.0 container, see implementation details http://jersey.java.net/nonav/documentation/latest/jax-rs.html --> <web-app version="2.5" xmlns="http://java.sun.com/xml/ns/javaee" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd"> <servlet> <servlet-name>Jersey Web Application</servlet-name> <servlet-class>org.glassfish.jersey.servlet.ServletContainer</servlet-class> <init-param> <param-name>jersey.config.server.provider.packages</param-name> <param-value>com.ps.pcms</param-value> </init-param> <load-on-startup>1</load-on-startup> </servlet> <servlet-mapping> <servlet-name>Jersey Web Application</servlet-name> <url-pattern>/*</url-pattern> </servlet-mapping> </web-app> ``` ## poem文件配置代码 ``` <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.ps</groupId> <artifactId>pcms</artifactId> <packaging>war</packaging> <version>0.0.1-SNAPSHOT</version> <name>pcms</name> <build> <finalName>pcms</finalName> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>2.5.1</version> <inherited>true</inherited> <configuration> <source>1.8</source> <target>1.8</target> </configuration> </plugin> </plugins> </build> <dependencyManagement> <dependencies> <dependency> <groupId>org.glassfish.jersey</groupId> <artifactId>jersey-bom</artifactId> <version>${jersey.version}</version> <type>pom</type> <scope>import</scope> </dependency> </dependencies> </dependencyManagement> <dependencies> <dependency> <groupId>org.glassfish.jersey.containers</groupId> <artifactId>jersey-container-servlet-core</artifactId> <!-- use the following artifactId if you don't need servlet 2.x compatibility --> <!-- artifactId>jersey-container-servlet</artifactId --> </dependency> <dependency> <groupId>org.glassfish.jersey.inject</groupId> <artifactId>jersey-hk2</artifactId> </dependency> <dependency> <groupId>org.glassfish.jersey.media</groupId> <artifactId>jersey-media-json-jackson</artifactId> </dependency> </dependencies> <properties> <jersey.version>2.30</jersey.version> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> </properties> </project> ``` 文件夹目录如下: ![图片说明](https://img-ask.csdn.net/upload/202001/30/1580367418_761657.png)
XPath无法准确获取怎么办
参照《从零开始学网络爬虫》案例,爬取豆瓣图书Top250的信息 https://book.douban.com/top250 爬取前需要用XPath获取书名、作者等标签信息,在浏览器中检查网页信息,并右击,copy XPath获取元素的XPath ![图片说明](https://img-ask.csdn.net/upload/202002/15/1581778537_466127.png) 书中原版代码如下 ``` import csv from lxml import etree import requests headers = { 'user-agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36' } urls = ['https://book.douban.com/top250?start={}'.format(str(i)) for i in range(0,250,25)] wenben = open('E:\demo.csv','wt',newline='',encoding='utf-8') writer = csv.writer(wenben) writer.writerow(('name','url','author','publisher','date','price','rate','comment')) for url in urls: html = requests.get(url,headers=headers) selector = etree.HTML(html.text) infos = selector.xpath('//tr[@class="item"]') for info in infos: name = info.xpath('td/div/a/@title')[0] url = info.xpath('td/div/a/@href')[0] book_infos = info.xpath('td/p/text()')[0] author = book_infos.split('/')[0] publisher = book_infos.split('/')[-3] date = book_infos.split('/')[-2] price = book_infos.split('/')[-1] rate = info.xpath('td/div/span[2]/text()')[0] comments = info.xpath('td/div/span[2]/text()')[0] comment = comments[0] if len(comments) != 0 else "空" writer.writerow((name,url,author,publisher,date,price,rate,comment)) print(name) wenben.close() print("输出完成!") ``` 可以发现,以书名为例,原版中获取的XPath如下 ``` 'td/div/a/@title' ``` 但是我通过浏览器检查元素获取到的XPath如下 ``` *[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div[1]/a ``` 而且按照自己获取的XPath进行爬取,并不能爬取到网页信息。只有按照原版的XPath才能正确爬取到网页信息。 请问各位大神,为什么从浏览器端获取的XPath与案例并不一致,如何自行获取正确的XPath
python编写代码请求web服务器时,请求数据包中不带User-Agent字段
问题描述:需要写一个工具,但是对于此工具中一个模块要求是在数据请求时不能有User-Agent字段 需求:请求数据包中不带User-Agent字段 问题难点:虽然我自定义了请求头,但是在请求头中如果不定义user-Agent,requests模块对自动在数据包中加载一个user-agent:python的user-agent头进数据包进行请求 ![图片说明](https://img-ask.csdn.net/upload/201912/30/1577674097_183852.jpg)
看看我吧!求求了!Python安装requests出错,怎么办?
我是第一次学习python,安装requests库,我首先是在cmd里查找了我的script文件夹里是否有pip.exe,有,我接着pip install requests,接着提示我更新,我也Python -m pip install --user --upgrade pip更新. 但是还是import requests不成功 ![图片说明](https://img-ask.csdn.net/upload/202001/31/1580450434_278392.png) 我再一次在cmd尝试pip install requests,就出现错误了 ![图片说明](https://img-ask.csdn.net/upload/202001/31/1580450564_647266.png) 警告是说我因为升级不可以再用原来的pip命令 要加-m 我试了一下还是不可以 我也尝试了百度等方法,但是都不太明白错在哪里 拜托各位大神,帮我看看吧,谢谢啦!
求助:python爬取12306车票信息总是出现错误
最近初学python,进展到网络爬虫部分,尝试自己写一下查票,结果遇到了麻烦 ``` import requests url = 'https://kyfw.12306.cn/otn/leftTicket/queryZ?' \ 'leftTicketDTO.train_date=2020-02-01&' \ 'leftTicketDTO.from_station=SHH&' \ 'leftTicketDTO.to_station=BJP&purpose_codes=ADULT' result=requests.get(url) print(result.json()) ``` 出现的问题如下: ``` Traceback (most recent call last): File "D:/Files/check tickets/123.py", line 7, in <module> print(result.json()) File "D:\Files\python3\lib\site-packages\requests\models.py", line 897, in json return complexjson.loads(self.text, **kwargs) File "D:\Files\python3\lib\json\__init__.py", line 357, in loads return _default_decoder.decode(s) File "D:\Files\python3\lib\json\decoder.py", line 337, in decode obj, end = self.raw_decode(s, idx=_w(s, 0).end()) File "D:\Files\python3\lib\json\decoder.py", line 355, in raw_decode raise JSONDecodeError("Expecting value", s, err.value) from None json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0) ``` 不知如何解决,求解答,谢谢!
同样的代码在VScode与python IDLE执行的得到的结果不一样?
我用requests获取网页源码,vscode得到的不是完整的网页源码, 是从中间戛然而止。 而用python IDLE运行可以得到完整的代码。 这是为什么,怎么解决。求各位大神帮忙! 代码: ``` import requests from bs4 import BeautifulSoup def parse_page(url): headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36' } resp = requests.get(url,headers=headers) print(resp.text) def main(): url = 'http://www.weather.com.cn/textFC/db.shtml' parse_page(url) if __name__=='__main__': main() ``` vscode的结果: ![图片说明](https://img-ask.csdn.net/upload/202002/10/1581346594_460365.png) python IDLE的结果: ![图片说明](https://img-ask.csdn.net/upload/202002/10/1581346794_838308.png)
求助Python学习方面的问题……
今天看到了[用Python画疫情地图](https://mp.weixin.qq.com/s/DjBIu4851l0a_vN_aEjo7Q "") 这一贴,觉得非常有意思,虽然无法真正画出图来,但我还是可以写程序做个简单统计。 代码如下: ``` import time, json, requests # 抓取相关数据 url = 'https://view.inews.qq.com/g2/getOnsInfo?name=wuwei_ww_area_counts&callback=&_=%d'%int(time.time()*1000) data = json.loads(requests.get(url=url).json()['data']) print(data) print('*' * 5) # 清理掉中国之外的地区 for countryX in data: if countryX['country'] != '中国': print('清除',countryX) data.remove(countryX) print(data) # 设定基础变量 cityX = [] areaX = [] confirmX = 0 suspectX = 0 deadX = 0 healX = 0 # 分别列出中国内各地的疫情 for areal in data: print('国家:'+ areal['country']) print('——地区:'+ areal['area']) areaX.append(areal['area']) print('————城市:'+ areal['city']) cityX.append(areal['city']) print('——————确诊:', areal['confirm']) confirmX = confirmX + areal['confirm'] print('——————疑似:', areal['suspect']) suspectX = suspectX + areal['suspect'] print('——————死亡:', areal['dead']) deadX = deadX + areal['dead'] print('——————治愈:', areal['heal']) healX = healX + areal['heal'] print('*' * 5) # 总统计 print('截止至当前为止,共确诊%i例,疑似%i人,死亡%i人,治愈%i人。' %(confirmX,suspectX,deadX,healX)) ``` 结果怎么样?菲律宾死活就是清理不掉!求前辈指点迷津……我到底疏忽了哪里?
mac os下python3的requests库的安装问题
mac os下已经pip install requests 成功安装requests库,但是在终端里输入Python3 >>> import requests 但是出现报错Traceback (most recent call last): File "<stdin>", line 1, in <module> ModuleNotFoundError: No module named 'requests' 在终端输入Python 在Python2环境下可以正常使用requests库, 大佬们这是什么情况?
python蜜汁报错,简直太奇怪了,大佬求救~
直接上图 ![图片说明](https://img-ask.csdn.net/upload/202002/10/1581318058_899459.png) 前249个没问题,循环来的为什么最后一个就有问题? 最后一步不肯走报错了 然后我试了一下协程爬取: ``` from gevent import monkey monkey.patch_all() import requests,time,gevent from gevent.queue import Queue start=time.time() url_list={'https://www.baidu.com/', 'https://www.sina.com.cn/', 'http://www.sohu.com/', 'https://www.qq.com/', 'https://www.163.com/', 'http://www.iqiyi.com/', 'https://www.tmall.com/', 'http://www.ifeng.com/' } work=Queue() for url in url_list: work.put_nowait(url) def pa(): while not work.empty(): url=work.get_nowait() res=requests.get(url) print(url,work.qsize(),res.status_code) task_list=[] for i in range(2): task=gevent.spawn(pa) task_list.append(task) gevent.joinall(task_list) end=time.time() print(end-start) ``` 错误就一大堆了。 ![图片说明](https://img-ask.csdn.net/upload/202002/10/1581318289_401344.png) 简单的爬取就可以过: ``` import requests from bs4 import BeautifulSoup headers={'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'} url='http://www.weather.com.cn/weather/101281905.shtml' res=requests.get(url,headers=headers) res.encoding='utf-8' bs=BeautifulSoup(res.text,'html.parser') lis=bs.find(class_='t clearfix').find_all('li') for li in lis: day=li.find('h1') how=li.find(class_='wea') num=li.find(class_='tem') print('日期:'+day.text+'\n天气:'+how.text+'\n温度:'+num.text+'\n---------------') ``` ![图片说明](https://img-ask.csdn.net/upload/202002/10/1581318440_49577.png) 已试,用selenium没发现问题 然而当我运行以下代码时: ``` from gevent import monkey monkey.patch_all() import gevent,requests, bs4, csv from gevent.queue import Queue work = Queue() url_1 = 'http://www.boohee.com/food/group/{type}?page={page}' for x in range(1, 4): for y in range(1, 4): real_url = url_1.format(type=x, page=y) work.put_nowait(real_url) url_2 = 'http://www.boohee.com/food/view_menu?page={page}' for x in range(1,4): real_url = url_2.format(page=x) work.put_nowait(real_url) print(work) ``` 结果是一片空 ![图片说明](https://img-ask.csdn.net/upload/202002/10/1581319419_795328.png)
python 小白 : 关于 curl 转换成 requests 求助
原厂给的代码 : ``` #!/bin/bash username="example_username" apiKey="example_apiKey" date=`env LANG="en_US.UTF-8" date -u "+%a, %d %b %Y %H:%M:%S GMT"` password=`echo -en "$date" | openssl dgst -sha1 -hmac $apiKey -binary | openssl enc -base64` curl -i --url "https://open.chinanetcenter.com/api/report/domainflow?datefrom=2017-11-07T00:00:00%2B08:00&dateto=2017-11-07T00:15:00%2B08:00&type=fiveminutes" \ -X "POST" \ -u "$username:$password" \ -H "Date: $date" \ -H "Accept: application/json" \ -d '<?xml version="1.0" encoding="utf-8"?> <domain-list> <domain-name>www.example1.com</domain-name> </domain-list> ' ``` 试着改成 python 一直改不出来 一直出现 ``` <Response [400]> ``` 我改成 python 应该有错吧 . ``` import requests import datetime import hmac import hashlib import base64 username = "example_username" apiKey= 'example_apiKey' now = datetime.datetime.now() nowTime = now.strftime('%a, %d %b %Y %H:%M:%S GMT') nowTime_bytes = bytes(nowTime, encoding='utf-8') value = hmac.new(apiKey, nowTime_bytes, hashlib.sha1).digest() token = base64.b64encode(value).rstrip() headers = {"Accept": "application/json", "Date": nowTime} url = 'https://open.chinanetcenter.com/api/report/domainflow' payload= {'datefrom':'2017-11-07T00:00:00%2B08:00', 'dateto':'2017-11-07T00:15:00%2B08:00', 'type': 'fiveminutes'} xml = '<?xml version="1.0" encoding="utf-8"?> <domain-list> <domain-name>www.example1.com</domain-name> </domain-list> ' r = requests.post(url, headers=headers, auth=(username, token), data=xml,params=payload) print (r) ```
Python爬虫抓取信息存储到excel表格后,怎么实行数据可视化
我用python爬去了起点中文网的一些信息,并且存储到excel中,现在想要实现数据可视化怎么写应该 import requests from lxml import etree from openpyxl import Workbook class Book(): def __init__(p): p.url = 'https://www.qidian.com/rank/hotsales?page={页数}' p.wb = Workbook() # class实例化 p.ws = p.wb.active # 激活工具表 p.ws.append(['书名', '作者', '类型', '连载状态']) # 添加对应的表头 def geturl(p): url = [p.url.format(页数 =i) for i in range(1,15)] return url def parse_url(p,url): response =requests.get(url,timeout = 5) return response.content.decode('utf-8','ignore') def get_list(p,html_str): html = etree.HTML(html_str) connect_list = [] lists = html.xpath("//div[@class='book-img-text']/ul/li//div[@class='book-mid-info']") for list in lists: item = {} item['书名'] = ''.join(list.xpath("./h4/a/text()")) item['作者'] = ''.join(list.xpath("./p[@class='author']/a[1]/text()")) item['类型'] = ''.join(list.xpath("./p[@class='author']/a[2]/text()")) item['连载状态'] = ''.join(list.xpath("./p[@class='author']/span/text()")) connect_list.append(item) return connect_list def save_list(p, connects): for connect in connects: p.ws.append([connect['书名'], connect['作者'], connect['类型'], connect['连载状态']]) print('保存小说信息成功') def run(p): url_list = p.geturl() for url in url_list: html_url =p.parse_url(url) connects = p.get_list(html_url) p.save_list(connects[:]) p.wb.save('book.xlsx') if __name__=='__main__': spider = Book() spider.run()
用python提取div里的文本
import requests from bs4 import BeautifulSoup import pprint import json url="http://www.miaomu.com/qyml/default.asp" r= requests.get(url) html=r.content.decode('gbk','ignore') soup=BeautifulSoup(html,"html.parser") articles=soup.find_all("div",{"class":"gyjtnr"}) articles![图片说明](https://img-ask.csdn.net/upload/202001/14/1578970850_103571.jpg)
Life Game 的问题的解决
Problem Description Rich people are playing life game,generally it is like they find some poor people. And they brainwash those people,make them believe that they have to kill all other to live. And they watch the procedure and bet on the results for fun. Of course they will kill the winner when the winner believe that he wins. Today's game is different from before.There is a n*m matrix of people. Now you are the organizer and you can control those people's life. If people at row i, column j, survive at the end, you will be rewarded with wi,j money.Otherwise you are rewarded with bi,j money. Also,those rich people have some strange request, each one will point out a contiguous sub matrix of this matrix and say: if people in this sub matrix all die(or survive), you are rewarded with s money. You don't really care about those people's life, so you want to maximize the money you get. What is the maximum money you can get if you kill those people optimally? Please note that there's no restriction on killing people, you can kill no one, you can also kill everyone. (Following text is irrelevant with the problem) In the end, you kill everybody, and you find that you have been brainwashed too, and those people you killed are actually your friends and family. Then you get crazy and kill yourself, and those rich people enjoy a lot. And the true organizer, I, get all the money supposed to be yours :). Input The first line contains an integer T(1<=T<=5).Denoting the number of the test cases. For each test cases,the first line contains three integers n, m, r(n<=50, m<=50, r<=50000),denote the number of rows,the number of columns and the number requests. Then follows a n * m integer matrix b. Then follows a n * m integer matrix w. 0<=bi,j , wi,j<=100 Then r lines follows,each represent a request. Each lines contains 6 integers r1, c1, r2, c2, t, s. It means the sub-matrix's top left corner is (r1, c1), and the bottom right corner is (r2, c2). t = 0 if they should survive, t = 1 if they should die. s is the reward you can get if this request are fulfilled. 0<=s<=10000. Output For each test cases,print the answer in one line. Sample Input 2 2 2 3 34 44 63 30 1 9 53 57 1 2 2 2 1 2843 1 1 2 1 0 2169 2 1 2 1 1 6980 2 2 3 50 93 65 70 52 28 91 25 1 1 2 1 0 9862 2 1 2 1 1 1876 2 2 2 2 0 4190 Sample Output 9994 14313
终于明白阿里百度这样的大公司,为什么面试经常拿ThreadLocal考验求职者了
点击上面↑「爱开发」关注我们每晚10点,捕获技术思考和创业资源洞察什么是ThreadLocalThreadLocal是一个本地线程副本变量工具类,各个线程都拥有一份线程私有的数
《奇巧淫技》系列-python!!每天早上八点自动发送天气预报邮件到QQ邮箱
此博客仅为我业余记录文章所用,发布到此,仅供网友阅读参考,如有侵权,请通知我,我会删掉。 补充 有不少读者留言说本文章没有用,因为天气预报直接打开手机就可以收到了,为何要多此一举发送到邮箱呢!!!那我在这里只能说:因为你没用,所以你没用!!! 这里主要介绍的是思路,不是天气预报!不是天气预报!!不是天气预报!!!天气预报只是用于举例。请各位不要再刚了!!! 下面是我会用到的两个场景: 每日下
面试官问我:什么是消息队列?什么场景需要他?用了会出现什么问题?
你知道的越多,你不知道的越多 点赞再看,养成习惯 GitHub上已经开源 https://github.com/JavaFamily 有一线大厂面试点脑图、个人联系方式,欢迎Star和完善 前言 消息队列在互联网技术存储方面使用如此广泛,几乎所有的后端技术面试官都要在消息队列的使用和原理方面对小伙伴们进行360°的刁难。 作为一个在互联网公司面一次拿一次Offer的面霸,打败了无数
8年经验面试官详解 Java 面试秘诀
    作者 | 胡书敏 责编 | 刘静 出品 | CSDN(ID:CSDNnews) 本人目前在一家知名外企担任架构师,而且最近八年来,在多家外企和互联网公司担任Java技术面试官,前后累计面试了有两三百位候选人。在本文里,就将结合本人的面试经验,针对Java初学者、Java初级开发和Java开发,给出若干准备简历和准备面试的建议。   Java程序员准备和投递简历的实
究竟你适不适合买Mac?
我清晰的记得,刚买的macbook pro回到家,开机后第一件事情,就是上了淘宝网,花了500元钱,找了一个上门维修电脑的师傅,上门给我装了一个windows系统。。。。。。 表砍我。。。 当时买mac的初衷,只是想要个固态硬盘的笔记本,用来运行一些复杂的扑克软件。而看了当时所有的SSD笔记本后,最终决定,还是买个好(xiong)看(da)的。 已经有好几个朋友问我mba怎么样了,所以今天尽量客观
MyBatis研习录(01)——MyBatis概述与入门
C语言自学完备手册(33篇) Android多分辨率适配框架 JavaWeb核心技术系列教程 HTML5前端开发实战系列教程 MySQL数据库实操教程(35篇图文版) 推翻自己和过往——自定义View系列教程(10篇) 走出思维困境,踏上精进之路——Android开发进阶精华录 讲给Android程序员看的前端系列教程(40集免费视频教程+源码) 版权声明 本文原创作者:谷哥的小弟 作者博客
程序员一般通过什么途径接私活?
二哥,你好,我想知道一般程序猿都如何接私活,我也想接,能告诉我一些方法吗? 上面是一个读者“烦不烦”问我的一个问题。其实不止是“烦不烦”,还有很多读者问过我类似这样的问题。 我接的私活不算多,挣到的钱也没有多少,加起来不到 20W。说实话,这个数目说出来我是有点心虚的,毕竟太少了,大家轻喷。但我想,恰好配得上“一般程序员”这个称号啊。毕竟苍蝇再小也是肉,我也算是有经验的人了。 唾弃接私活、做外
Python爬虫爬取淘宝,京东商品信息
小编是一个理科生,不善长说一些废话。简单介绍下原理然后直接上代码。 使用的工具(Python+pycharm2019.3+selenium+xpath+chromedriver)其中要使用pycharm也可以私聊我selenium是一个框架可以通过pip下载 pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple/ 
阿里程序员写了一个新手都写不出的低级bug,被骂惨了。
你知道的越多,你不知道的越多 点赞再看,养成习惯 本文 GitHub https://github.com/JavaFamily 已收录,有一线大厂面试点思维导图,也整理了很多我的文档,欢迎Star和完善,大家面试可以参照考点复习,希望我们一起有点东西。 前前言 为啥今天有个前前言呢? 因为你们的丙丙啊,昨天有牌面了哟,直接被微信官方推荐,知乎推荐,也就仅仅是还行吧(心里乐开花)
Java工作4年来应聘要16K最后没要,细节如下。。。
前奏: 今天2B哥和大家分享一位前几天面试的一位应聘者,工作4年26岁,统招本科。 以下就是他的简历和面试情况。 基本情况: 专业技能: 1、&nbsp;熟悉Sping了解SpringMVC、SpringBoot、Mybatis等框架、了解SpringCloud微服务 2、&nbsp;熟悉常用项目管理工具:SVN、GIT、MAVEN、Jenkins 3、&nbsp;熟悉Nginx、tomca
Python爬虫精简步骤1 获取数据
爬虫的工作分为四步: 1.获取数据。爬虫程序会根据我们提供的网址,向服务器发起请求,然后返回数据。 2.解析数据。爬虫程序会把服务器返回的数据解析成我们能读懂的格式。 3.提取数据。爬虫程序再从中提取出我们需要的数据。 4.储存数据。爬虫程序把这些有用的数据保存起来,便于你日后的使用和分析。 这一篇的内容就是:获取数据。 首先,我们将会利用一个强大的库——requests来获取数据。 在电脑上安装
Python绘图,圣诞树,花,爱心 | Turtle篇
1.画圣诞树 import turtle screen = turtle.Screen() screen.setup(800,600) circle = turtle.Turtle() circle.shape('circle') circle.color('red') circle.speed('fastest') circle.up() square = turtle.Turtle()
作为一个程序员,CPU的这些硬核知识你必须会!
CPU对每个程序员来说,是个既熟悉又陌生的东西? 如果你只知道CPU是中央处理器的话,那可能对你并没有什么用,那么作为程序员的我们,必须要搞懂的就是CPU这家伙是如何运行的,尤其要搞懂它里面的寄存器是怎么一回事,因为这将让你从底层明白程序的运行机制。 随我一起,来好好认识下CPU这货吧 把CPU掰开来看 对于CPU来说,我们首先就要搞明白它是怎么回事,也就是它的内部构造,当然,CPU那么牛的一个东
破14亿,Python分析我国存在哪些人口危机!
2020年1月17日,国家统计局发布了2019年国民经济报告,报告中指出我国人口突破14亿。 猪哥的朋友圈被14亿人口刷屏,但是很多人并没有看到我国复杂的人口问题:老龄化、男女比例失衡、生育率下降、人口红利下降等。 今天我们就来分析一下我们国家的人口数据吧! 更多有趣分析教程,扫描下方二维码关注vx公号「裸睡的猪」 即可查看! 一、背景 1.人口突破14亿 2020年1月17日,国家统计局发布
web前端javascript+jquery知识点总结
Javascript javascript 在前端网页中占有非常重要的地位,可以用于验证表单,制作特效等功能,它是一种描述语言,也是一种基于对象(Object)和事件驱动并具有安全性的脚本语言 ,语法同java类似,是一种解释性语言,边执行边解释。 JavaScript的组成: ECMAScipt 用于描述: 语法,变量和数据类型,运算符,逻辑控制语句,关键字保留字,对象。 浏览器对象模型(Br
Python实战:抓肺炎疫情实时数据,画2019-nCoV疫情地图
文章目录1. 前言2. 数据下载3. 数据处理4. 数据可视化 1. 前言 今天,群里白垩老师问如何用python画武汉肺炎疫情地图。白垩老师是研究海洋生态与地球生物的学者,国家重点实验室成员,于不惑之年学习python,实为我等学习楷模。先前我并没有关注武汉肺炎的具体数据,也没有画过类似的数据分布图。于是就拿了两个小时,专门研究了一下,遂成此文。 2月6日追记:本文发布后,腾讯的数据源多次变更u
听说想当黑客的都玩过这个Monyer游戏(1~14攻略)
第零关 进入传送门开始第0关(游戏链接) 请点击链接进入第1关: 连接在左边→ ←连接在右边 看不到啊。。。。(只能看到一堆大佬做完的留名,也能看到菜鸡的我,在后面~~) 直接fn+f12吧 &lt;span&gt;连接在左边→&lt;/span&gt; &lt;a href="first.php"&gt;&lt;/a&gt; &lt;span&gt;←连接在右边&lt;/span&gt; o
在家远程办公效率低?那你一定要收好这个「在家办公」神器!
相信大家都已经收到国务院延长春节假期的消息,接下来,在家远程办公可能将会持续一段时间。 但是问题来了。远程办公不是人在电脑前就当坐班了,相反,对于沟通效率,文件协作,以及信息安全都有着极高的要求。有着非常多的挑战,比如: 1在异地互相不见面的会议上,如何提高沟通效率? 2文件之间的来往反馈如何做到及时性?如何保证信息安全? 3如何规划安排每天工作,以及如何进行成果验收? ......
作为一个程序员,内存和磁盘的这些事情,你不得不知道啊!!!
截止目前,我已经分享了如下几篇文章: 一个程序在计算机中是如何运行的?超级干货!!! 作为一个程序员,CPU的这些硬核知识你必须会! 作为一个程序员,内存的这些硬核知识你必须懂! 这些知识可以说是我们之前都不太重视的基础知识,可能大家在上大学的时候都学习过了,但是嘞,当时由于老师讲解的没那么有趣,又加上这些知识本身就比较枯燥,所以嘞,大家当初几乎等于没学。 再说啦,学习这些,也看不出来有什么用啊!
渗透测试-灰鸽子远控木马
木马概述 灰鸽子( Huigezi),原本该软件适用于公司和家庭管理,其功能十分强大,不但能监视摄像头、键盘记录、监控桌面、文件操作等。还提供了黑客专用功能,如:伪装系统图标、随意更换启动项名称和表述、随意更换端口、运行后自删除、毫无提示安装等,并采用反弹链接这种缺陷设计,使得使用者拥有最高权限,一经破解即无法控制。最终导致被黑客恶意使用。原作者的灰鸽子被定义为是一款集多种控制方式于一体的木马程序
Python:爬取疫情每日数据
前言 有部分同学留言说为什么412,这是因为我代码里全国的cookies需要你自己打开浏览器更新好后替换,而且这个cookies大概只能持续20秒左右! 另外全国卫健委的数据格式一直在变,也有可能会导致爬取失败! 我现在已根据2月14日最新通报稿的格式修正了! 目前每天各大平台,如腾讯、今日头条都会更新疫情每日数据,他们的数据源都是一样的,主要都是通过各地的卫健委官网通报。 为什么已经有大量平台做
这个世界上人真的分三六九等,你信吗?
偶然间,在知乎上看到一个问题 一时间,勾起了我深深的回忆。 以前在厂里打过两次工,做过家教,干过辅导班,做过中介。零下几度的晚上,贴过广告,满脸、满手地长冻疮。   再回首那段岁月,虽然苦,但让我学会了坚持和忍耐。让我明白了,在这个世界上,无论环境多么的恶劣,只要心存希望,星星之火,亦可燎原。   下文是原回答,希望能对你能有所启发。   如果我说,这个世界上人真的分三六九等,
B 站上有哪些很好的学习资源?
哇说起B站,在小九眼里就是宝藏般的存在,放年假宅在家时一天刷6、7个小时不在话下,更别提今年的跨年晚会,我简直是跪着看完的!! 最早大家聚在在B站是为了追番,再后来我在上面刷欧美新歌和漂亮小姐姐的舞蹈视频,最近两年我和周围的朋友们已经把B站当作学习教室了,而且学习成本还免费,真是个励志的好平台ヽ(.◕ฺˇд ˇ◕ฺ;)ノ 下面我们就来盘点一下B站上优质的学习资源: 综合类 Oeasy: 综合
雷火神山直播超两亿,Web播放器事件监听是怎么实现的?
Web播放器解决了在手机浏览器和PC浏览器上播放音视频数据的问题,让视音频内容可以不依赖用户安装App,就能进行播放以及在社交平台进行传播。在视频业务大数据平台中,播放数据的统计分析非常重要,所以Web播放器在使用过程中,需要对其内部的数据进行收集并上报至服务端,此时,就需要对发生在其内部的一些播放行为进行事件监听。 那么Web播放器事件监听是怎么实现的呢? 01 监听事件明细表 名
3万字总结,Mysql优化之精髓
本文知识点较多,篇幅较长,请耐心学习 MySQL已经成为时下关系型数据库产品的中坚力量,备受互联网大厂的青睐,出门面试想进BAT,想拿高工资,不会点MySQL优化知识,拿offer的成功率会大大下降。 为什么要优化 系统的吞吐量瓶颈往往出现在数据库的访问速度上 随着应用程序的运行,数据库的中的数据会越来越多,处理时间会相应变慢 数据是存放在磁盘上的,读写速度无法和内存相比 如何优化 设计
Python新型冠状病毒疫情数据自动爬取+统计+发送报告+数据屏幕(三)发送篇
今天介绍的项目是使用 Itchat 发送统计报告 项目功能设计: 定时爬取疫情数据存入Mysql 进行数据分析制作疫情报告 使用itchat给亲人朋友发送分析报告(本文) 基于Django做数据屏幕 使用Tableau做数据分析 来看看最终效果 目前已经完成,预计2月12日前更新 使用 itchat 发送数据统计报告 itchat 是一个基于 web微信的一个框架,但微信官方并不允
作为程序员的我,大学四年一直自学,全靠这些实用工具和学习网站!
我本人因为高中沉迷于爱情,导致学业荒废,后来高考,毫无疑问进入了一所普普通通的大学,实在惭愧...... 我又是那么好强,现在学历不行,没办法改变的事情了,所以,进入大学开始,我就下定决心,一定要让自己掌握更多的技能,尤其选择了计算机这个行业,一定要多学习技术。 在进入大学学习不久后,我就认清了一个现实:我这个大学的整体教学质量和学习风气,真的一言难尽,懂的人自然知道怎么回事? 怎么办?我该如何更好的提升
粒子群算法求解物流配送路线问题(python)
粒子群算法求解物流配送路线问题(python) 1.查找论文文献 找一篇物流配送路径优化+粒子群算法求解的论文 参考文献:基于混沌粒子群算法的物流配送路径优化 2.了解粒子群算法的原理 讲解通俗易懂,有数学实例的博文:https://blog.csdn.net/daaikuaichuan/article/details/81382794 3.确定编码方式和解码策略 3.1编码方式 物流配送路线的
教你如何编写第一个简单的爬虫
很多人知道爬虫,也很想利用爬虫去爬取自己想要的数据,那么爬虫到底怎么用呢?今天就教大家编写一个简单的爬虫。 下面以爬取笔者的个人博客网站为例获取第一篇文章的标题名称,教大家学会一个简单的爬虫。 第一步:获取页面 #!/usr/bin/python # coding: utf-8 import requests #引入包requests link = "http://www.santostang.
前端JS初级面试题二 (。•ˇ‸ˇ•。)老铁们!快来瞧瞧自己都会了么
1. 传统事件绑定和符合W3C标准的事件绑定有什么区别? 传统事件绑定 &lt;div onclick=""&gt;123&lt;/div&gt; div1.onclick = function(){}; &lt;button onmouseover=""&gt;&lt;/button&gt; 注意: 如果给同一个元素绑定了两次或多次相同类型的事件,那么后面的绑定会覆盖前面的绑定 (不支持DOM事...
相关热词 c# 压缩图片好麻烦 c#计算数组中的平均值 c#获取路由参数 c#日期精确到分钟 c#自定义异常必须继承 c#查表并返回值 c# 动态 表达式树 c# 监控方法耗时 c# listbox c#chart显示滚动条
立即提问

相似问题

2
python--爬虫 requests库如何进行网页等待?
1
想请教一下使用selenium请求网页和requests.get 获取网页的区别
2
pycharm连接上mongoDB数据库,但是无法可视化查看数据库中的内容
0
(python,requests问题)请问我用如下代码获取内容时,为什么得到的并不是url链接中的内容?
1
使用python发送postman发送的get请求
2
request.post/get的请求数据问题?
2
python3.8用pyinstaller3.5导不出exe提示TypeError: an integer is required (got type bytes)
1
python 小白 : 关于 curl 转换成 requests 求助
2
这是周杰伦歌名提取训练,请问字典提取那一步首个['data']是哪里来的?
1
【帮帮孩子】scrapy框架请问如何在parse函数中调用已有的参数来构造post请求获得回传的数据包呀
2
救救孩子吧,用requests+re爬取彩虹岛主页信息
1
请问以下爬虫程序错在哪里,爬取到的数据存不进MQSQL数据库
2
Python 爬虫 status 200 但得不到数据
2
还是这个爬虫问题,请指教,可以连上个问答c币一起拿走
0
初学python,爬取京东商品数据时无法获取内容
2
爬虫遇到的困难,反 爬 取 为什么会出像这样的问题?
2
python编写代码请求web服务器时,请求数据包中不带User-Agent字段
1
Python爬虫抓取信息存储到excel表格后,怎么实行数据可视化
0
django 在if语句中判断之后return render报错
3
写爬虫时,需要的html和用requests.get返回的html不一样导致无法进行下一步,请问怎么解决??