首先，在常规头部获取请求的url，然后查看请求方法，获取请求状态，如果是失败，就说明不是这个。
然后，请求头部，将所有的headers放到requests的headers参数里面(可以包含cookie)
如果没有包含cookie，就在cookie参数传入，headers和cookie必然是字典类型的。
1条回答
-
采纳
点赞 评论 复制链接分享
提交
相关推荐
- 回答 3 已采纳 请教一下，我最近想在政府房管部门网站爬取房产备案信息，地址：http://www.dyyscx.com/newhouse/house_table.aspx?id=828279 每个楼盘表下有个“查看”链接，点击后就会在原页面生成新的备案内容。 这一部分内容使用元素检查是可以看见的，但查看源代码却看不见。 使用network查看XHR发现有个文件“GetBuildTableByAjax.ashx”，这里面的preview中就有相关信息。 截取片段是这样的： ``` 物业类别：住宅 销售状态：抵预 建筑面积：117.260平米 总价：71.65万元' class='border-333333'>3单元 3-25-13单元 3-25-23单元 ``` 我看了下，原网页head里面有一段Scirpt，内容是这样的： ``` ' ``` 因为是小白，所以猜想是js隐藏了新内容的标签，导致不在原网页的源代码中显示，所以爬不到内容。 请教一下我猜想的是否正确，以及我要怎么才能获得备案信息的内容。 ps:最好是能贴个完整的方法，谢谢！！！！！！！！！
- 回答 2 已采纳 需求是这样的，我需要写一个爬虫把 http://www.bjbus.com/home/fun_news_list.php?uNewsType=1&uStyle=1 上的所有list和其中的链接爬下来并每天定时查看有没有新的公告。进行简单的 response = urllib2.urlopen('http://www.bjbus.com/home/fun_news_detail.php?uNewsCode=00003475&uNewsType=1') print html = response.read() 发现没有我想要的内容，进一步我发现我想要的东西是通过这个发来的 http://www.bjbus.com/home/ajax_news_list.php 但我单独请求这个没有任何返回，尝试了自己编写headers后无果，请大神们帮帮忙 怎么才能获得所有的公告和其对应的链接。
- 回答 1 已采纳 想用python爬虫爬burberry官网https://cn.burberry.com/mens-new-arrivals-new-in/ 的最新上架衣服图片，但网页是动态加载的(有一个查看全部按钮)  点击查看更多后有一个XHR请求如图 修改爬虫header后访问该请求的url，得到的html和在原网页上按f12显示的源码不相同，如图(图一为原网页点击加载全部后的源码，图二为访问url得到的源码）   为什么会不一样呢？？？？而且不一样的话按照url得到的格式我就没法用美丽汤了，只能正则找图片链接，怎么样得到原网页点击加载全部后的源码呢???（小白刚学爬虫，希望大佬指教）
- 回答 4 已采纳 需要获取机场航班数据 该机场的url地址https://zh.flightaware.com/live/airport/KHRL 其航班数据是动态加载进来的，通过F12并刷新后得到 https://zh.flightaware.com/ajax/ignoreall/trackpoll.rvt?token=c35ca45ecbca57cd1ea443d1c65c36426ea06630de026ffd737977e4a40a26ead614b3f2ddde9907453c214a859f7965-88dd7c1a0d41355dafa2ce4ff0e607704b11c422c13281778f5b552d40a619d4c5559546eb9966e7-501878875ac23bacc59c19453f7939a79b200f0e&locale=zh_CN&summary=0  现在的问题是我有数千个机场的url地址，手动F12找到每个机场的航班地址是无法想象的，所以有没有方法自动获得每个机场请求航班数据的那个URL? 万望大神有空瞅瞅！感谢！
- 回答 3 已采纳 大佬们好， 小弟初来乍到，是个半出家的代码新手，还请多多包涵。 我想通过requests库爬取网站https://ecp.sgcc.com.cn/ecp2.0/portal/#/list/list-spe/2018032600289606_1_2018032700291334，获得相关的标题和链接。通过观察源代码，发现内容是以json格式储存的，初步写出来代码如下。 import requests url = 'https://ecp.sgcc.com.cn/ecp2.0/ecpwcmcore//index/noteList' headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36', 'referer': 'https://ecp.sgcc.com.cn/ecp2.0/portal/', } # request payload payload = { 'index': '1' } #解析数据 res = requests.post(url,headers=headers,data=payload) print(res.status_code) print(res.url) print(res.text) note_list_json = res.json() note_list = note_list_json['resultValue']['noteList'] print(type(note_list)) #<class 'list'> #提取数据 for i in note_list: #标题 title title = i['title'] print(title) #发布日期 noticePublishTime pub_date = i['noticePublishTime'] print(pub_date) #文件类型 doctype (用于拼接链接) doc_type = i['doctype'] #编码 id (用于拼接链接) doc_id = i['id'] #拼接链接 link = 'https://ecp.sgcc.com.cn/ecp2.0/portal/#/doc/' + doc_type + '/' + doc_id + '_2018032700291334' print(link) print('------------------------------') 终端报错结果如下： 回头看一下XHR，发现正常带有数据的内容不一样：报错的是{successful: false}，正常的是{successful: true}。 到这里就卡住了，因为不知道如何成功的获取数据推进到下一步。 如解决问题会私信您VX/ZFB转30元以表心意。希望能够得到帮助，谢谢！
- 回答 2 已采纳 
- 回答 2 已采纳 环境:python36 ,sqlserver 1.python 通过获得数据库的数据 data = cursor.fetchall()后，如何传递给js? js 通过 xhr 对象 的 xhr.responseText获取数据 2.js 通过xhr.send()传递的参数，python 通过什么方法在后台获取?
- 回答 3 已采纳 hello friend i am trying to upload data and files at some time via ajax with this form: <form id="formarea" class="form-horizontal" name="desk"> <input type="text" class="form-control " name="i_txt_2"> <input type="number" class="form-control " name="i_txt_3" required> <input type="file" name='i_files_1'> <input type="file" name='i_files_2'> <input type="file" name='i_files_3'> </form> Ajax: $('[id^="save"]').on("click", function (event, xhr, settings) { var id = event.target.id; var name = $("#formarea").attr("name"); $.ajax({ type:"POST",url:"index.php",data:$("#formarea").serialize()+ '&idprocess=' + id + '&idform=' + name, error: function(xhr,status,error){console.log(error)}, success: function(response) { $("#areasmg").html(response); $("#MsgArea").removeClass("").addClass("alert alert-warning alert-dismissable"); $("#MsgArea").show(); } }); }); issues: on request i am not received in server side php serialized of Input File: i_files_1 how can i concatenate the dile to data sent: data:$("#formarea").serialize()+ '&idprocess=' + id + '&idform=' + name + '&Files' + files[]Serialized , UPDATE Problem Solved: //If you have button to submit Form $('[id^="BTN-"]').on("click", function (event, xhr, settings) { var id = event.target.id; //get id buton to filter if you like get control over the button clicked var req = 0; $('#formarea *').filter(':input').each(function(){ //filter all requiered input field if($(this).val() === "" && $(this).attr('required')){req ++;} }); if(req == 0){ var name = $("#formarea").attr("name"); //get name of form if you like get control over the form submited //window.WindowsWait(); var input1 = $("<input>").attr("type", "hidden").attr("name", "idprocess").val(id); //Adding field for more controls if you neet handle from PHP var input2 = $("<input>").attr("type", "hidden").attr("name", "idform").val(name); //Adding field for more controls if you neet handle from PHP $('#formarea').append($(input1)); //inserting on Html $('#formarea').append($(input2)); //inserting on Html event.preventDefault(); //prevent default submit //get form an serialize data with FormData var $form = $("#formarea"), formData = new FormData(), params = $form.serializeArray(); var inputs = $("input[type=file]"); //Get all Input tipe Files $.each(inputs, function (obj, v) { // Prefix the name of uploaded files with "uploadedFiles-" // Of course, you can change it to any string var file = v.files[0]; var name = $(v).attr("name");//you can work with the name formData.append(name, file); }); // Add all params to the formData $.each(params, function(i, val) { formData.append(val.name, val.value); }); //performing the submit $.ajax({ url: $form.attr('action'), data: formData, cache: false, contentType: false, processData: false, type: 'POST', error: function(xhr,status,error){console.log(error)}, success: function(response) { alert(response);//print response server } }); }else{ alert("Error: You must fill all field, there " + req + " Empty Fields.");//handle Error Empty Fields } }); Test: print_r($_FILES);
- 回答 1 已采纳 前提说明一下： 有 A、B、C、D、E等多个域名全部解析到一个地址（请求的是一个网页文件）； 也就是说无论访问哪个域名请求的文件都是一样的！  现在我想要在文档内部中添加一些域名链接，让其显示自己的页面（但是还要在这1个网页文件上生效），求助方法！ 【也就是说假如是通过小A网域名访问过来的，则网站域名和标题及内容部分的变量全部更换为小A网，，其他网过来的类似】
- 回答 4 已采纳 如题，本人小白一名，在学习实现一个资源共享系统，涉及到很多1GB以上的文件，查阅了很多资料，发现可以用ajax实现，步骤如下： 1.通过javascript获取文件对象 2.利用slice将文件切割成小片 3.利用xmlhttprequest的send方法将片发送给处理程序 4.php处理程序将文件拼接 于是动手模拟了一下，可是总是没有该有的效果，求大神指导，谢谢！ 文件上传端test.php代码如下：   处理端代码如下 
- weixin_39759589的博客 (点击上方公众号，可快速关注一起学Python)编译：欧剃作为数据科学家的第一个任务，就是做网页爬取。那时候，我对使用代码从网站上获取数据这项技术完全一无所知，它偏偏又是最有逻辑性并且最容易获得的数据来源。在...
- ~wangweijun的博客 我们今天的重点是爬取王者荣耀所有英雄的所有皮肤，而且仅仅使用20行Python代码即可完成。 准备工作 爬取皮肤本身并不难，难点在于分析，我们首先得得到皮肤图片的url地址，话不多说，我们马上来到王者荣耀的官网： ...
- 知飞翀的博客 你可能需要的工作环境：我们这里以sogou作为爬取的对象。首先我们进入搜狗图片http://pic.sogou.com/，进入壁纸分类(当然只是个例子Q...检查发现我们需要的图片src是在img标签下的，于是先试着用 Python 的 requests...
- 4年前一身诗意千寻瀑的博客 首先感谢Darkeril博主的这篇文章，让我知道异步爬取的原理。下面我们开整！！ 二话不说先上代码，客官请看： #coding:utf-8 from bs4 import BeautifulSoup import requests import json import pymongo ...
- 2年前嗨学编程的博客 首先我们进入搜狗图片http://pic.sogou.com/，进入壁纸分类（当然只是个例子Q_Q），因为如果需要爬取某网站...发现我们需要的图片src是在img标签下的，于是先试着用 Python 的 requests提取该组件，进而获取img的s...
- 嗨学编程的博客 提取网页源代码——Requests 工具包 在我们提取网络信息之前，我们必须将网页的源代码进行提取，Requests工具包现在可以说是最好用和最普及的静态网页爬虫工具，它是由大神Kenneth Reitz所搭建的。在Requests的官方...
- 山nan水beta的博客 该代码存在一个硬伤：所获取的网页html是不完整的，因此我也只抓到了这篇游记的前24张图片，这是由于蚂蜂窝游记页面异步加载的原因导致的。经过研究，这个问题得到了解决，重新写一篇博客记录一下。 声明：游记为...
- weixin_39613540的博客 这个时候就可以判定其为动态网页，这个时候，我们就需要找接口点击网络标签，我们可以看到网页向服务器发送了很多请求，数据很多，找起来太费时间我们点击XHR分类，可以减少很多不必要的文件，省下很多时间。...
- weixin_39969976的博客 Python网络数据采集-...# 1、分析目标网页，确定爬取的url路径，headers参数 # 2、发送请求--requests 模拟浏览器发送请求，获取响应数据 # 3、解析数据 json模块：把json字符串转化成python可交互的数据类型 # 4...
- weixin_39855843的博客 需要的模块：pythonweb抓取通过：webbrowser：是python自带的，打开浏览器获取指定页面requests：从因特网上下载文件和网页Beautiful Soup：解析HTMLSelenium：启动并控制一个Web浏览器。selenium能够填写表单，并...