python爬虫如何自动获取Network中的某个XHR地址?

需要获取机场航班数据
该机场的url地址https://zh.flightaware.com/live/airport/KHRL
其航班数据是动态加载进来的,通过F12并刷新后得到
https://zh.flightaware.com/ajax/ignoreall/trackpoll.rvt?token=c35ca45ecbca57cd1ea443d1c65c36426ea06630de026ffd737977e4a40a26ead614b3f2ddde9907453c214a859f7965-88dd7c1a0d41355dafa2ce4ff0e607704b11c422c13281778f5b552d40a619d4c5559546eb9966e7-501878875ac23bacc59c19453f7939a79b200f0e&locale=zh_CN&summary=0
图片说明

现在的问题是我有数千个机场的url地址,手动F12找到每个机场的航班地址是无法想象的,所以有没有方法自动获得每个机场请求航班数据的那个URL?

万望大神有空瞅瞅!感谢!

3个回答

楼主问的可能有点不清楚,我的理解是:https://zh.flightaware.com/live/airport/+{机场代号} 楼主有几千个机场代号,需要爬取这几千个URL的https://zh.flightaware.com/ajax/ignoreall/trackpoll.rvt 的内容,这个XHR有3个参数,locale,summary,token;locale,summary这两个是固定的;而token获取的方法:
打开https://zh.flightaware.com/live/airport/+{机场代号} 查看网页源代码 搜素 var trackpollGlobals = 就可以找到token的值了,
那爬虫代码就是先爬取https://zh.flightaware.com/live/airport/+{机场代号} 网页,获取token值后再结合locale,summary值就可以爬取目标XHR内容了

emmm本来昨天想回答来着,结果因为敏感词被禁言了,跟楼上的想法差不多。
另外,还有一个比较笨的方法,源代码里有一段js代码包裹着的json数据,函数名是trackpollBootstrap,它无需token,只需要一个航hangban代号,比如https://zh.flightaware.com/live/flight/RPA3625中的‘RPA3625’。获取所有航班可以从所有hangkong公司下手,遍历每个公司所有的航班的代号,所有公司的信息在一个js文件里,在network的js中可以看到‘airlines-js.rvt’,下划线好像也不让发,自己将两个横线改成下划线。然后对数据自己做一些处理都行。

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
python 爬虫XHR获取失败
需求是这样的,我需要写一个爬虫把nhttp://www.bjbus.com/home/fun_news_list.php?uNewsType=1&uStyle=1n上的所有list和其中的链接爬下来并每天定时查看有没有新的公告。进行简单的nresponse = urllib2.urlopen('http://www.bjbus.com/home/fun_news_detail.php?uNewsCode=00003475&uNewsType=1')nprint html = response.read()n发现没有我想要的内容,进一步我发现我想要的东西是通过这个发来的nhttp://www.bjbus.com/home/ajax_news_list.phpn但我单独请求这个没有任何返回,尝试了自己编写headers后无果,请大神们帮帮忙n怎么才能获得所有的公告和其对应的链接。
python爬虫之异步XHR爬取
首先感谢Darkeril博主的这篇文章,让我知道异步爬取的原理。下面我们开整!! 二话不说先上代码,客官请看: #coding:utf-8 from bs4 import BeautifulSoup import requests import json import pymongo url = 'http://www.guokr.com/scientific/' de
求助,如何爬取浏览器开发者工具中Network中XHR
[img=https://img-bbs.csdn.net/upload/201802/28/1519782374_157192.png][/img]rn如图。。麻烦各位大神了。
python爬虫实战-自动IP地址查询
该段代码实现IP地址的自动查询。 IP地址查询结果的来源:http://www.ip138.com/ips138.asp假设查询IP地址为:172.18.92.222,在上面那个网站的查询结果如下: 观察发现查询结果在其中一对tr标签的li标签中。对应的源代码为: Python实现:# -*- coding:utf-8 -*- import requests from bs4 import
在win7中,如何自动获取IP地址
http://jingyan.baidu.com/article/47a29f243fce1ec0142399a3.html 今天打开电脑之后,CMCC-EDU竟然登录不了,说IP地址的认证失败。然后根据百度的相关专业人士的回答,我确定了我的IP地址确实无效,然后就开始重新修改适配器。 接下来给大家讲一下步骤:(针对于win7的系统) 1.点击“开始”,打开控制面板,双击“网络和intern
Python爬虫自动获取CSDN博客收藏文章
CSDN的Python创意编程活动开始第一天就看到了,但是认为自己是菜鸟,就向当“吃瓜群众”,后来看到有好多人的代码是关于爬虫的,当初我就是由于对爬虫 感兴趣才自学的Python。现在也打算参加一下这个活动。 由于经常使用CSDN,所以收藏了好多优秀的文章,但是对于收藏夹没有整理好,要回去找之前收藏的文章不是很方便,经过研究,就用自学的简单Python爬虫帮我吧。 去到首页一看,收藏的文章
爬虫自动获取UserAgent
导入 from fake_useragent import UserAgent, FakeUserAgentError import random   获取用户代理对象   try: ua = UserAgent() except FakeUserAgentError: pass 用随机随机获取一个用户代理,并加入到页眉   base_headers = ...
XHR获取自定义响应头
记录一次事故 使用JWT做用户身份验证时,登陆时,后台会将Token放置在自定义响应头(X-token)中,然后需要前端获取Token并将值存储在本地,之后每次资源请求时都会将Token放置在请求头中。 问题 同域时,前端可以正常获取响应头X-token,整个通信流程没问题。但是,在跨域时,无法获取X-token。在Chrome调试时,发现响应头中没有X-token。 解决方式 ...
Python爬虫_自动下载图片
# -*- coding:utf8 -*- # Python: 2.7.8 # Platform: Windows # Author: wucl # Version: 1.0 # Program: 自动下载妹子图的图片并保存到本地 # History: 2015.5.31 # 20
Python爬虫获取小区经纬度以及获取结构化的地址
    通过小区名称利用百度api可以获取小区的地址以及经纬度,但是由于api返回的值中的地址形式不同,所以可以首先利用小区名称进行一轮爬虫,获取小区的经纬度,然后再利用经纬度Reverse到小区的结构化的地址。另外小区名称如果是'...号‘,可以在爬虫开始之前在’号‘之后加一个’院‘,得到的精确度更高。这次写到程序更加便于二次利用,只需要给程序传递一个dataframe就可以坐等结果了。现在程序...
python爬虫——获取新闻标题
打开要提取的新闻页面 右键-》审查元素(N)进入开发者界面 进入Network,选中recording network log(红色圆点),筛选 (蓝色漏斗),然后重新加载页面。选择doc,左下第一列即为所选目标。通过headers 和 Responses可以确认是不是我们所要选择的内容。 headers中 Request URL:https://news.sina.cn/2017-08-21/
python爬虫获取网页内容
import urllib import random import re from urllib import request if __name__ == "__main__": response = request.urlopen('https://www.doabooks.org/oai?verb=ListRecords&metadataPrefix=oai_dc&...
python 爬虫获取代理Ip
舍友弄了个blog,帮推一下先www.cufercwc.cn,点击量寥寥可数。下午为了逗他玩,写了个爬虫,增加他的文章点击量,哈哈,后来被他发现了,他把服务器给关了,并且决定研究反爬虫,跟我斗智斗勇,于是我先弄了这个代理ip。
Python爬虫之获取小说
学这个之前请确保自己对http协议和html有些了解(不用全都会) 爬虫是什么? 爬虫就是模拟浏览器去访问链接,来帮助我们获取想要的数据,可见即可爬(爬不到就是技术不够) 浏览器是怎样访问网页的呢? 浏览器会向一个网站发起一个请求,网站再作出响应,返回数据给浏览器,返回的数据就包含我们想要的东西。 进入正文! 就拿起点中文网为例,推荐使用Chrome浏览器,因为火狐一次次让我失望。 ...
Python爬虫 获取验证码
代码如下, 验证码指向的是一个php页面, 研究了好久,找不到破解的方法。rnrn rn rn rn rn rnrn[img=https://img-bbs.csdn.net/upload/201809/05/1536108423_222297.gif][/img]
Python 爬虫(获取小说)
以《笔趣阁》小说网站为例 小说的目录网站地址假如为:http://www.biquge.com/19_19272/ 那么,19_19272就是module参数 命令行运行时,需要这么做:python demo.py 19_19272 即可 还有一些小说保存路径的配置 需求:python3版本以上 代码如下: import urllib.request import re import
ip地址自动获取
现在ip地址与服务器地址都为固定,如何实现为自动获取,不要告诉我去本地连接里面去改!!!
自动获取IP地址
自动获取IP..
自动获取DNS地址
自动获取DNS地址的一个工具,挺简单的,给有需要的人吧。
dhcp自动获取地址
通过路由器做 dhcp似的主机自动获取地址
python爬虫 批量下载IP地址
python爬虫 批量下载IP地址
python爬虫实现----github地址
正在不断完善中的一个python爬虫。 没有采用多进程多线程,采用协程和tornado异步库实现。 github地址: https://github.com/happyAnger6/anger6Spider
Python爬虫实战学习地址
http://blog.csdn.net/flyingfishmark/article/category/6194504 http://www.cnblogs.com/jixin/p/5121886.html https://zhuanlan.zhihu.com/p/22390905
小说自动爬虫资源获取
运行项目或者直接跑bat文件,写上网址和书名,就会自动到网络上下载你所需的资源,让你告别看个小说还要收费的苦恼。这就是一款书虫的福利。
XHR
XHR 博文链接:https://eric2007.iteye.com/blog/213570
爬虫软件 自动获取网站源码
爬虫软件 自动获取网站源码 将整个网站拉去到本地,可直接变成本地静态网站
怎样获取某个地址的机器码??
有个Test.exe程序,我用工具反汇编得到如下数据:rn00401000 74XX jn xxxxrn现在我想自己编程获取00401000地址的机器码74XX该怎么做,谢谢!注意事先并不知道00401000处的机器码和指令长度是多少。
xhr获取二进制数据方法
jquery的ajax无法获取二进制数据,获取二进制数据需要使用xhr 代码如下: $("#img-verify-code").click(function () {                                             var url = 'createLink('user', 'verifycode') ?>';                    
Python爬虫如何获取动态内容-上
首先这里说一下我标题动态内容指的就是一个网页,每天你去浏览它的时候有些内容是更新的,所以这些是在源代码里面没有的。例子为B站每天的轮播和静态推荐内容都是不断更新的。 因此,如果想要爬取这些信息,一直用之前的爬取方式:requests.get(URL) ,是找不到这些的。用的是和get相呼应的:requests.post(URL) 。 关键一,就是如何正确得到这些动态更新内容的URL:
Python爬虫如何获取重定向后的url
在Python爬虫中会遇到url被重定向的情况,比如我点击https://www.test.com/uiehwuhuhgrehgureg.htm跳转到另一个页面,另一个页面的url会变成https://www.test.com/test.htm 使用下面代码可以获取到重定向后的url import requests def get_redirect_url(): ...
Python爬虫如何获取动态内容-下
上节我们是说了如何获取到动态的数据,那么现在就来说说如何获取到你想要的数据。 目前我所遇到的有两种情况。 第一种: 这种的json形式我任务是比较正常的格式,一个{}里面有一个[],[]里面则是数据信息 对于这种,可采用以下方式来获取数据,比如aid,author等信息 d_hot = d_json['recommend']['list'] 这样一行代码就找到了json里两
python实战之selenium自动爬虫
今天用selenium爬取了我关注的某个博主的所有文章,并保存到本地文件。 思路:自动打开浏览器并搜索网址,找到文章的标题,评论数,阅读量以及链接和下一页的节点,爬取完一页后就自动点击下一页继续爬取,直到爬完,最后关闭浏览器。 过程中遇到的问题: 一,关于找节点:如果节点比较简单的,可以直接copy xpath得到,然后利用find_element_by_xpath()得到相应的节点,进而得...
用VC如何自动获取IP地址
是否有win API可以自动获取IP,或者设置DHCP的API,停止或暂停DHPC;
如何自动获取客户端(browser)的 email 地址?
在访问过有些网站后,他会给你发来 email 。但是我并没有添些什么表单阿?rn请问,是否有什么技术,可以自动获得客户端(browser)的 email 地址。至少是他在自己机器上登记的。rn现行谢过。
请问如何可以自动获取并口的地址?
台式机一般是0x378,但笔记本就不一定是,通过查看电脑的属性固然可以得到但太麻烦,不适合初级用户,所以想在程序中自动获取,通过注册表,bios都是可以,只要能达到目的rnrn谢谢
如何获取鼠标点击IE 浏览器中的某个地址?
如何获取鼠标点击IE 浏览器中的某个地址?
Qt中如何获取某个控件的指针地址
Qt中如何获取某个控件的指针地址,我知道C语言可以轻松的获取指针地址,不知道在Qt中是否有好的方法来获去某个部件的指针信息。 求指教。
请教各位高手,如何获取程序中某个函数的地址
我用VC编了个程序,现在想找到程序里某个函数的地址,Debug版本可以通过VC调试很容易找到,但Release版本,VC调试不了,该怎么找,不会是从头跟踪吧?
windows下python爬虫自动运行
用anaconda下的scrapy写的python爬虫 自动运行 在项目里创建一个bat里面的内容为 @echo offecho D:\anaconda\setup\python.exe D:\hdl_spider\MeatPrice\MeatPrice\main.py pause pause可删掉 那么bat运行完就会自动关闭cmd 任务计划程序、创建基本任务 ...
如何获取结构体中某个于的偏移地址
如何获取结构体中某个于的偏移地址rnrn如rnstruct mystructrnrn int a;rn double b;rn char c;rnrnrn怎么样知道a b c的相对地址,除了用地址相减的方法。 rnrn例如 rnrnstruct mystruct s;rn&(s.b)-&s就是b的相对地址。rnrn还有什么好方法rn rn
相关热词 c# 标准差 计算 c#siki第五季 c#入门推荐书 c# 解码海康数据流 c# xml的遍历循环 c# 取 查看源码没有的 c#解决高并发 委托 c#日期转化为字符串 c# 显示问号 c# 字典对象池