wyylife 2018-08-25 00:43 采纳率: 100%
浏览 14386
已采纳

python爬虫如何自动获取Network中的某个XHR地址?

需要获取机场航班数据
该机场的url地址https://zh.flightaware.com/live/airport/KHRL
其航班数据是动态加载进来的,通过F12并刷新后得到
https://zh.flightaware.com/ajax/ignoreall/trackpoll.rvt?token=c35ca45ecbca57cd1ea443d1c65c36426ea06630de026ffd737977e4a40a26ead614b3f2ddde9907453c214a859f7965-88dd7c1a0d41355dafa2ce4ff0e607704b11c422c13281778f5b552d40a619d4c5559546eb9966e7-501878875ac23bacc59c19453f7939a79b200f0e&locale=zh_CN&summary=0
图片说明

现在的问题是我有数千个机场的url地址,手动F12找到每个机场的航班地址是无法想象的,所以有没有方法自动获得每个机场请求航班数据的那个URL?

万望大神有空瞅瞅!感谢!

  • 写回答

4条回答 默认 最新

  • lyhsdy 2018-08-27 01:42
    关注

    楼主问的可能有点不清楚,我的理解是:https://zh.flightaware.com/live/airport/+{机场代号} 楼主有几千个机场代号,需要爬取这几千个URL的https://zh.flightaware.com/ajax/ignoreall/trackpoll.rvt 的内容,这个XHR有3个参数,locale,summary,token;locale,summary这两个是固定的;而token获取的方法:
    打开https://zh.flightaware.com/live/airport/+{机场代号} 查看网页源代码 搜素 var trackpollGlobals = 就可以找到token的值了,
    那爬虫代码就是先爬取https://zh.flightaware.com/live/airport/+{机场代号} 网页,获取token值后再结合locale,summary值就可以爬取目标XHR内容了

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(3条)
编辑
预览

报告相同问题?

悬赏问题

  • ¥60 优博讯DT50高通安卓11系统刷完机自动进去fastboot模式
  • ¥15 minist数字识别
  • ¥15 在安装gym库的pygame时遇到问题,不知道如何解决
  • ¥20 uniapp中的webview 使用的是本地的vue页面,在模拟器上显示无法打开
  • ¥15 网上下载的3DMAX模型,不显示贴图怎么办
  • ¥15 关于#stm32#的问题:寻找一块开发版,作为智能化割草机的控制模块和树莓派主板相连,要求:最低可控制 3 个电机(两个驱动电机,1 个割草电机),其次可以与树莓派主板相连电机照片如下:
  • ¥15 Mac(标签-IDE|关键词-File) idea
  • ¥15 潜在扩散模型的Unet特征提取
  • ¥15 iscsi服务无法访问,如何解决?
  • ¥15 感应式传感器制作的感应式讯响器
手机看
程序员都在用的中文IT技术交流社区

程序员都在用的中文IT技术交流社区

专业的中文 IT 技术社区,与千万技术人共成长

专业的中文 IT 技术社区,与千万技术人共成长

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

客服 返回
顶部