L4mbert 2017-04-06 13:58 采纳率: 100%
浏览 2331
已采纳

python爬取动态网址时如何获取发送的参数

有个网址是动态的,我需要爬取的数据存储在json数据格式中,
这个用json模块读取没毛病,
但是存在这么一个问题,就是向这个数据url提交访问请求时,
有加密的参数,比如queryID,serverIP,status这三个参数,删去这几个参数去访问是被对方服务器禁止的,
而且通过正常浏览器访问的话,这个页面会在一分钟左右失效不可访问
去找cookies,没在cookies中找到与这三个参数有关联,我没法构造出这个数据页面的url
想问问各位大牛,向某个网站请求的时候,这些动态的参数一般会存储在哪里?怎么获取这种动态添加的参数?
感激不尽!
图片说明
图片说明

  • 写回答

1条回答

  • oyljerry 2017-04-06 14:39
    关注

    可以用selenium等webdriver来加载页面访问。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

悬赏问题

  • ¥30 帮我写一段可以读取LD2450数据并计算距离的Arduino代码
  • ¥15 C#调用python代码(python带有库)
  • ¥15 矩阵加法的规则是两个矩阵中对应位置的数的绝对值进行加和
  • ¥15 活动选择题。最多可以参加几个项目?
  • ¥15 飞机曲面部件如机翼,壁板等具体的孔位模型
  • ¥15 vs2019中数据导出问题
  • ¥20 云服务Linux系统TCP-MSS值修改?
  • ¥20 关于#单片机#的问题:项目:使用模拟iic与ov2640通讯环境:F407问题:读取的ID号总是0xff,自己调了调发现在读从机数据时,SDA线上并未有信号变化(语言-c语言)
  • ¥20 怎么在stm32门禁成品上增加查询记录功能
  • ¥15 Source insight编写代码后使用CCS5.2版本import之后,代码跳到注释行里面