JAJAJAJarvis 2018-06-24 03:15 采纳率: 0%
浏览 1016
已结题

python写爬虫遇到"脚本可访问"属性的cookies怎么办?

最近在用python做网页模拟登陆的时候遇到一些问题。
1.cookies方面的:
当访问某个网页的子页时候往往需要发送一些cookies,这些cookies大多数能在response headers里面找到(set cookies),但是有一些属性是“脚本可访问”的却没有在在headers里面找到(即使已经清空了缓存的该网站的所有cookies),想知道这些cookies是怎么来的。JS脚本里面生成的吗?在python里面应该要怎么样得到这些cookies?

2.关于用post发送payload的问题:
在开发者工具里面发现网页发送的payload是分层次的而不是并列出现(见下图),这种情况在python里面写的时候要用什么格式写?
图片说明
3.Query String Parameters是什么?

刚开始学习爬虫不久,对网页结构了解不是很深,觉得先前使用开发者工具分析网站的方法不是很正确,希望大神指点迷津。

  • 写回答

1条回答

  • threenewbee 2018-06-24 16:09
    关注

    1你最好给一个网站,可以帮你分析你说的cookie怎么来的,因为脚本也可以附加cookie的。

    2你的payload看上去好像是指json格式的post data

    3Query String是指www.abc.com/page?id=xxx&name=yyy中,问号后面的那些键值对。(比如id和name)

    评论

报告相同问题?

悬赏问题

  • ¥35 平滑拟合曲线该如何生成
  • ¥100 c语言,请帮蒟蒻写一个题的范例作参考
  • ¥15 名为“Product”的列已属于此 DataTable
  • ¥15 安卓adb backup备份应用数据失败
  • ¥15 eclipse运行项目时遇到的问题
  • ¥15 关于#c##的问题:最近需要用CAT工具Trados进行一些开发
  • ¥15 南大pa1 小游戏没有界面,并且报了如下错误,尝试过换显卡驱动,但是好像不行
  • ¥15 自己瞎改改,结果现在又运行不了了
  • ¥15 链式存储应该如何解决
  • ¥15 没有证书,nginx怎么反向代理到只能接受https的公网网站