山城码农小松哥 2016-10-31 15:06 采纳率: 0%
浏览 4565

如何抓取带动态cookie的网站

抓取http://211.141.74.198:8081/aiccips/

在加载的时候首先会设置cookie
图片说明
执行完图中的Js后在报文中添加了 ROBOTCOOKIEID=865978a1ac4 的cookie。
然后在执行location.reload()操作。在httpclient中我模拟了和浏览器一模一样的操作
但是还是没能成功获取到页面。_注_：图片上的代码需要禁用掉JavaScript才能看到,
或者使用抓包也能看到。

  • 写回答

3条回答 默认 最新

  • devmiao 2016-10-31 15:08
    关注

    用什么语言，获得http头的set-cookie字段。java的话，参考
    http://blog.csdn.net/chenzenan/article/details/8505980

    评论

报告相同问题？

  • 网站抓取(使用cookie)
    2015-06-24 09:35
    在网站抓取中，模拟这种Cookie交换机制可以帮助我们成功抓取需要登录才能访问的页面。 要实现网站抓取并使用Cookie，通常我们需要以下步骤： 1. **初始化请求**：首先，我们需要发送一个初始请求到目标网站，获取...
  • php通过curl添加cookie伪造登陆抓取数据的方法
    2020-10-22 14:32
    2. **使用cURL发送带有Cookie的请求** 在PHP中，使用`curl_init()`初始化cURL会话，然后使用`curl_setopt()`设置各种选项。以下是一个示例代码： ```php header("Content-type:text/html;Charset=utf8"); /...
  • 对python抓取需要登录网站数据的方法详解
    2020-09-20 11:48
    许多网站通过检测自动化脚本的行为或要求动态验证码等方式来限制数据抓取。在进行数据抓取之前，必须确保遵守相关法律法规以及网站的服务条款，以免引起法律问题或封禁IP等不良后果。 总结来说，通过Python的scrapy...
  • cookie抓取工具
    2012-11-01 20:47
    在开发过程中，开发者可能需要使用Cookie抓取工具来测试登录状态、用户偏好设置等功能，确保网站的正常运行。而对于网络安全专家来说，通过分析Cookie可以检测潜在的安全漏洞，例如未加密的敏感信息或跨站脚本攻击...
  • python抓取浏览器的cookie_Python抓取需要cookie的网页
    2021-03-06 05:52
    克莱儿儿儿的博客 在仿照《Python小练习：可视化人人好友关系》一文时，需要登录模拟登录人人网。...这时，从豆瓣讨论中找到了解决方法：1....2. 将Cookie记录下来，在Python中使用cookie模块模拟浏览器的行为；3. 取得并解析数据。1....
  • 指定进程抓取cookie-易语言
    2021-06-14 03:59
    自动获取cookie 等相关信息 更多功能自行添加 进程名及指定网址自行修改 源码截图： 第一次分享源码 有做的不足的地方请各位大佬指出 附件已上传皮肤模块 删除即可，调用了精易模块 ，奇易模块。 模块最新版为5.2 ...
  • C#使用WebClient登录网站并抓取登录后的网页信息实现方法
    2021-01-21 18:37
    C#登录网站实际上就是模拟浏览器提交表单，然后记录浏览器响应返回的会话Cookie值，再次发送请求时带着这个会话cookie值去请求就可以实现模拟登录的效果了。 如下类CookieAwareWebClient实现在发送请求时都带着...
  • 抓取Cookie教程
    2024-09-01 21:56
    最好结果的博客 jd cookie 农场 种豆得豆 互助
  • python爬虫动态cookie_【Python】爬虫+动态Cookie获取
    2020-12-22 11:38
    weixin_39689506的博客 一、前言背景是帮助朋友爬取一个国家网站发布的肺炎疫情统计信息。二、遇到的问题朋友本来是打算按照最基本的方法进行爬取，代码如下：import requestsimport reURL = "xxxxxx"r = requests.get(URL)#print(r)但这样...
  • python爬取动态cookie的页面
    2021-04-25 09:46
    雨欲语的博客 在使用requests进行爬虫的时候，很多时候回遇到反爬，其中一个就是cookie会动态变化，如何解决cookie动态变化呢？ 当遇到此类反爬的时候，可以使用selenium来解决，selenium是一个使用代码操作浏览器的自动化工具...
  • 没有解决我的问题, 去提问