Maybebb 2015-11-20 16:21 采纳率: 0%
浏览 2013
已结题

python spynner爬虫问题关于cookies?

最近在做一个采集数据的业务,是关于集思录网站上的数据采集,我是用spynner+pyqt4技术采集的,在所采集的数据中,有一个页面是需要登陆才能查看数据的,页面是:,这个页面是需要登陆之后,才能抓取,页面内容是js加载的,所以采用spynner技术,现在问题的关键是spynner怎么登陆,然后抓取,我之前有使用过urllib登陆,可以成功登陆,但是urllib是不能抓取js所获取的动态数据,所以我想知道如何用spynner做登陆,然后抓取,如何在登陆的前提下抓取数据页面?

  • 写回答

1条回答 默认 最新

  • 普通网友 2015-11-21 12:29
    关注

    创建一个带有cookie的opener,在访问登录的URL时,将登录后的cookie保存下来,然后利用这个cookie来访问其他网址。

    评论

报告相同问题?

悬赏问题

  • ¥20 有人能用聚类分析帮我分析一下文本内容嘛
  • ¥15 请问Lammps做复合材料拉伸模拟,应力应变曲线问题
  • ¥30 python代码,帮调试
  • ¥15 #MATLAB仿真#车辆换道路径规划
  • ¥15 java 操作 elasticsearch 8.1 实现 索引的重建
  • ¥15 数据可视化Python
  • ¥15 要给毕业设计添加扫码登录的功能!!有偿
  • ¥15 kafka 分区副本增加会导致消息丢失或者不可用吗?
  • ¥15 微信公众号自制会员卡没有收款渠道啊
  • ¥100 Jenkins自动化部署—悬赏100元