hy245120020
Maybebb
采纳率0%
2015-11-20 16:21

python spynner爬虫问题关于cookies?

30

最近在做一个采集数据的业务,是关于集思录网站上的数据采集,我是用spynner+pyqt4技术采集的,在所采集的数据中,有一个页面是需要登陆才能查看数据的,页面是:,这个页面是需要登陆之后,才能抓取,页面内容是js加载的,所以采用spynner技术,现在问题的关键是spynner怎么登陆,然后抓取,我之前有使用过urllib登陆,可以成功登陆,但是urllib是不能抓取js所获取的动态数据,所以我想知道如何用spynner做登陆,然后抓取,如何在登陆的前提下抓取数据页面?

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享
  • 邀请回答

1条回答

  • Be_Proud Be_Proud 6年前

    创建一个带有cookie的opener,在访问登录的URL时,将登录后的cookie保存下来,然后利用这个cookie来访问其他网址。

    点赞 评论 复制链接分享

相关推荐