Maybebb 2015-11-20 16:21 采纳率: 0%
浏览 2013
已结题

python spynner爬虫问题关于cookies?

最近在做一个采集数据的业务,是关于集思录网站上的数据采集,我是用spynner+pyqt4技术采集的,在所采集的数据中,有一个页面是需要登陆才能查看数据的,页面是:,这个页面是需要登陆之后,才能抓取,页面内容是js加载的,所以采用spynner技术,现在问题的关键是spynner怎么登陆,然后抓取,我之前有使用过urllib登陆,可以成功登陆,但是urllib是不能抓取js所获取的动态数据,所以我想知道如何用spynner做登陆,然后抓取,如何在登陆的前提下抓取数据页面?

  • 写回答

1条回答

  • 普通网友 2015-11-21 12:29
    关注

    创建一个带有cookie的opener,在访问登录的URL时,将登录后的cookie保存下来,然后利用这个cookie来访问其他网址。

    评论

报告相同问题?

悬赏问题

  • ¥20 delta降尺度方法,未来数据怎么降尺度
  • ¥15 c# 使用NPOI快速将datatable数据导入excel中指定sheet,要求快速高效
  • ¥15 再不同版本的系统上,TCP传输速度不一致
  • ¥15 高德地图点聚合中Marker的位置无法实时更新
  • ¥15 DIFY API Endpoint 问题。
  • ¥20 sub地址DHCP问题
  • ¥15 delta降尺度计算的一些细节,有偿
  • ¥15 Arduino红外遥控代码有问题
  • ¥15 数值计算离散正交多项式
  • ¥30 数值计算均差系数编程