python spynner爬虫问题关于cookies? 30C

最近在做一个采集数据的业务,是关于集思录网站上的数据采集,我是用spynner+pyqt4技术采集的,在所采集的数据中,有一个页面是需要登陆才能查看数据的,页面是:,这个页面是需要登陆之后,才能抓取,页面内容是js加载的,所以采用spynner技术,现在问题的关键是spynner怎么登陆,然后抓取,我之前有使用过urllib登陆,可以成功登陆,但是urllib是不能抓取js所获取的动态数据,所以我想知道如何用spynner做登陆,然后抓取,如何在登陆的前提下抓取数据页面?

1个回答

创建一个带有cookie的opener,在访问登录的URL时,将登录后的cookie保存下来,然后利用这个cookie来访问其他网址。

hy245120020
Maybebb cookie我已经获取到了,关键是如何在spynner中使用这个cookie?
4 年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问
相关内容推荐