def init(self):
super(Shouxian_zfcg,self).__init__()
self.start_urls = [
'http://sxztb.shouxian.gov.cn/SXztb/jyxm/003002/003002004/'
]
##初始化page
self.page=1
self.file_download = '/home/lenovo/attachments/zhengfucaigou/anhui/huainan/shouxian_cg/'
self.Redis = Url_Into_Redis(self.name)
self.r_instance = self.Redis.redis_instance()
利用scrapy爬取分页的附件链接并下载,为什么设置爬取一页,却把之后的页面的数据也下载了
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
1条回答 默认 最新
关注 不知道你这个问题是否已经解决, 如果还没有解决的话:- 文章:利用scrapy框架爬取某招聘网站,并对数据进行简单分析 中也许有你想要的答案,请看下吧
如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 以帮助更多的人 ^-^解决 无用评论 打赏 举报
悬赏问题
- ¥15 sqlite 附加(attach database)加密数据库时,返回26是什么原因呢?
- ¥88 找成都本地经验丰富懂小程序开发的技术大咖
- ¥15 如何处理复杂数据表格的除法运算
- ¥15 如何用stc8h1k08的片子做485数据透传的功能?(关键词-串口)
- ¥15 有兄弟姐妹会用word插图功能制作类似citespace的图片吗?
- ¥200 uniapp长期运行卡死问题解决
- ¥15 latex怎么处理论文引理引用参考文献
- ¥15 请教:如何用postman调用本地虚拟机区块链接上的合约?
- ¥15 为什么使用javacv转封装rtsp为rtmp时出现如下问题:[h264 @ 000000004faf7500]no frame?
- ¥15 乘性高斯噪声在深度学习网络中的应用