def init(self):
super(Shouxian_zfcg,self).__init__()
self.start_urls = [
'http://sxztb.shouxian.gov.cn/SXztb/jyxm/003002/003002004/'
]
##初始化page
self.page=1
self.file_download = '/home/lenovo/attachments/zhengfucaigou/anhui/huainan/shouxian_cg/'
self.Redis = Url_Into_Redis(self.name)
self.r_instance = self.Redis.redis_instance()
利用scrapy爬取分页的附件链接并下载,为什么设置爬取一页,却把之后的页面的数据也下载了
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
1条回答 默认 最新
关注 不知道你这个问题是否已经解决, 如果还没有解决的话:- 文章:利用scrapy框架爬取某招聘网站,并对数据进行简单分析 中也许有你想要的答案,请看下吧
如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 以帮助更多的人 ^-^解决 无用评论 打赏 举报
悬赏问题
- ¥15 安卓adb backup备份应用数据失败
- ¥15 eclipse运行项目时遇到的问题
- ¥15 关于#c##的问题:最近需要用CAT工具Trados进行一些开发
- ¥15 南大pa1 小游戏没有界面,并且报了如下错误,尝试过换显卡驱动,但是好像不行
- ¥15 没有证书,nginx怎么反向代理到只能接受https的公网网站
- ¥50 成都蓉城足球俱乐部小程序抢票
- ¥15 yolov7训练自己的数据集
- ¥15 esp8266与51单片机连接问题(标签-单片机|关键词-串口)(相关搜索:51单片机|单片机|测试代码)
- ¥15 电力市场出清matlab yalmip kkt 双层优化问题
- ¥30 ros小车路径规划实现不了,如何解决?(操作系统-ubuntu)