请教scrapy需求问题!!很纠结!!!
通过scrapy爬一个api,有很多页数据,其中response中有一个lastId参数,用于翻页,并且是发起request的必须参数。lastId不是简单的数字,而是该页最后一个用户的id,完全没有规律,lastId实时变化(数据不断更新),所以只能一页一页的爬取,因为爬了第一页并获取lastId,才能爬第二页。
那么问题来了,scrapy是异步的,但是如上所述,整个过程似乎是只能同步,并且是阻塞的。那么这跟scrapy异步高性能的特点截然相反,是不是用不了scrapy?
求大神指点!!!
- 点赞
- 写回答
- 关注问题
- 收藏
- 复制链接分享
- 邀请回答
为你推荐
- scrapy安装失败的问题
- 为什么我的scrapy爬不到数据了
- python
- 1个回答
- scrapy-爬取京东笔记本电脑信息问题
- 【scrapy爬虫问题】scrapy.xpath解析返回的结果有问题,求解答!!!
- python
- 1个回答
- 关于Scrapy 框架运行不出结果的问题,好像没有报错
- 为什么我不能调用csrapy.Requeat()属性!求助大神
- python
- 1个回答
- scrapy框架+formdata+ajax爬取及翻页问题
- scrapy框架问题报错?
- python
- 1个回答
- scrapy存到mysql查询无数据
- 什么相当于SCRAPY中的CURL
- php
- scrapy
- 1个回答
- 如何在scrapy中带cookie访问?
- 爬虫之scrapy报错spider 农田
- scrapy爬虫相关 关于json数据的处理
- xpath
- json
- 爬虫
- 数据
- 1个回答
- 如何利用scrapy爬取带标签的网页内容并保存到自己的服务器上?
- flask+scrapy的爬虫问题
- 运行scrapy项目报错:ImportError:DLL load failed:操作系统无法运行
- scrapy 爬虫
- 3个回答
- scrapy爬取知乎首页乱码
- 乱码
- scrapy 爬虫
- 2个回答
- 建立scrapy工程,显示这样的错误,没找到解决方法
- python
- 命令行
- scrapy
- 1个回答
- scrapy优点是什么?比直接用正则好在哪?
- python
- scrapy
- 爬虫
- 1个回答
- scrapy配置问题,求大家帮忙啊
- python
- 3个回答