现在在爬取一个信息公示页面,领导想吧导航信息放进去,但是这个异步高并发导致导航数据迭代之后上一个导航的页面还没完成请求。使得导航数据和页面数据不匹配。
有没有办法请求列表页之后等所有详情页请求完之后在进行下一个列表页的请求。
scrapy框架能不能阻塞某一个请求,等其他的请求全部结束在执行这个请求呢
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
3条回答 默认 最新
- 忍气吞声埋头苦干 2021-08-25 10:11关注
不会啊,传参+回调函数,不会导致数据流错乱的。
回调函数只是处理上一层调用回调函数的时传入的参数/url本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报
悬赏问题
- ¥15 请问我该如何添加自己的数据去运行蚁群算法代码
- ¥20 用HslCommunication 连接欧姆龙 plc有时会连接失败。报异常为“未知错误”
- ¥15 网络设备配置与管理这个该怎么弄
- ¥20 机器学习能否像多层线性模型一样处理嵌套数据
- ¥20 西门子S7-Graph,S7-300,梯形图
- ¥50 用易语言http 访问不了网页
- ¥50 safari浏览器fetch提交数据后数据丢失问题
- ¥15 matlab不知道怎么改,求解答!!
- ¥15 永磁直线电机的电流环pi调不出来
- ¥15 用stata实现聚类的代码