天长 2021-08-25 09:27 采纳率: 100%
浏览 91
已结题

scrapy框架能不能阻塞某一个请求,等其他的请求全部结束在执行这个请求呢

现在在爬取一个信息公示页面,领导想吧导航信息放进去,但是这个异步高并发导致导航数据迭代之后上一个导航的页面还没完成请求。使得导航数据和页面数据不匹配。
有没有办法请求列表页之后等所有详情页请求完之后在进行下一个列表页的请求。

  • 写回答

3条回答

      报告相同问题?

      相关推荐 更多相似问题

      问题事件

      • 系统已结题 9月2日
      • 已采纳回答 8月25日
      • 创建了问题 8月25日

      悬赏问题

      • ¥20 vb6.0窗体中的vscroll控件无法响应鼠标滚轮事件,请教方法
      • ¥15 如何在linux服务器做视频静态资源访问接口
      • ¥15 Python Xpath对<em>标签的爬取结果变成了- -(关键词-Xpath)
      • ¥15 el-cascader懒加载模式选中单选框加载下层无数据问题
      • ¥15 promql 参数怎么忽视大小写查询
      • ¥50 swift使用textkit读取大文本文件速度慢的问题
      • ¥20 统信linux360企业浏览器 如何配置扩展程序?(图形界面我知道)
      • ¥100 c/c++实现DoubleArrayTrie
      • ¥15 在开发/迭代一款企业信息软件时会耗费你们多长时间?
      • ¥15 如果可以为你提供一款定制化的企业软件,您最希望在哪个板块实现定制化?