Rbute 2020-03-20 14:40 采纳率: 100%
浏览 356
已结题

scrapy 请求一段时间停一段时间,不连续,正常吗?

图片说明

scrapy执行的时候,在CMD窗口观察到执行程序总是总是总是会停一段时间(我在一些步骤设置了print所以能看到大概执行情况),因为设置了log级别,在CMD窗口也看不到程序时时刻刻在干啥,pycharm打开setting文件注释了log级别设置,实际上好像也没有生效,然后通过ip代理网站对ip使用情况的检测记录,看到请求也是不连续的,这个太影响效率了,是哪儿没整对吗。

  • 写回答

1条回答 默认 最新

  • threenewbee 2020-03-20 14:57
    关注

    看看是不是dns解析,或者网站数据下载有延迟。
    可以考虑用多线程来提高效率。

    评论

报告相同问题?

悬赏问题

  • ¥15 求daily translation(DT)偏差订正方法的代码
  • ¥15 js调用html页面需要隐藏某个按钮
  • ¥15 ads仿真结果在圆图上是怎么读数的
  • ¥20 Cotex M3的调试和程序执行方式是什么样的?
  • ¥20 java项目连接sqlserver时报ssl相关错误
  • ¥15 一道python难题3
  • ¥15 牛顿斯科特系数表表示
  • ¥15 arduino 步进电机
  • ¥20 程序进入HardFault_Handler
  • ¥15 关于#python#的问题:自动化测试