Rbute 2020-03-20 14:40 采纳率: 100%
浏览 356
已结题

scrapy 请求一段时间停一段时间,不连续,正常吗?

图片说明

scrapy执行的时候,在CMD窗口观察到执行程序总是总是总是会停一段时间(我在一些步骤设置了print所以能看到大概执行情况),因为设置了log级别,在CMD窗口也看不到程序时时刻刻在干啥,pycharm打开setting文件注释了log级别设置,实际上好像也没有生效,然后通过ip代理网站对ip使用情况的检测记录,看到请求也是不连续的,这个太影响效率了,是哪儿没整对吗。

  • 写回答

1条回答 默认 最新

  • threenewbee 2020-03-20 14:57
    关注

    看看是不是dns解析,或者网站数据下载有延迟。
    可以考虑用多线程来提高效率。

    评论

报告相同问题?

悬赏问题

  • ¥15 三菱伺服电机按启动按钮有使能但不动作
  • ¥20 为什么我写出来的绘图程序是这样的,有没有lao哥改一下
  • ¥15 js,页面2返回页面1时定位进入的设备
  • ¥200 关于#c++#的问题,请各位专家解答!网站的邀请码
  • ¥50 导入文件到网吧的电脑并且在重启之后不会被恢复
  • ¥15 (希望可以解决问题)ma和mb文件无法正常打开,打开后是空白,但是有正常内存占用,但可以在打开Maya应用程序后打开场景ma和mb格式。
  • ¥15 绘制多分类任务的roc曲线时只画出了一类的roc,其它的auc显示为nan
  • ¥20 ML307A在使用AT命令连接EMQX平台的MQTT时被拒绝
  • ¥20 腾讯企业邮箱邮件可以恢复么
  • ¥15 有人知道怎么将自己的迁移策略布到edgecloudsim上使用吗?