douhe5092 2010-10-03 00:25
浏览 40
已采纳

卷曲下载2.5k +文件太慢了

I have to download 2.5k+ files using curl. I'm using Drupals inbuilt batch api to fire the curl script without it timing out but it's taking well over 10 minutes to grab and save the files.

Add this in with the the processing of the actual files. The potential runtime of this script is around 30 minutes. Server performance isn't an issue as both the dev/staging and live servers are more than powerful enough.

I'm looking for suggestions on how to improve the speed. The overall execution time isn't too big of a deal as this is meant to be run once but it would be nice to know the alternatives.

  • 写回答

2条回答 默认 最新

  • doucong3048 2010-11-09 00:10
    关注

    After playing around with a few different methods I came to conclusion that you just have to bite the bullet and go for it.

    The script takes a while to process but it has a lot of data to churn through.

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题？

  • 卷曲下载2.5k +文件太慢了 php
    2010-10-03 00:25
    回答 2 已采纳 After playing around with a few different methods I came to conclusion that you just have to bite
  • PHP卷曲 - 发送证书的正确方法？ php
    2018-08-31 14:42
    回答 1 已采纳 I was using "HTTP", and to send the certificate on the request, i need to use "HTTPS". Don't need
  • 卷曲php没有加载网站样式 php
    2017-08-09 12:58
    回答 1 已采纳 Because curl only gets html (source code) of specified url and i think styles are addressed relati
  • streams:PHP包装器用于多卷曲
    2021-05-10 14:12
    “ streams”是用于多卷曲PHP包装器 安装 安装 ： curl -sS https://getcomposer.org/installer | php 添加流依赖项： php composer.phar require 'pulyavin/streams:0.*' 用法 use pulyavin\streams\ Stream ; ...
  • PHP在Foreach循环中运行卷曲函数 php
    2017-04-11 20:26
    回答 1 已采纳 One solution that comes to mind is using array_chunk() to break $rmobiles into multiple arrays wit
  • PHP杀死正在进行的多卷曲请求 http nginx php
    2017-08-03 19:52
    回答 1 已采纳 well, you should be able to cancel them at will with a CURLOPT_PROGRESSFUNCTION, have a global var
  • 如何在Google API PHP客户端版本2.2.2中设置卷曲超时 php
    2019-03-05 08:43
    回答 1 已采纳 Try this: $client->setConfig('CURLOPT_CONNECTTIMEOUT', 100); $client->setConfig('CURLOPT_TI
  • curl:一个友好PHP卷曲包装器
    2021-05-14 01:22
    适用于PHP的curl包装类一个PHP包装器类，用于简化。如何使用以下代码显示了如何使用此类 $ http = new dcai\curl;// enable cache$ http = new dcai\curl( array ( 'cache' => true ));// enable cookie$ ...
  • 复杂（卷曲）语法PHP [重复] php
    2017-01-07 16:53
    回答 1 已采纳 Your string has to be placed in double quotes (") instead of single quotes ('). Otherwise variable
  • PHP网络工具 - 卷曲[关闭] php
    2014-01-01 14:43
    回答 1 已采纳 You can look at http://it2.php.net/curl_setopt to see all the possible options available on PHP'
  • 循环多卷曲请求PHP的最佳方法 php
    2015-08-17 09:34
    回答 3 已采纳 This is fairly easy with a library like GuzzleHttp. I don't know what your object structure or val
  • api-helper:卷曲配置文件以使用api
    2021-05-14 17:47
    profile是~/.config/api-helper中文件的名称，包含URL条目和任意curl选项 action是一个http动词，例如get ， put ， post等 endpoint是要附加到profile定义的url的路由 data是卷曲选项，例如--data随请求一起发送 ...
  • 处理大卷曲响应 - PHP php
    2015-05-19 19:46
    回答 2 已采纳 You can process the data in chunks as they come using CURLOPT_WRITEFUNCTION option with a callback
  • composer-curl-plugin:作曲家卷曲插件
    2021-05-31 01:06
    作曲家卷曲插件安装安装插件 $ composer global require ngyuki/composer-curl-plugin:dev-master 例子安装 symfony $ composer require symfony/symfony: \* 无插件更新$ rm -fr ~ /.composer/cache/repo/$ ...
  • async_curl:AsyncCurl：cURL (PHP) 包装器，用于下载时的串行处理
    2021-07-06 04:38
    异步卷曲用于顺序处理的 CURL (PHP) 包装器版权所有 (c) 2014 Furyu 许可证：MIT 许可证概述的包装器在下载数据时顺序处理。如何使用准备将 async_curl_options.php.sample 重命名为 async_curl_options.php 并在...
  • curlcurl:卷曲cURL
    2021-05-24 16:05
    卷曲cURL 这是一个帮助程序类，它通过将cURL卷曲成一行来使代码更清晰。 使用Curl cUrl，您不必像单独进行连接那样初始化或关闭连接。 只需包装选项和kaboom！ 在2.0版中，所有选项都可以链式加载。 ＃＃用法需要...
  • easycurl:易卷曲
    2021-06-24 23:36
    易卷曲 EasyCurl 一个非常简单的 cURL 类。 设置 推荐人和用户代理选项。 包括默认值。 require "easycurl.class.php" ; $ curl = new EasyCurl ; $ curl -> referer = "http://google.com" ; $ curl -> user_...
  • C ++请求：为人卷曲-C/C++开发
    2021-05-26 20:31
    cpr项目将有一个新的维护者：Tim Stack。 他已经慷慨地同意捐出自己的时间来保持该项目的健康并使其发展。 对于那些等待其PR和要解决的问题的人，我感谢您的耐心并知道您将在前进中处于良好的状态。...
  • nginx linux下载文件,linux – 从nginx缓慢下载大型静态文件
    2021-05-12 01:50
    神经小黑的博客 每个客户端的最大下载量为1mb / s,Nginx一起使用不超过50mbps,我的问题是什么可能导致传输速度变慢？服务器**Settings for eth1:Supported ports: [ TP ]Supported link modes: 1000baseT/Full10000baseT/Full**root...
  • userinfo:卷曲http
    2021-06-18 06:49
    用户信息 - curl -X GET http://byoung@bigbluehat.com/十多年来，我一直在浏览器地址栏中输入电子邮件地址。 现在，我想要回一些东西。用户 URI 方案mailto和（最近的） acct提供了通过电子邮件地址识别实体（人、...
  • 没有解决我的问题, 去提问

悬赏问题

  • ¥15 虚幻5 UE美术毛发渲染
  • ¥15 CVRP 图论 物流运输优化
  • ¥15 Tableau online 嵌入ppt失败
  • ¥100 支付宝网页转账系统不识别账号
  • ¥15 基于单片机的靶位控制系统
  • ¥15 真我手机蓝牙传输进度消息被关闭了，怎么打开？(关键词-消息通知)
  • ¥15 装 pytorch 的时候出了好多问题，遇到这种情况怎么处理？
  • ¥20 IOS游览器某宝手机网页版自动立即购买JavaScript脚本
  • ¥15 手机接入宽带网线，如何释放宽带全部速度
  • ¥30 关于#r语言#的问题：如何对R语言中mfgarch包中构建的garch-midas模型进行样本内长期波动率预测和样本外长期波动率预测