立冬的天蝎 2018-02-24 02:07 采纳率: 0%
浏览 2251
已结题

curl 无法获取所有数据,求大神指点。

用curl 获取数据
/usr/bin/curl --header Accept:text/csv http://hzcovsub2.china.nsn-net.net:9999/api/viewContents/issues/v1/10881?projectId=10024

可以看到 有15571条数据。
{"viewContentsV1":{"offset":0,"totalRows":15571,"columns":[

实际上值获取了 100多条出来。
不知道是什么原因。

  • 写回答

3条回答 默认 最新

  • LSS0506 2018-02-24 02:34
    关注

    //$headers[] = 'Accept-Encoding:gzip,deflate'; //代码中有没有这句,有的话把这一行注释掉就可以了
    或者试一下
    curlDataTest("http://zhannei.baidu.com/api/customsearch/keywords?title=【购机有礼】小米手机上市啦");

    function curlDataTest($url){
    $ch = curl_init();
    $headers = array();
    $headers[] = 'Host:' . parse_url($url)['host'];
    $headers[] = 'User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:55.0) Gecko/20100101 Firefox/55.0';
    $headers[] = 'Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8';
    $headers[] = 'Accept-Language:zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3';
    $headers[] = 'Connection:keep-alive';
    $headers[] = 'Upgrade-Insecure-Requests:1';
    //设置选项,包括URL
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_HEADER, 0);
    curl_setopt($ch, CURLOPT_HTTPHEADER , $headers);

    //执行并获取HTML文档内容
    $output = curl_exec($ch);
    //释放curl句柄

        //打印获得的数据
        var_dump(curl_error($ch));
        var_dump($output);
        curl_close($ch);
    } 
    
    评论

报告相同问题?

悬赏问题

  • ¥15 arduino控制ps2手柄一直报错
  • ¥15 使用rabbitMQ 消息队列作为url源进行多线程爬取时,总有几个url没有处理的问题。
  • ¥85 maple软件,solve求反函数,出现rootof怎么办?
  • ¥15 求chat4.0解答一道线性规划题,用lingo编程运行,第一问要求写出数学模型和lingo语言编程模型,第二问第三问解答就行,我的ddl要到了谁来求了
  • ¥15 Ubuntu在安装序列比对软件STAR时出现报错如何解决
  • ¥50 树莓派安卓APK系统签名
  • ¥65 汇编语言除法溢出问题
  • ¥15 Visual Studio问题
  • ¥20 求一个html代码,有偿
  • ¥100 关于使用MATLAB中copularnd函数的问题