TPYI123 2024-06-27 05:32 采纳率: 88.5%
浏览 19
已结题

为什么会失败呢,该如何调整

想要爬取第一条网页的数据但是失败了


CURL *curl = curl_easy_init();
    if (curl) {
        std::string lurl;
        lurl = "https://www.nasdaq.com/market-activity/stocks/amzn/historical";
        curl_easy_setopt(curl, CURLOPT_URL, lurl.c_str());
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, write_callback);
        std::string html_data;
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &html_data);
        CURLcode res = curl_easy_perform(curl);
        if (res == CURLE_OK) {        
            std::cout << html_data.substr(0, 50) << std::endl;
        }
        else {
            std::cerr << "Failed to download HTML: " << curl_easy_strerror(res) << std::endl;
        }
        std::cout << std::endl << std::endl;
        lurl = "https://finance.sina.com.cn/";
        curl_easy_setopt(curl, CURLOPT_URL, lurl.c_str());
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, write_callback);    
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &html_data);
        res = curl_easy_perform(curl);
        if (res == CURLE_OK) {

            std::cout << html_data.substr(0, 50) << std::endl;
        }
        else {
            std::cerr << "Failed to download HTML: " << curl_easy_strerror(res) << std::endl;
        }

        curl_easy_cleanup(curl);

    }

img

  • 写回答

13条回答 默认 最新

  • 急速光粒 2024-06-27 07:20
    关注

    有可能网站设置了验证,对请求做了限制,要完善请求头和请求体满足爬取要求。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(12条)

报告相同问题?

问题事件

  • 系统已结题 7月5日
  • 已采纳回答 6月27日
  • 创建了问题 6月27日

悬赏问题

  • ¥15 ansys fluent计算闪退
  • ¥15 有关wireshark抓包的问题
  • ¥15 需要写计算过程,不要写代码,求解答,数据都在图上
  • ¥15 向数据表用newid方式插入GUID问题
  • ¥15 multisim电路设计
  • ¥20 用keil,写代码解决两个问题,用库函数
  • ¥50 ID中开关量采样信号通道、以及程序流程的设计
  • ¥15 U-Mamba/nnunetv2固定随机数种子
  • ¥15 vba使用jmail发送邮件正文里面怎么加图片
  • ¥15 vb6.0如何向数据库中添加自动生成的字段数据。