Leezy__ 2016-04-12 14:58 采纳率: 0%
浏览 1729
已结题

Node.js + request + cheerio 爬取数据出现问题

我在用node爬取数据,用了request模块和cheerio模块,我在获取到了一个url后,用数组获取到了该url下的分页(假设为1-10),但是当打印数据后,发现只获取到了分页1下的数据

 for (var i = data.start; i <= data.end; i++) {
        var newUrl;
        if ( i == 1 ) {
            newUrl = data.url;
        } else {
            newUrl = data.url + '#!hot-p' + i;
        }
        urlList.push(newUrl);
    }
    async.eachSeries(urlList, function(elem, callback){
        //requestUrl(elem, data.tag, callback);
        request(elem, function(err, res){
            var $ = cheerio.load(res.body.toString());
            var j = $('.j');
            var a = j.find('.a').toArray();
            var hrefArray = [];
            for (var i=0;i< a.length;i++){
                var that = $(a[i]);
                var aHref = that.attr('href');
                var urls = 'http://www.duitang.com' + aHref;
                hrefArray.push(urls);
            }
            console.log(hrefArray);
            callback();
        });
    }, function(err){
        if (err) {
            console.log(err);
        }else{
            console.log('已完成全部抓取!');
        }
        callback();
    });

 console.log(hrefArray);
打印出来的数据全是分页1下的数据,请问这是为什么?
  • 写回答

1条回答

  • devmiao 2016-04-12 15:50
    关注
    评论

报告相同问题?

悬赏问题

  • ¥15 如何在scanpy上做差异基因和通路富集?
  • ¥20 关于#硬件工程#的问题,请各位专家解答!
  • ¥15 关于#matlab#的问题:期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707,使系统具有较小的超调量
  • ¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
  • ¥30 截图中的mathematics程序转换成matlab
  • ¥15 动力学代码报错,维度不匹配
  • ¥15 Power query添加列问题
  • ¥50 Kubernetes&Fission&Eleasticsearch
  • ¥15 報錯:Person is not mapped,如何解決?
  • ¥15 c++头文件不能识别CDialog