天擎525 2014-07-20 12:37
浏览 1265
已采纳

执行wordcount时到map 0% reduce 0%不动了

日志如下:
14/07/20 12:30:25 WARN mapred.JobClient: No job jar file set. User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
14/07/20 12:30:25 INFO input.FileInputFormat: Total input paths to process : 1
14/07/20 12:30:25 INFO util.NativeCodeLoader: Loaded the native-hadoop library
14/07/20 12:30:25 WARN snappy.LoadSnappy: Snappy native library not loaded
14/07/20 12:30:26 INFO mapred.JobClient: Running job: job_201407201216_0001
14/07/20 12:30:27 INFO mapred.JobClient: map 0% reduce 0%

查看下面的两项
~/hadoop-1.2.1/lib/native/Linux-amd64-64$ file libhadoop.so.1.0.0
libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, not stripped

$ uname -aLinux master 3.11.0-15-generic #25~precise1-Ubuntu SMP Thu Jan 30 17:39:31 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux

在run configuration添加了jvm参数:
-Djava.library.path=/home/tianqing/hadoop-1.2.1/lib/native/Linux-amd64-64
日志也没发现报错,求指教...

  • 写回答

1条回答 默认 最新

  • De_Moivre 2014-07-20 14:51
    关注

    看到你的程序我还以为是
    job.setJarByClass(WordCount.class);
    这句程序顺序太靠后了, 后来在自己的机器上跑了下你的程序,发现你的程序没有问题,
    是不是你的机器配置太低,跑不动啊。 :wink:

    你可以参考下我的log和你的有什么不同:
    [img]http://dl2.iteye.com/upload/attachment/0099/3593/61d392d8-f418-3b83-9c14-eaca4fbb7349.jpg[/img]

    PS:之前学习过一段时间的hadoop,可是现在想要跑一个wordcount程序都不知道从哪下手了 :cry: :cry:

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

悬赏问题

  • ¥20 sub地址DHCP问题
  • ¥15 delta降尺度计算的一些细节,有偿
  • ¥15 Arduino红外遥控代码有问题
  • ¥15 数值计算离散正交多项式
  • ¥30 数值计算均差系数编程
  • ¥15 redis-full-check比较 两个集群的数据出错
  • ¥15 Matlab编程问题
  • ¥15 训练的多模态特征融合模型准确度很低怎么办
  • ¥15 kylin启动报错log4j类冲突
  • ¥15 超声波模块测距控制点灯,灯的闪烁很不稳定,经过调试发现测的距离偏大