天擎525
2014-07-20 12:37
浏览 1.2k
已采纳

执行wordcount时到map 0% reduce 0%不动了

日志如下:
14/07/20 12:30:25 WARN mapred.JobClient: No job jar file set. User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
14/07/20 12:30:25 INFO input.FileInputFormat: Total input paths to process : 1
14/07/20 12:30:25 INFO util.NativeCodeLoader: Loaded the native-hadoop library
14/07/20 12:30:25 WARN snappy.LoadSnappy: Snappy native library not loaded
14/07/20 12:30:26 INFO mapred.JobClient: Running job: job_201407201216_0001
14/07/20 12:30:27 INFO mapred.JobClient: map 0% reduce 0%

查看下面的两项
~/hadoop-1.2.1/lib/native/Linux-amd64-64$ file libhadoop.so.1.0.0
libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, not stripped

$ uname -aLinux master 3.11.0-15-generic #25~precise1-Ubuntu SMP Thu Jan 30 17:39:31 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux

在run configuration添加了jvm参数:
-Djava.library.path=/home/tianqing/hadoop-1.2.1/lib/native/Linux-amd64-64
日志也没发现报错,求指教...

  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

1条回答 默认 最新

  • De_Moivre 2014-07-20 14:51
    已采纳

    看到你的程序我还以为是
    job.setJarByClass(WordCount.class);
    这句程序顺序太靠后了, 后来在自己的机器上跑了下你的程序,发现你的程序没有问题,
    是不是你的机器配置太低,跑不动啊。 :wink:

    你可以参考下我的log和你的有什么不同:
    [img]http://dl2.iteye.com/upload/attachment/0099/3593/61d392d8-f418-3b83-9c14-eaca4fbb7349.jpg[/img]

    PS:之前学习过一段时间的hadoop,可是现在想要跑一个wordcount程序都不知道从哪下手了 :cry: :cry:

    打赏 评论

相关推荐 更多相似问题