天擎525 2014-07-20 12:37
浏览 1265
已采纳

执行wordcount时到map 0% reduce 0%不动了

日志如下:
14/07/20 12:30:25 WARN mapred.JobClient: No job jar file set. User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
14/07/20 12:30:25 INFO input.FileInputFormat: Total input paths to process : 1
14/07/20 12:30:25 INFO util.NativeCodeLoader: Loaded the native-hadoop library
14/07/20 12:30:25 WARN snappy.LoadSnappy: Snappy native library not loaded
14/07/20 12:30:26 INFO mapred.JobClient: Running job: job_201407201216_0001
14/07/20 12:30:27 INFO mapred.JobClient: map 0% reduce 0%

查看下面的两项
~/hadoop-1.2.1/lib/native/Linux-amd64-64$ file libhadoop.so.1.0.0
libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, not stripped

$ uname -aLinux master 3.11.0-15-generic #25~precise1-Ubuntu SMP Thu Jan 30 17:39:31 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux

在run configuration添加了jvm参数:
-Djava.library.path=/home/tianqing/hadoop-1.2.1/lib/native/Linux-amd64-64
日志也没发现报错,求指教...

  • 写回答

1条回答 默认 最新

  • De_Moivre 2014-07-20 14:51
    关注

    看到你的程序我还以为是
    job.setJarByClass(WordCount.class);
    这句程序顺序太靠后了, 后来在自己的机器上跑了下你的程序,发现你的程序没有问题,
    是不是你的机器配置太低,跑不动啊。 :wink:

    你可以参考下我的log和你的有什么不同:
    [img]http://dl2.iteye.com/upload/attachment/0099/3593/61d392d8-f418-3b83-9c14-eaca4fbb7349.jpg[/img]

    PS:之前学习过一段时间的hadoop,可是现在想要跑一个wordcount程序都不知道从哪下手了 :cry: :cry:

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

悬赏问题

  • ¥15 关于#python#的问题:求帮写python代码
  • ¥20 MATLAB画图图形出现上下震荡的线条
  • ¥15 LiBeAs的带隙等于0.997eV,计算阴离子的N和P
  • ¥15 关于#windows#的问题:怎么用WIN 11系统的电脑 克隆WIN NT3.51-4.0系统的硬盘
  • ¥15 来真人,不要ai!matlab有关常微分方程的问题求解决,
  • ¥15 perl MISA分析p3_in脚本出错
  • ¥15 k8s部署jupyterlab,jupyterlab保存不了文件
  • ¥15 ubuntu虚拟机打包apk错误
  • ¥199 rust编程架构设计的方案 有偿
  • ¥15 回答4f系统的像差计算