langguicj 2008-11-06 17:04
浏览 415
已采纳

关于IBM的Mapreduce tools发布jar文件的问题

为了方便开发mapreduce应用,下载了eclipse插件mapreduce tools,根据官方文档介绍,通过插件运行时,插件会通过SCP复制jar文件到hadoop目录上,然而实际使用当中却出现如下问题:
java.lang.ClassNotFoundException: com.kingsoft.entry.WordCountEntry
at java.net.URLClassLoader$1.run(URLClassLoader.java:200)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:188)
at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
at java.lang.ClassLoader.loadClass(ClassLoader.java:251)
at java.lang.ClassLoader.loadClassInternal(ClassLoader.java:319)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:247)
at org.apache.hadoop.util.RunJar.main(RunJar.java:148)
at org.apache.hadoop.mapred.JobShell.run(JobShell.java:194)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
at org.apache.hadoop.mapred.JobShell.main(JobShell.java:220)

仔细查看了一下,运行时插件通过ssh调用hadoop指令,执行jar,然而指定的jar文件/tmp/xxx.jar在服务器上并不存在,也就是插件并没有将jar文件scp到服务器上,请问有人碰到过类似的问题并解决么?
[b]问题补充:[/b]
To:badqiu

这个回答冒似......,真的没人知道?
[b]问题补充:[/b]
To:fishbottle
非常感谢你的热心帮忙,关于那个帖子,实际上他的问题和我的问题是不一样的,他是在运行过程中出现的问题,而我的问题是一开始就无法运行,因为没有jar包,而他的程序已经可以运行map了,IBM 这个工具官方的FAQ上有人提过和我一样的问题,但是也是没有回帖,有点郁闷,不管怎么说,仍然是非常感激你的回答,谢谢!

  • 写回答

3条回答 默认 最新

  • badqiu 2008-11-12 15:43
    关注

    HI,你好.
    首先请不要使用在ibm下载的plugin,因为ibm的plugin已经贡献给了hadoop,现在在$hadoop_home$/contrib/eclipse-plugin目录下.

    第二,请保证你的hadoop eclipse-plugin的版本与hadoop server的版本一致,因为hadoop有自己的rpc远程调用框架,所以客户端的hadoop-core.jar必须与服务器一致.不然rpc协议有可能不兼容.

    第三,如果发生不能创建 "whoami" Process的问题,请为你的JobConf指定hadoop.job.ugi属性,ugi的意思是UserGroupInfomation,即你需要指定用户名,密码.
    conf.set("hadoop.job.ugi", "username,password");

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(2条)

报告相同问题?

悬赏问题

  • ¥15 maple软件,用solve求反函数出现rootof,怎么办?
  • ¥50 汇编语言除法溢出问题
  • ¥65 C++实现删除N个数据列表共有的元素
  • ¥15 Visual Studio问题
  • ¥15 state显示变量是字符串形式,但是仍然红色,无法引用,并显示类型不匹配
  • ¥20 求一个html代码,有偿
  • ¥100 关于使用MATLAB中copularnd函数的问题
  • ¥20 在虚拟机的pycharm上
  • ¥15 jupyterthemes 设置完毕后没有效果
  • ¥15 matlab图像高斯低通滤波