执行 hadoop jar 命令后没反应了,有人帮看看么

hadoop jar /home/tina/TestHadoop.jar com.felix.WordCount /home/tina/hadoop/input /home/tina/hadoop/output

执行以上命令后,就停在那里没动了,CTRL-C ,看了一下LOGS,里面什么都没有。请问如何是好?

0
ablian
守猪待屠 请问您这问题怎么解决的?我也碰到一样的问题。跪求解答。
大约 6 年之前 回复

1个回答

hadoop 中运行jar文件,可执行map/reduce 效果,你的jar文件确保已经拷贝到hadoop中,由hadoop能够进行访问?
/home/tina/TestHadoop.jar 这样的目录结构感觉你没有拷贝进hadoop

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
使用Hadoop命令行执行jar包详解(生成jar、将文件上传到dfs、执行命令、下载dfs文件至本地)
在之前一篇:Eclipse中使用Hadoop单机模式开发配置及简单程序示例,我们讲了如何在eclipse配置文件信息以及如何执行Map/Reduce程序,本篇基于这篇文章的代码总结一下使用hadoop命令行执行jar包的流程,主要包括生成jar、将本地文件上传至dfs文件系统中,执行jar包。一、Eclipse中生成jar包使用Eclipse中使用Hadoop单机模式开发配置及简单程序示例 的Max
hadoop jar打包执行问题及解决
1、运行hadoop jar ./WordCount.jar出现提示:RunJar jarFile [mainClass] args...2、运行时增加mainclass类名hadoop jar ./WordCount.jar WCDriver出现提示:Exception in thread "main" java.lang.ClassNotFoundException: WCDriver    ...
Linux平台下hadoop运行jar出错
在使用putty远程连接到hadoop 服务器后,传入一个上传本地文件到hdfs上的jar包,运行jar包出错。
使用hadoop jar命令和linux命令运行jar包
n使用hadoop jar 命令运行jar包:nn./bin/hadoop jar ./myapp/HDFSExample.jarnnn使用linux命令运行jar包nnjava -jar /myapp/HDFSExample.jarnnn
Hadoop使用jar运行实例
一、.在eclipse中使用编写程序,然后打成jar包,n程序代码:npackage tju.chc;nnimport java.io.File;nimport java.io.IOException;nimport java.util.Scanner;nnimport org.apache.hadoop.conf.Configuration;nimport org.apache.hadoop
运行hadoop jar
NULL 博文链接:https://byx5185.iteye.com/blog/1490172
hadoop提交jar包卡住不会往下执行的解决方案
这是一个很蛋疼的问题,说实话在以前玩这个hadoop集群,不管是伪分布式还是集群都没有注意过分配内存这个问题,即job执行时的内存分配,然后在今天遇到了,搞了好久错误描
expect脚本样例实现切换用户执行hadoop jar命令
expect脚本样例实现切换用户执行hadoop jar命令nnstart_job.shnnnpassword2='root'npassword='user123'n/usr/bin/expect <<-EOFnspawn ssh user@10.36.246.172nnexpect {n"*yes/no*" { send "yes\r";exp_continue }n"Passwor...
Hadoop学习1_在使用命令行运行WordCount时,遇到的jar命令说明
1. jar cf WordCount.jar WordCount*.classnn使用情况:nn编译WordCount.java文件,编译java文件的命令为javac,截图如下:nn编译WordCount.javann此时,在workspace文件夹下将会出现生成三个class文件,nn编译后生成class文件nn编译成功后,即可将三个class文件打包成jar文件,
hadoop执行jar流程分析
项目要结束了,最近在整理项目的相关文档,之前项目中在用hadoop jar **.jar提交作业时,设置了些公共依赖jar包到CLASSPATH中,这样算子在打包时就不需要把很多jar包再打进去离开 。n在hadoop-env.sh中和mapreduce.application.classpath、yarn.application.classpath将jar都设置进去了,这样在本地执行hadoo
使用Hadoop执行jar命令出现ClassNotFound错误
Hadoop jar命令出现ClassNotFound错误rnrnrn执行的命令如下:hadoop jar example-three.jar HDFSFolderShow /data 意思是去浏览hdfs中的/data文件夹。【需自己创建】 rn错误语句如下:Exception in thread “main” java.lang.ClassNotFoundException: HDFSFolderSh
hadoop中mapreduce的jar包执行方式
hadoop中mapreduce的jar包执行
安装完Hadoop之后,命令行输入hadoop却找不到命令
很可能是环境配置不正确rnrnrn解决方法 rn1. vim /etc/profile rn2. 修改proflie文件rnrnrnrn3.完成后保存文件, 更新环境变量 rn4. sourcern /etc/profile
hadoop jar 执行错误
我们知道打jar包的时候是有两种方式,第一种是直接打成jar,另一种是打成Runnable jarn这两种方式在使用hadoop jar 的时候是不一样的,n如果是直接打成jar,就是那种文件非常小的那种方式:n那么运行的方法是:nhadoop jar mr1.jar com.thp.bigdata.wcdemo.WordcountDriver /wordcount/input /wordcoun...
Hadoop环境下运行jar文件的两种方法
1. export HADOOP_CLASSPATH = hadoop-e.jarnnhadoop FileCopyWithProgress sample.txt hdfs://localhost/user/sample_one.txtnn2. export HADOOP_CLASSPATH = hadoop-e.jarnnhadoop jar hadoop-e.jar FileCopyWithP...
linux下安装、配置hadoop、在yarn上运行jar包
linux下安装、配置hadoop、在yarn上运行jar包,配置MapReduce历史服务器MRHistoryServer、 配置YARN日志聚集功能nnn上传解压n配置HAPDOOPnnnnn1、上传解压 n 赋予hadoop-2.7.3.tar.gz执行权限nn$ chmod u+x hadoop-2.7.3.tar.gznnn解压到指定目录nn$ tar -zxf hadoop-2....
【Hadoop】MapReduce打成jar包上传到Linux运行
之前写过MapReduce代码,但并没有真正在HDFS上运行。nn今天就把之前写过的代码打成jar包,上传到HDFS上运行。nn首先,翻出之前写好的mapreduce代码nn修改代码:nn①添加下面一行,指定具体的任务类nnnjob.setJarByClass(ForWorldCount.class);nn②修改之前指定的输入输出路径,应变为参数输入:nnnFileInputFormat.addI...
hadoop 打jar包及运行jar包
1.出现了个问题appenders could be found for logger (org.apache.hadoop.util.Shell).rnrn原因是工程下没有eclipst关于hadoop的系统配置,只需要从其他项目拷贝一个log4j.properties就可以了。rnrn2.打jar包:rnrn在包上 右键,exportrnNextrnrnNextrnrnNextrnrn选择好m
Mac系统下执行hadoop jar 运行在某包内的程序 提示java.lang.ClassNotFoundException的解决方法
背景       最近在写MapReduce程序时,一直在用IDE,发现编译器执行的程序,无论成功还是失败,在http://master:8088/上看不到记录,于是想不靠IDE手动编译运行一下程序,这一试出现了问题。问题       如果编译运行不在任何包中的代码,也就是在代码最上方,不存在package xxxxxx(xxxxxxxx表示代码所述的包名)则按照正常的流程编译、运行一般没什么问题。
hadoop下提交jar包执行时连接失败异常或连接被拒绝
提交jar包执行时连接失败异常或连接被拒绝rn错误提示为:rnException in thread "main" java.net.ConnectException: Call From mini02/192.168.91.4 to mini02:8032 failed rnon connection exception: java.net.ConnectException: Connection r...
Hadoop——MR执行环境
本节目标:掌握MR的两种执行环境MR的执行环境主要有两种,本地测试环境和服务器环境1、本地测试环境项目src下不能添加hadoop相关的配置文件。(1)window下配置hadoop的环境变量(2)拷贝相关工具(winutils.exe,hadoop.dll)到hadoop安装路径下的bin目录下(3)项目下添加hadoop修改后的源码(4)因为没有配置文件,所以要手动设置配置信息。(5)执行测试...
crontab定时hadoop任务没有执行
最近公司要从sqlserver数据库数据大约100G导入到hdfs中,由于数据库在同事的服务器中,为了不影响同事工作,计划晚上自动执行。服务器的定时脚本的时候发现了定时脚本并没有被执行,但是定时比如创建文件夹却可以执行,并且执行了下发现脚本的逻辑是没有问题的,而且直接执行是没有问题的,又去/etc/crontab文件里去看了下rn 原来是crontab中的环境变量不一样,需要在定时脚本前面加上环境
hadoop怎样提交多个第三方jar包?
方案1:把所有的第三方jar和自己的class打成一个大的jar包,这种方案显然笨拙,而且更新升级比较繁琐。rnrn方案2:rn在你的project里面建立一个lib文件夹,然后把所有的第三方jar包放到里面去,hadoop会自动加载lib依赖里面的jar。rnrnhttp://www.blowide.com/2010/04/including-external-jars-in-a-hadoop-...
Hadoop运行jar文件
命令如下// 运行当前目录下的MinTemperature.jar包,有两个参数nhadoop jar ./MinTemperature.jar /week4/in/tempreture.txt /week4/out5生成jar包。建议指定main class
sqluldr2 执行后既不报错也不打印日志_已解决
执行后,无任何反应,无log日志生成,代码:nnnsqluldr2 user=用户名/密码@oracle数据库:1521/client query="select sysdate from dual" head=no file=/home/ioc/SourceQulifier_0_54bb0764b57548d78c51ee88b2cf8d81.dat field=0x01 log=/home/i...
将java文件打包提交MapReduce任务流程
1.首先拷贝hadoop源码里的WordCount.java到一个目录wordcount下(源码在下面)n2.在wordcount目录下新建目录bin准备存放class文件n3.编译WordCount.java文件(编译前先把java文件中的package包名删掉):njavac -classpath /usr/local/hadoop/share/hadoop/common/hadoop-com
Hadoop MR程序的几种提交模式
一.问题来源为什么我们在windows下用编程集成工具或者linux下用编程集成工具来run我们编写的mr程序的时候是在本地jvm中运行,而我们在linux上用命令行:hadoop jar 提交我们的jar文件的时候就提交到集群去运行了呢?具体原因是:如果是RunJar中包含了和RM通信的rpc客户端就是把jar包提交到集群运行,如果RunJar中包含了和本地机器通讯的客户端的话,就是把jar包提...
hadoop任务运行日志
Hadoop任务运行目录
hadoop群集运行job慢的问题
近期业务需求使用ambari安装了新的hadoop群集,大概30台服务器,安装比较顺利,但是群集安装后,job运行的很慢,但可以完成,nn反复查找问题,hadoop参数调整优化,代码开发检查,反复的测试,群集的本地读写能力,就是慢,nn经过几天的奋战,终于找到问题的原因,竟然是有各别的datanode节点网络有问题,scp数据的时候每秒才5M,正常的话是85~110M左右,nn后来dd
【hadoop】hadoop启动后jps无法查看守护进程
按照各个教程配置完hadoop后,用如下指令启动守护进程:n$ sudo sbin/start-all.shnnn用echo $?确认指令执行过程无误,但jps指令就是看不到进程:n$ jpsn7542 Jpsnnngrep进程后确认守护进程实际上都已正常运行,琢磨是否jps存在权限问题。一通尝试之后,最简单地加上了sudo,即n$ sudo jpsn6854 Seconda
linux java、javac等命令无法执行(卡死不动)问题解决
在linux(centos6)上编译安装了glibc后,发现java命令不起作用了(一直卡在那不动),其他命令都可以。nnnn经过多次排查、重启系统、重新安装jdk后都不起作用。最后终于找到了方法:nn在~/.barshrc中将glibc的环境变量去掉后,重新启动系统即可。...
学习Hadoop第四课(Hadoop初始化和测试)
上节我们修改了5个配置文件,这节我们开始学习Hadoop初始化和测试,首先我们需要Hadoop的环境变量,输入命令:vim /etc/profile并按回车进入配置文件,如下图所示,我们添加的内容是下面红色圈住的内容。nnn        编辑完之后我们按ESC键进行退出编辑,然后输入:wq保存并退出该文件,然后我们输入命令source /etc/profile来使配置起作用,如下图所示。
Hadoop执行任务过程
用户从client端提交一个任务,此任务指定了运行的jar包,除javarn jre外依赖的jar包,待处理的数据文件以及输出文件夹的位置和名称client端首先检查此任务输出的文件夹是否存在,然后向JobTracker为此任务申请一个id,然后在hdfs中创建一个对应此任务的文件夹,将这个任务依赖的外部jar包以及任务要运行的jar包放入此任务的文件夹中;然后调用任务的InputFormat中的
有人愿意帮我看看么
HTTP Status 500 - rnrn--------------------------------------------------------------------------------rnrntype Exception reportrnrnmessage rnrndescription The server encountered an internal error () that prevented it from fulfilling this request.rnrnexception rnrnjava.lang.IndexOutOfBoundsException: Index: 2, Size: 2rn java.util.ArrayList.RangeCheck(Unknown Source)rn java.util.ArrayList.get(Unknown Source)rn com.test.chuchai.StoreData.duobiao(StoreData.java:76)rn com.linyang.servlet.DaoRu.doPost(DaoRu.java:28)rn javax.servlet.http.HttpServlet.service(HttpServlet.java:637)rn javax.servlet.http.HttpServlet.service(HttpServlet.java:717)rnrnrnnote The full stack trace of the root cause is available in the Apache Tomcat/6.0.30 logs.rnrn
hadoop dfs -ls 不起作用的问题
在hdfs上创建文件,查看文件时,发现使用如下明明并不生效hadoop fs -mkdir /data创建文件失败 n查看文件`hadoop fs -ls /`data则提示ls: Cannot access /data: No such file or directory.查看文件hadoop fs -ls /显示的是系统的根目录。 n查了一下,说是新版的hadoop使用hadoop dfs -l
详细解析如何运行hadoop自带例子
本文,简单介绍下,如何运行hadoop自带的mapreduce的那些例子。本文针对的hadoop版本,是2.6.5版本,自带的例子包名为:hadoop-mapreduce-examples-2.6.5.jar;位于/share/hadoop/mapreduce目录下。简单来说,如果想要完成范例的运行,直接:hadoop jar hadoop-mapreduce-examples-2.6.5.jar...
使用dos命令运行打好的jar文件时出现不能运行的情况
打好jar包准备运行:或报错:这是由于没有设置主类如可造成的使用解压工具打开jar包:找到META-INF在MANIFEST.MF文件中设置主类入口原添加再次使用dos命令运行即可,注意:后面有空格...
运行 MapReduce 样例
一 hadoop样例代码rn1 样例程序路径rn/opt/hadoop-2.7.4/share/hadoop/mapreducern2 样例程序包rnhadoop-mapreduce-examples-2.7.4.jar包含着数个可以直接运行的样例程序rn3 如何查看样例程序rn./bin/yarn jar /opt/hadoop-2.7.4/share/hadoop/mapreduce/hado
基于hadoop2.5提交mapreduce任务的几种方式
方式一(服务器环境下):rn1.将写好的程序打成jar包(只要源码就行)。rn2.将jar上传到集群任意一台节点,执行如下命令:rnhadoop jar wordCount.jar com.wt.wordcount.RunJobrnrn方式二(本地直接调用,执行过程在服务器上):rn1.要在src下放置服务器上的hadoop配置文件:rncore-site.xml,hdfs-site.xml,ma
用hadoop jar执行包含hbase应用的jar包报NoClassDefFoundError问题的解决
在离线分析任务中,为了在hadoop集群上分布式运行我们的程序,需要在eclipse环境中将需要运行的程序打好jar包,丢到服务器端,用hadoop jar xxx.jar <arg0> <arg1> ...... 命令来执行。在eclipse打包有两种打包形式:普通jar和runable jar若使用runable jar打包,则是将所有与程序相关的依赖jar包全部打包进...
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 菜鸟教程看python后 大数据培训出来有人要吗